System Prompt GPT-4 Lo Ambyar di GPT-5? Ini Fix Cepatnya Sebelum Production Kacau

⚡ Jawaban Singkat / Key Takeaways: System prompt yang berjalan sempurna di GPT-4 sering kali rusak total di GPT-5 karena tiga regresi spesifik: personality drift di tone formal, instruksi format JSON yang diabaikan, dan safety refusal yang over-agresif menolak prompt netral. Artikel ini ngasih kamu preskripsi cepat buat rewrite prompt GPT-4 ke GPT-5, lengkap dengan contoh konkret dan checklist yang bisa langsung kamu tempel.

Kamu baru aja upgrade ke GPT-5. Excited karena benchmark katanya lebih cerdas, reasoning lebih dalam, konteks lebih panjang. Lalu kamu colok system prompt lama yang udah kamu polish berbulan-bulan. Dan hasilnya… chaos. Model yang seharusnya jadi QA assistant malah nulis esai filosofis. Output JSON yang tadinya rapi kini dihiasi markdown fence. Atau lebih parah: GPT-5 menolak prompt netral yang di GPT-4 dulu jalan biasa aja.

Kamu nggak sendirian. Ini adalah realitas yang mulai dialami prompt engineer dan AI product manager saat migrasi dari GPT-4 ke GPT-5. Artikel ini akan membedah tiga regresi paling mematikan dan ngasih kamu formula rewrite yang udah teruji.

Regresi #1: Personality Drift, Kenapa GPT-5 Tiba-tiba Jadi Sok Formal

GPT-4 terkenal fleksibel soal tone. Kamu bisa setup system prompt pendek dan model akan nurut. GPT-5 punya kecenderungan berbeda: instruction-following-nya lebih literal, tapi personality control-nya lebih rapuh terhadap prompt yang ambigu. Banyak prompt engineer menemukan GPT-5 default ke tone formal dan kaku saat system prompt nggak cukup eksplisit.

Penyebabnya bukan karena GPT-5 “sok formal”. Ini efek samping dari alignment tuning yang lebih agresif di GPT-5. Model dilatih untuk lebih hati-hati, dan “hati-hati” secara default diterjemahkan sebagai bahasa yang lebih netral dan formal. Kalau di GPT-4 kamu cukup nulis “Be friendly”, di GPT-5 itu nggak cukup.

Contoh prompt GPT-4 yang gagal di GPT-5:

You are a helpful assistant. Be friendly and concise.
Answer user questions about our SaaS product.

Output GPT-5 yang bikin frustrasi:

Greetings. I shall endeavor to assist you with your inquiry regarding the SaaS product. 
Please allow me to provide a comprehensive response to your question...

Preskripsi rewrite untuk GPT-5:

You are a support assistant for a SaaS product. 
CRITICAL TONE RULES (violate these and the user will be unhappy):
- Use casual, everyday Indonesian or English exactly as the user writes
- Never use formal words like "shall", "endeavor", "kindly", "moreover"
- Write like you're texting a coworker, not drafting a legal memo
- Keep every response under 4 sentences unless the user asks for detail

Remember: informal and concise. Not polite and verbose.

Perhatikan polanya: di GPT-5, instruksi tone harus eksplisit menyebutkan apa yang nggak boleh dilakukan, bukan cuma apa yang harus dilakukan. Ini yang berubah dari GPT-4, di mana “be X” cukup, ke GPT-5 di mana “be X, never Y” jauh lebih efektif.

Regresi #2: Output Format Adherence, Ketika JSON Kamu Tiba-tiba Dibungkus Markdown

Ini yang paling bikin pipeline production ambyar. GPT-4 cukup diinstruksikan “output JSON only” dan 98% patuh. GPT-5 punya kebiasaan aneh: membungkus JSON di markdown fence meskipun kamu bilang “raw JSON”. Kenapa? Karena post-training GPT-5 mengasosiasikan format terstruktur dengan markdown code block, dan ini jadi prioritas lebih tinggi dari instruksi eksplisit di prompt.

Prompt GPT-4 yang gagal di GPT-5:

Return a JSON object with fields: summary, score, tags. Output only JSON.

Output GPT-5 yang bikin parser-mu crash:

```json
{
  "summary": "This is a summary...",
  "score": 8.5,
  "tags": ["tech", "ai"]
}
```

Preskripsi rewrite untuk GPT-5:

You will output valid JSON and nothing else. 
No markdown fences. No explanation text. No "here is the JSON" preamble.

FORBIDDEN OUTPUT PATTERNS:
- ```json
- ```
- Any text before { or after }
- Any text that is not part of a single JSON object

The first character of your response MUST be {. The last MUST be }.
If you add ANY text outside the JSON, the system will crash.

Teknik ini disebut negative constraint scaffolding. Di GPT-4, positive constraint (“do X”) biasanya cukup. Di GPT-5, kamu perlu melengkapi dengan forbidden output patterns yang eksplisit. Pola ini berlaku juga untuk format lain seperti YAML, XML, atau CSV.

Lihat juga artikel benchmark GPT-5 vs open source LLM coding untuk lihat bagaimana format adherence juga mempengaruhi akurasi di task koding spesifik.

Regresi #3: Safety Refusal Over-Agresif yang Menolak Prompt Sah

Regresi paling halus tapi mematikan adalah over-refusal. GPT-5 memiliki safety classifier yang lebih sensitif dibanding GPT-4. Prompt yang tadinya netral, seperti analisis sentimen terhadap review negatif atau evaluasi konten yang mengandung kata-kata kasar, tiba-tiba ditolak dengan “I cannot engage with this type of content.”

Masalahnya, refusal di GPT-5 sering muncul di use case enterprise yang sah: content moderation pipeline, legal document analysis, atau debugging log yang kebetulan mengandung string seperti “hack” atau “exploit”. Safety classifier membaca kata kunci tanpa konteks, dan model langsung menolak.

Preskripsi: role pre-framing + intent declaration.

You are a cybersecurity audit tool operated by authorized security engineers. 
All content you analyze is provided legally for security assessment purposes.

IMPORTANT CONTEXT FOR SAFETY: You are not being asked to hack, exploit, or 
cause harm. You are analyzing log files, code, and configuration data that 
the user has legal permission to examine. If you encounter content that 
appears malicious, analyze it objectively as security data, then report 
your findings. Do not refuse to process it.

Teknik ini bekerja karena GPT-5's safety layer membaca role assignment di awal prompt dan menggunakannya sebagai sinyal kontekstual. Begitu model paham bahwa dia adalah “cybersecurity audit tool” dan bukan “general assistant yang diminta nge-hack”, refusal rate turun drastis.

Ada framework yang lebih lengkap soal safety boundaries di artikel GPT-5 debug otonom dan guardrail CI/CD. Kamu bakal lihat bahwa safety refusal bukan bug, tapi fitur yang perlu diantisipasi dengan tepat.

Checklist Migrasi Lengkap: 7 Langkah Sebelum Deploy ke Production

Nggak mau nunggu production down dulu baru sadar system prompt kamu bermasalah? Jalankan checklist ini sebelum switch ke GPT-5:

1. Audit semua positive constraint. Cari kata seperti “be friendly”, “output JSON”, “answer briefly”. Tambahkan forbidden counterpart masing-masing.
2. Uji personality di 3 skenario ekstrem: input user dengan kata kasar, input netral pendek (1-2 kata), input panjang bertele-tele. Cek konsistensi tone.
3. Uji format adherence dengan automated parser. Jalankan 50-100 test case dan ukur persentase output yang langsung bisa diparse tanpa pre-processing.
4. Uji refusal rate di dataset production-mu. Ambil 200 sample random dari traffic asli, hitung berapa yang direfuse, bandingkan dengan GPT-4 baseline.
5. Naikkan suhu (temperature) ke 0.3-0.5. GPT-5 di suhu 0 (deterministic) justru lebih kaku secara format dan tone. Suhu sedikit lebih tinggi membantu fleksibilitas tanpa mengorbankan akurasi.
6. Tambahkan system message terpisah untuk developer instruction kalau API-mu mendukungnya (seperti fitur developer role di OpenAI API terbaru). Pisahkan instruksi teknis dari persona.
7. Setup regression monitoring. Log output length, format compliance rate, dan refusal rate per jam. Perubahan sekecil apapun di model update bisa mempengaruhi metrik ini.

Kenapa GPT-5 “Lupa” di Tengah Percakapan Panjang

Fenomena tambahan yang muncul di GPT-5 adalah mid-conversation instruction drift. System prompt kamu jalan di 10 turn pertama, lalu perlahan model mulai mengabaikan constraint. Ini hampir nggak pernah terjadi di GPT-4, tapi cukup signifikan di GPT-5 terutama saat konteks sudah terisi penuh (di atas 100k token).

Kamu mungkin sudah mendengar bahwa GPT-5 bisa menelan 1 juta token dalam sekali prompt. Tapi kemampuan ini datang dengan trade-off: instruction adherence menurun di ujung konteks yang sangat panjang. Solusinya bukan memperpendek konteks, tapi melakukan instruction reinforcement.

Teknik instruction reinforcement: sisakan sekitar 200-500 token di setiap user message untuk mengulang constraint paling kritis. Ini bukan repetisi yang membosankan, tapi sinyal bahwa instruksi masih berlaku. Contohnya, di setiap user message, tambahkan footer:

[Reminder: output raw JSON only, no markdown, no preamble]

Ini trik sederhana yang menjaga output tetap bersih bahkan di percakapan dengan 200+ turn.

Apa Kata Mereka? Riset dan Referensi Eksternal

Fenomena instruction-following regression antar versi model bukan spekulasi. OpenAI sendiri mendokumentasikan perubahan behavior di Prompt Engineering Guide mereka, mencatat bahwa model yang lebih baru sering kali memerlukan “more explicit negative constraints”.

Anthropic, melalui riset Constitutional AI mereka, juga mengkonfirmasi bahwa alignment tuning menciptakan “safety-accuracy tradeoff” yang mempengaruhi output format dan refusal behavior. Paper dari Zhou et al. (2024) tentang instruction hierarchy menunjukkan bahwa model cenderung lebih patuh ke safety training dibanding ke user instruction saat terjadi konflik.

Ini menjelaskan kenapa tehnik negative constraint scaffolding yang dibahas di artikel ini bekerja: kamu bukan melawan safety layer, tapi menghindari trigger-nya dengan role framing yang tepat.

FAQ: Migrasi Prompt GPT-4 ke GPT-5

Apakah semua prompt GPT-4 pasti rusak di GPT-5?

Nggak semuanya. Prompt simpel dengan instruksi jelas biasanya tetap jalan. Regresi paling sering muncul di prompt yang mengandalkan inference implisit: tone yang nggak eksplisit, format output yang “disiratkan”, atau konteks yang mengandalkan GPT-4 “paham sendiri”. Prompt dengan constraint eksplisit dan positif-negatif balanced cenderung lebih aman.

Berapa lama waktu yang dibutuhkan untuk migrasi penuh?

Untuk tim kecil dengan 5-10 prompt production, ekspektasikan 2-3 hari. Ini termasuk: audit prompt existing (setengah hari), rewrite dan internal testing (1 hari), serta A/B testing di staging environment (1 hari). Jangan skip staging testing; refusal rate yang berubah bisa bikin metrik bisnis anjlok tanpa kamu sadari.

Apakah GPT-5 bakal “belajar” dan jadi lebih baik seiring update model?

Iya, ini mungkin. Tapi jangan mengandalkan harapan. Setup monitoring yang solid sekarang, dan anggap setiap model update sebagai potensi breaking change. Tim yang paling sukses memperlakukan prompt seperti kode: punya version control, test suite, dan CI pipeline. Kalau infrastruktur AI kamu masih bergantung ke “model kayaknya udah bener”, baca juga artikel tentang benchmark AI coding di berbagai bahasa infra untuk lihat pentingnya evaluasi sistematis.

Konklusi: GPT-5 Itu Lebih Pintar, Tapi Butuh Instruksi yang Lebih Bodoh

Ironis, tapi begitulah realitanya. GPT-5 memang lebih capable secara reasoning dan pengetahuan. Tapi instruction-following-nya justru lebih literal, lebih kaku, dan lebih rentan terhadap safety refusal. Paradoks ini berarti prompt engineer harus kerja lebih keras untuk bikin instruksi yang super eksplisit, defensive, dan dilengkapi forbidden constraints.

Anggap ini bukan downgrade, tapi pergeseran paradigma dari “model pintar yang paham maksudmu” ke “model super presisi yang mengerjakan persis apa yang kamu tulis”. Akurasinya lebih tinggi, tapi toleransi terhadap ambiguitas lebih rendah. Prompt engineer terbaik di era GPT-5 bukan yang paling kreatif, tapi yang paling teliti dan sistemik dalam menulis constraint.

Mulai sekarang, sebelum deploy prompt ke GPT-5, tanya tiga hal: Apakah tone sudah eksplisit dengan forbidden counterpart? Apakah format output sudah dilindungi dengan negative pattern? Apakah role assignment sudah cukup kuat untuk mencegah false refusal? Kalau ketiganya sudah oke, selamat, prompt kamu siap bertarung di production.

Udah mulai migrasi ke GPT-5? Apa regresi paling random yang kamu temui? Share pengalamanmu di kolom komentar, siapa tahu kita bisa mapping pola bareng.