Artificial Intelligence (AI) generatif semakin sering digunakan untuk menulis artikel, mencari ide, membuat rangkuman, menganalisis data, hingga membantu mengambil keputusan. Namun, ada satu persoalan yang tidak boleh diabaikan: jawaban AI yang terlihat meyakinkan belum tentu benar.
AI dapat menghasilkan kalimat yang rapi, argumentasi yang terdengar masuk akal, bahkan mencantumkan nama, tanggal, angka, atau sumber yang ternyata keliru. Fenomena ini sering disebut sebagai AI hallucination atau halusinasi AI. NIST menggunakan istilah confabulation untuk menggambarkan kondisi ketika sistem AI generatif menghasilkan dan menyampaikan informasi yang salah seolah-olah benar.
Salah satu teknik prompt yang dapat digunakan untuk meningkatkan kualitas output adalah self-correction prompt. Sederhananya, kita meminta AI untuk tidak langsung memberikan jawaban final, tetapi terlebih dahulu meninjau jawabannya, mencari kelemahan, memeriksa argumen, kemudian memperbaikinya.
Contoh sederhananya:
"Tinjau kembali jawaban di atas. Cari kelemahan dalam logika, kesalahan fakta, asumsi yang tidak didukung, dan bagian yang masih kurang jelas. Setelah itu, perbaiki jawaban tersebut dan berikan versi final yang lebih akurat."
Namun, apakah AI benar-benar bisa menjadi auditor bagi dirinya sendiri?
Jawabannya ternyata tidak sesederhana itu.
Apa Itu Prompt Self-Correction?
Prompt self-correction adalah teknik memberikan instruksi tambahan kepada AI agar melakukan proses evaluasi terhadap jawaban yang sebelumnya dibuat.
Alurnya kurang lebih seperti ini:
Pertanyaan โ Jawaban awal โ Evaluasi โ Kritik โ Perbaikan โ Jawaban final
Berbeda dengan prompt biasa yang hanya meminta:
"Jelaskan cara kerja panel surya."
Prompt self-correction meminta AI melakukan tahapan tambahan setelah menghasilkan jawaban.
Misalnya:
"Jelaskan cara kerja panel surya. Setelah memberikan jawaban awal, tinjau kembali jawaban tersebut. Identifikasi kemungkinan kesalahan fakta, konsep yang terlalu disederhanakan, dan informasi yang membutuhkan verifikasi. Perbaiki bagian yang bermasalah dan berikan versi final."
Teknik ini sejalan dengan gagasan iterative refinement dalam praktik prompt engineering. OpenAI sendiri menyarankan pengguna untuk memperjelas konteks, meninjau respons, lalu memperbaiki prompt secara iteratif untuk memperoleh hasil yang lebih baik.
Mengapa AI Perlu "Mengkritik" Jawabannya Sendiri?
Salah satu kelemahan AI generatif adalah kemampuannya menghasilkan teks yang terlihat meyakinkan meskipun mengandung kesalahan.
NIST menjelaskan bahwa model generatif bekerja dengan menghasilkan keluaran berdasarkan pola statistik yang dipelajarinya. Mekanisme tersebut dapat menghasilkan jawaban yang benar, tetapi juga dapat menghasilkan informasi yang tidak akurat atau tidak konsisten. Risiko ini semakin relevan pada pertanyaan terbuka, tulisan panjang, serta bidang yang membutuhkan pengetahuan khusus.
Inilah alasan mengapa pengguna sebaiknya tidak hanya bertanya:
"Apa jawabannya?"
Tetapi juga:
"Apa yang mungkin salah dari jawaban tersebut?"
Perubahan kecil dalam cara memberikan instruksi ini dapat mendorong AI melakukan evaluasi tambahan sebelum menghasilkan versi final.
AI Tidak Sekadar Menjawab, tetapi Juga Menjadi Reviewer
Bayangkan Anda memiliki seorang penulis yang selesai membuat artikel.
Daripada langsung menerbitkannya, Anda meminta seorang editor memeriksa:
- apakah ada fakta yang salah;
- apakah terdapat klaim tanpa bukti;
- apakah argumennya masuk akal;
- apakah ada bagian yang kontradiktif;
- apakah kesimpulannya terlalu jauh;
- apakah ada informasi yang seharusnya diberi catatan atau sumber.
Dalam prompt self-correction, AI diminta menjalankan peran serupa.
AI menjadi penulis sekaligus reviewer.
Tetapi terdapat satu perbedaan penting: reviewer tersebut masih menggunakan kemampuan model AI yang sama. Karena itu, hasil koreksi tidak otomatis benar.
Contoh Prompt Self-Correction yang Bisa Langsung Digunakan
Berikut template sederhana yang dapat digunakan untuk berbagai kebutuhan:
Tinjau kembali jawaban Anda sebelumnya secara kritis.
Periksa:
1. Kesalahan fakta atau informasi yang meragukan.
2. Kesalahan logika atau kesimpulan yang tidak didukung.
3. Asumsi yang tidak dijelaskan.
4. Pernyataan yang terlalu mutlak.
5. Informasi yang mungkin sudah tidak relevan.
6. Bagian yang membutuhkan sumber atau verifikasi.
Jika menemukan masalah, jelaskan secara singkat bagian yang perlu diperbaiki.
Setelah proses evaluasi selesai, buat versi jawaban final yang:
- lebih akurat,
- lebih jelas,
- tidak melebih-lebihkan,
- membedakan fakta dan opini,
- dan menandai informasi yang masih perlu diverifikasi.
Jangan mengarang sumber atau fakta untuk mengisi informasi yang tidak diketahui.Template tersebut dapat dimodifikasi sesuai kebutuhan.
Misalnya untuk artikel:
Tinjau artikel di atas sebagai editor dan fact-checker.
Cari klaim yang berpotensi tidak akurat, data yang membutuhkan sumber,
generalisasi berlebihan, kontradiksi, serta kesimpulan yang tidak didukung.
Setelah menemukan masalah, perbaiki artikel tanpa mengubah topik utama.
Jika suatu fakta tidak dapat dipastikan, tandai bahwa fakta tersebut
memerlukan verifikasi daripada mengarang informasi.Untuk kode pemrograman, instruksinya dapat diubah menjadi:
Tinjau kode di atas sebagai software reviewer.
Cari bug, kesalahan logika, masalah keamanan, edge case,
dan bagian yang berpotensi menyebabkan error.
Jelaskan masalah yang ditemukan, kemudian berikan versi kode
yang telah diperbaiki.Self-Correction Bisa Mengurangi Halusinasi, tetapi Bukan Jaminan
Di sinilah pengguna AI perlu berhati-hati.
Penelitian mengenai Chain-of-Verification (CoVe) menunjukkan pendekatan yang lebih sistematis untuk mengurangi halusinasi. Dalam metode tersebut, model tidak hanya diminta memperbaiki jawaban secara umum. Model terlebih dahulu membuat jawaban awal, menyusun pertanyaan verifikasi, menjawab pertanyaan tersebut secara independen, kemudian menghasilkan jawaban akhir yang telah diverifikasi. Penelitian tersebut melaporkan penurunan halusinasi pada beberapa jenis tugas.
Konsep ini memberikan pelajaran penting:
Meminta AI "periksa lagi" dapat dibuat lebih efektif jika proses pemeriksaannya memiliki langkah yang jelas.
Dengan kata lain, prompt:
"Apakah jawaban Anda benar?"
masih terlalu umum.
Lebih baik:
"Identifikasi lima klaim faktual utama dalam jawaban. Untuk setiap klaim, tentukan apakah klaim tersebut dapat dipastikan dari informasi yang tersedia. Pisahkan fakta yang kuat, informasi yang meragukan, dan informasi yang membutuhkan verifikasi eksternal. Setelah itu, revisi jawaban."
Instruksi kedua memberikan tugas evaluasi yang jauh lebih spesifik.
Mengapa Self-Correction Tidak Selalu Berhasil?
Ada fakta menarik dari penelitian AI yang sering terlewat dalam pembahasan prompt engineering.
Penelitian Google DeepMind berjudul Large Language Models Cannot Self-Correct Reasoning Yet menemukan bahwa model bahasa dapat mengalami kesulitan ketika diminta memperbaiki penalarannya hanya berdasarkan kemampuan internalnya sendiri. Dalam beberapa kondisi, performanya bahkan dapat memburuk setelah proses self-correction.
Penelitian lain berupa survei kritis mengenai self-correction LLM juga menyimpulkan bahwa belum ada konsensus bahwa model selalu mampu mengoreksi kesalahannya sendiri hanya melalui prompting. Self-correction cenderung lebih efektif ketika tersedia feedback eksternal yang dapat diandalkan.
Artinya, jangan memahami teknik ini sebagai:
AI salah โ AI memeriksa โ AI pasti benar.
Model yang menghasilkan kesalahan pertama dapat saja menghasilkan kesalahan kedua ketika diminta mengoreksinya.
Bahkan, AI bisa mengatakan:
"Setelah ditinjau, jawaban sebelumnya sudah benar."
Padahal jawaban tersebut sebenarnya masih salah.
Cara Membuat Prompt Self-Correction Lebih Efektif
Agar teknik ini lebih berguna, ada beberapa prinsip yang dapat diterapkan.
1. Jangan Hanya Meminta "Periksa Jawaban"
Instruksi yang terlalu umum memberikan ruang evaluasi yang terlalu luas.
Daripada:
"Periksa jawaban Anda."
Gunakan:
"Periksa fakta, angka, kronologi, hubungan sebab-akibat, dan kesimpulan dalam jawaban."
Semakin jelas kriteria pemeriksaan, semakin jelas pula tugas yang diberikan kepada AI.
2. Minta AI Memisahkan Fakta dan Asumsi
Ini sangat berguna ketika membuat artikel.
Gunakan:
"Pisahkan pernyataan yang merupakan fakta, interpretasi, asumsi, dan opini."
Dengan demikian, pembaca dapat mengetahui bagian mana yang perlu mendapatkan perhatian lebih.
3. Minta AI Menandai Informasi yang Tidak Yakin
Salah satu instruksi yang sangat berguna adalah:
"Jika Anda tidak memiliki dasar yang cukup untuk memastikan suatu fakta, jangan mengarang. Tandai informasi tersebut sebagai perlu diverifikasi."
Tujuannya bukan membuat AI selalu benar, melainkan mencegah AI memberikan kepastian palsu.
4. Gunakan Sumber Eksternal untuk Informasi Penting
Untuk topik kesehatan, hukum, keuangan, sejarah, teknologi, statistik, atau informasi yang berubah cepat, self-correction sebaiknya tidak menjadi satu-satunya mekanisme pemeriksaan.
AI tetap perlu dibandingkan dengan sumber terpercaya.
NIST sendiri memasukkan validitas dan reliabilitas, transparansi, keamanan, serta akuntabilitas sebagai bagian dari karakteristik AI yang dapat dipercaya.
5. Gunakan Tahapan Verifikasi
Untuk informasi penting, gunakan pola:
Jawaban โ Identifikasi klaim โ Verifikasi โ Koreksi โ Jawaban final
Contohnya:
Pertama, buat jawaban awal.
Kedua, identifikasi semua klaim faktual utama.
Ketiga, evaluasi setiap klaim dan tandai:
- didukung informasi,
- meragukan,
- membutuhkan verifikasi.
Keempat, perbaiki klaim yang bermasalah.
Kelima, berikan jawaban final hanya setelah proses evaluasi.Pendekatan seperti ini lebih dekat dengan konsep Chain-of-Verification daripada sekadar meminta AI membaca ulang jawabannya.
Self-Correction Cocok untuk Apa?
Teknik ini sangat berguna untuk pekerjaan yang membutuhkan proses penyuntingan.
Beberapa contohnya adalah:
- menulis artikel;
- membuat rangkuman;
- memperbaiki tata bahasa;
- mengembangkan ide;
- memeriksa struktur tulisan;
- meninjau kode program;
- mencari kelemahan argumentasi;
- membuat daftar pertanyaan;
- menyusun outline;
- membandingkan beberapa alternatif.
Untuk tugas yang memiliki jawaban objektif, mekanisme pemeriksaan juga dapat dikombinasikan dengan metode lain. Penelitian self-consistency, misalnya, mengevaluasi beberapa jalur penyelesaian dan memilih jawaban yang paling konsisten. Pada sejumlah benchmark penalaran, pendekatan tersebut menunjukkan peningkatan dibandingkan metode pengambilan jawaban tunggal.
Namun, hasil penelitian terbaru juga menunjukkan bahwa manfaat metode semacam ini tidak selalu berlaku pada semua kondisi, terutama pada persoalan dengan konteks panjang.
Kesalahan Terbesar: Menganggap AI Sebagai Fact-Checker Mutlak
Inilah poin terpenting dari teknik self-correction.
AI dapat membantu melakukan evaluasi, tetapi AI bukan pengganti pemeriksaan manusia.
Jika Anda meminta AI:
"Cari kesalahan dalam artikel ini."
AI dapat menemukan kesalahan tata bahasa dan beberapa kelemahan argumentasi.
Tetapi jika masalahnya adalah sebuah tanggal sejarah, angka statistik, nama penelitian, atau klaim medis, AI tetap dapat gagal mengenali kesalahan tersebut.
Karena itu, semakin besar dampak kesalahan, semakin penting pemeriksaan dari sumber eksternal.
Untuk artikel biasa, self-correction dapat menjadi lapisan pemeriksaan tambahan.
Untuk informasi berisiko tinggi, gunakan:
AI โ sumber primer/tepercaya โ pemeriksaan manusia.
Formula Prompt Self-Correction untuk Penulis Artikel
Bagi pembuat konten, formula sederhana berikut dapat menjadi template:
Bertindak sebagai penulis sekaligus editor dan fact-checker.
Tinjau artikel yang baru Anda buat.
Periksa:
- akurasi fakta,
- logika argumentasi,
- klaim yang tidak memiliki dasar,
- angka dan tanggal,
- kontradiksi,
- pengulangan,
- kesimpulan yang terlalu berlebihan,
- serta informasi yang mungkin memerlukan verifikasi.
Jangan mengarang sumber, data, kutipan, atau fakta.
Jika menemukan informasi yang meragukan, tandai sebagai
"perlu diverifikasi".
Setelah evaluasi selesai, revisi artikel menjadi versi final
yang lebih akurat, informatif, natural, dan mudah dipahami.
Pertahankan informasi yang benar dan jangan mengubah fakta
hanya demi membuat tulisan terdengar lebih meyakinkan.Formula ini jauh lebih aman daripada sekadar mengatakan:
"Tolong perbaiki jawaban Anda."
Kesimpulan: Jadikan Self-Correction sebagai Lapisan Pemeriksaan
Prompt self-correction merupakan salah satu teknik sederhana yang dapat membantu meningkatkan kualitas hasil AI. Dengan meminta AI meninjau kembali jawaban, mencari kelemahan, memisahkan fakta dan asumsi, serta memperbaiki bagian yang bermasalah, pengguna dapat menambahkan satu lapisan evaluasi sebelum hasil digunakan.
Namun, penelitian menunjukkan bahwa kemampuan AI untuk mengoreksi dirinya sendiri memiliki keterbatasan. AI tidak selalu mampu mengenali kesalahan yang dibuatnya sendiri, dan dalam kondisi tertentu proses koreksi internal bahkan dapat menghasilkan hasil yang lebih buruk.
Karena itu, cara terbaik memanfaatkan teknik ini bukan dengan menganggap AI sebagai hakim terakhir, melainkan sebagai editor pertama.
Gunakan pola:
Buat โ Tinjau โ Kritik โ Verifikasi โ Perbaiki โ Periksa manusia.
Dengan pola tersebut, AI tidak hanya digunakan sebagai mesin untuk menghasilkan jawaban, tetapi juga sebagai alat bantu untuk menemukan kelemahan dalam hasil yang telah dibuat.
Pada akhirnya, kualitas output AI bukan hanya ditentukan oleh seberapa pintar model yang digunakan, tetapi juga oleh seberapa kritis manusia dalam memeriksa hasilnya.
AI boleh membantu menulis.
AI boleh membantu berpikir.
Tetapi keputusan bahwa sebuah informasi layak dipercaya tetap membutuhkan evaluasi yang bertanggung jawab.
Belum ada komentar. Jadilah yang pertama memberikan komentar.