Evaluasi Output LLM Secara Otomatis dengan LLM-as-a-Judge Framework

Tantangan Testing pada Sistem Non-Deterministik

Dalam pengujian unit tradisional, jika fungsi add(2, 2) mengembalikan nilai selain 4, maka tes langsung gagal (assert fail). Namun bagaimana Anda menguji sistem chatbot yang bertugas ‘meringkas artikel teknis dalam 3 paragraf ramah pemula’?

Apakah teks ringkasan itu akurat? Apakah ada halusinasi? Pengujian manusia manual (human evaluation) terlalu lambat dan mahal untuk pipeline rilis harian.

Konsep LLM-as-a-Judge

Kita memanfaatkan model dengan kemampuan penalaran tinggi (seperti GPT-4o atau Claude 3.5 Sonnet) yang diberi rubrik penilaian terstandarisasi untuk mengevaluasi jawaban model aplikasi kita:

{
  "metric": "Factual Consistency",
  "rubric": {
    "score_5": "Semua klaim didukung 100% oleh dokumen referensi tanpa ada informasi palsu.",
    "score_3": "Ringkasan akurat namun ada satu klaim ambigu.",
    "score_1": "Terdapat halusinasi informasi yang bertentangan dengan dokumen referensi."
  }
}

Dengan mengintegrasikan framework seperti Ragas atau Deepeval ke dalam GitHub Actions, setiap kali tim Anda mengubah prompt atau skema database vektor, sistem otomatis menguji skor regresi sebelum kode diizinkan merge ke production.