Yapay zekâ projesinde başarıyı nasıl ölçeriz?

“Güzel cevap üretsin” yerine “Müşterinin üç sorusunu da yanıtlasın, kaynakta olmayan fiyat vermesin ve yayınlanmadan önce görevli tarafından kontrol edilsin” yazın. Bu tanım, hem içerik ölçütü hem süreç sınırı içerir. Yanıtın hızlı olması yararlı olabilir, ancak yanlış fiyatı hızlı vermek başarı sayılmaz. Kritik hatalar için ayrı bir geçiş koşulu belirleyin. Ortalama puan, bu tür bir hatayı görünmez hale getirmemelidir.

Aynı işi mevcut yöntemle ne kadar sürede ve kaç düzeltmeyle tamamladığınızı not edin. Bu, yapay zekâ destekli akışın karşılaştırma noktasıdır. Süreyi yalnızca üretim anından ölçmeyin; dosya hazırlama, çıktıyı okuma, düzenleme ve sisteme aktarma işlerini de dahil edin. Örneklerin zorluk düzeyi farklıysa sonuçları ayrı gruplarda tutun. Böylece araç hızlı örneklerde iyi görünürken zor örneklerdeki yükü saklamaz.

Normal mesajların yanında eksik bilgili, birden fazla konu içeren ve kurum politikasında cevabı bulunmayan örnekler ekleyin. Her örnek için kabul edilebilir yanıtın özelliklerini önceden yazın. Yapay olarak hazırlanan örnekler yararlı olabilir; gerçek kullanıcı dilini temsil edip etmediklerini ayrıca değerlendirin. Kişisel verileri temizleyin ve örnekleri kullanmaya yetkili olduğunuzdan emin olun. Test setinin yalnızca daha önce başarılı yanıt aldığınız sorulardan oluşmasına izin vermeyin.

İlk kayıt çıktı kalitesidir: doğru bilgi, eksiksiz kapsam ve uygun biçim. İkincisi iş yüküdür: insanın kaç değişiklik yaptığı ve toplam süre. Üçüncüsü başarısızlık türüdür: yanlış bilgi, kaynak eksikliği, biçim hatası veya erişim sorunu. Bu ayrım, neyi düzeltmeniz gerektiğini gösterir. Bir belgenin sistemde olmamasıyla modelin mevcut belgeyi yanlış yorumlaması aynı sorun değildir. Tek bir beş yıldızlı puan bunları anlatmakta yetersiz kalır.

Talimatı değiştirdiğinizde aynı örnekleri yeniden çalıştırın. Modeli, veri kaynağını ve talimatı aynı anda değiştirirseniz sonuca hangi etkenin katkı verdiğini anlamak zorlaşır. Tarihi, sürümü ve yapılan değişikliği kaydedin. Sonuçları mümkünse değerlendiren kişiye hangi sürümden geldiklerini göstermeden inceletin. Bu bir zorunluluk değil; ilk izlenimin puana etkisini azaltmak için uygulanabilecek küçük bir yöntemdir.

Test sonucunu “tamamlandı” etiketine dönüştürmeden önce kullanıcı etkisine bakın. Yanlış çıktılar insan onayında yakalanabiliyor mu, onaylayan kişi ilgili kaynağa ulaşabiliyor mu, hata bildirmek kolay mı? Kademeli bir deneme daha uygun olabilir. Yeni kullanım örnekleri geldikçe test listenizi genişletin. OpenAI'nin model optimizasyon belgeleri de gerçek bağlamın ve açık talimatların önemini vurgular; ancak kullanılan değerlendirme aracı zamanla değişebilir. Kalıcı olan alışkanlık, sonucu kaydetmek ve kararınızı hangi gözleme dayandırdığınızı açıklamaktır.