Kötü cevapların çoğu modelden değil, getirilen yanlış bağlamdan gelir. Retrieval’ı ölçülebilir kılmanın yolu.
Sorun model değil, bağlam
RAG sistemlerinde yanlış cevapların büyük kısmı modelin uydurması değil, ona yanlış ya da eksik parça (chunk) verilmesidir. Önce retrieval’ı düzeltmeden prompt’u büyütmek çoğu zaman parayı boşa harcamaktır.
Chunking ve metadata
Parçalama stratejisi sonucu doğrudan belirler. Çok büyük parçalar gürültü taşır, çok küçük parçalar bağlamı koparır. Her parçaya kaynak, başlık ve tarih gibi metadata eklemek; hem filtrelemeyi hem de cevaba kaynak göstermeyi mümkün kılar.
Hibrit arama
Yalnızca vektör benzerliği çoğu kurumsal veride yetmiyor. Anahtar kelime (BM25) ile vektör aramayı birleştiren hibrit yaklaşım, özellikle kod, ürün kodu ve özel terimlerde belirgin biçimde daha isabetli.
Retrieval’ı ölçün
Cevap kalitesini ölçmeden önce getirme kalitesini ölçün: doğru parça ilk k sonuç içinde geldi mi (recall@k)? Bu sayı olmadan sistemin nerede koptuğunu asla bilemezsiniz.
