Prompt kalitesi nasıl ölçülür? 6 bileşenli olgunluk rubriği

Çoğu kişi yazdığı promptun kalitesini, aldığı cevabı beğenip beğenmediğine göre değerlendirir. Bu yöntem bir sonraki seferde ne yapacağınızı söylemez. Aynı iş için yazılmış iki prompt arasındaki fark ise çoğunlukla yapısaldır: biri modele arka plan verir, ne istediğini açıkça söyler, sınırlarını çizer; diğeri tek cümlelik bir istekle yetinir ve sonucu şansa bırakır.

Bu yazıda PAITA'nın prompt olgunluğunu ölçmek için kullandığı altı bileşenli rubriği, puanlama mantığını ve skorun ne anlama geldiğini anlatacağız. Yazının sonunda kendi promptunuzu aynı çerçeveyle değerlendirebileceksiniz.

Neden bir ölçüye ihtiyaç var?

Prompt yazmak öğrenilebilir bir beceridir ve beceriler ancak ölçülebildikleri ölçüde gelişir. Ölçü olmadığında üç şey kaybolur. Birincisi tekrarlanabilirlik: bir kez iyi sonuç almak, o sonucu nasıl aldığınızı öğretmez. İkincisi karşılaştırılabilirlik: ekipte kimin nerede zorlandığını, hangi alışkanlığın yaygın olduğunu göremezsiniz. Üçüncüsü hedefli gelişim: "daha iyi prompt yaz" genel bir tavsiyedir, "kabul kriterlerini yazmıyorsun" ise somut bir adımdır.

PAITA'nın rubriği bu üç ihtiyaca cevap verir. Ham promptun metnine bakar, altı yapısal bileşeni sıfır ile iki arasında puanlar ve bu puanlardan ağırlıklı bir olgunluk skoru üretir.

Altı bileşen ve ağırlıkları

Her bileşen 0 (yok), 1 (kısmen var) veya 2 (tam ve net) puan alır. Puanlar ağırlıklarıyla çarpılıp toplanır ve 0 ile 100 arasında bir olgunluk skoru çıkar. Ağırlıklar eşit değildir. En büyük pay, pratikte en çok atlanan ve sonucu en çok etkileyen bileşen olan bağlama ayrılmıştır.

Bağlam (25 puan)

En ağır bileşen budur, çünkü eksikliği en pahalıya mal olandır. Bağlam verilmeyen bir prompt modeli tahmin etmeye zorlar ve tahmin genellikle ortalama bir cevap üretir. "Müşteri şikâyetine cevap yaz" cümlesi sıfır puan alır. "Kargo gecikmesi yaşamış ve ikinci kez yazan öfkeli bir kurumsal müşteriye, samimi ama profesyonel bir dille cevap yaz" cümlesi ise iki puan alır. Aradaki fark çıktıya aynen yansır.

Hedef (20 puan)

Çıktının biçimi ve sınırları burada tanımlanır: bir e-posta mı, üç maddelik bir liste mi, tablo hâlinde bir karşılaştırma mı, 200 kelimeyi geçmeyen bir özet mi? Hedefi tarif etmeden yazılan promptlar çoğunlukla ikinci ve üçüncü turda düzeltilir; bu da sohbetteki tur sayısını artırır.

Persona / Rol (15 puan)

Rol vermek modelin üslubunu, kullandığı terimleri ve önceliklerini ayarlar. "Bir veri analisti gibi düşün" ya da "deneyimli bir hukuk danışmanı gibi değerlendir" cümlesi tek başına çıktının seviyesini değiştirir. Rol yoksa sıfır, rol var ama belirsizse ("bir uzman gibi") bir, rol ve bakış açısı netse iki puan verilir.

Kabul Kriterleri (15 puan)

"Şunları yapma, şunlar mutlaka olsun" listesidir. Kaçınılacak kelimeler, zorunlu başlıklar, uzunluk sınırı, yasal uyarılar, hedef kitleye uygun dil gibi şartlar burada yer alır. Kabul kriterleri, çıktının doğru ama kullanılamaz olmasını engeller.

Yapılandırma (15 puan)

Görevi parçalara bölmek, örnek göstermek ya da modelden önce düşünüp sonra yazmasını istemek bu bileşene girer. "Önce üç alternatif başlık öner, sonra en iyisini seç ve gerekçesini yaz" gibi bir yönlendirme tek seferde daha kaliteli sonuç getirir.

Kaynak (10 puan)

Modelin neye dayanacağını belirler: yapıştırılan bir metin, bir tablo, toplantı notları, bir referans doküman. Kaynak verilmeden yazılan promptlar halüsinasyona en açık olanlardır. Kaynak vermek hem doğruluğu hem de çıktının kuruma özgü olmasını sağlar.

Skordan seviyeye

Ağırlıklı skor beş olgunluk bandından birine düşer:

Aynı iş için iki prompt

İki prompt da aynı işi istiyor. B'nin çıktısı ilk seferde kullanılabilir olur, A'nınki birkaç tur düzeltme gerektirir. Rubrik bu farkın hangi bileşende oluştuğunu tek tek gösterir.

PAITA nasıl puanlıyor?

Demo akışında kullandığınız asistandan (ChatGPT, Claude, Gemini veya Copilot) sohbetinizin yapılandırılmış bir özetini alırsınız. PAITA yalnızca ham ilk promptun metnine bakarak altı bileşeni puanlar, skoru ve bandı hesaplar; ardından en düşük puanlı bileşenlere odaklanan üç ile beş arası somut öneri ve yeniden yazılmış bir prompt üretir. Sohbet türü ve tur sayısı gibi bilgiler yalnızca ipucu olarak kullanılır, puanı tek başına belirlemez.

Kurumsal tarafta aynı rubrik, yedi boyutlu vaka etiketlemesiyle birleştirilir ve departman bazında bir olgunluk tablosuna dönüştürülür. Başlangıç noktası yine tek bir promptun yapısıdır.

Kendi promptunuzu değerlendirmek için üç soru

1. Promptumu hiç tanımayan biri okusa hangi durum için yazıldığını anlar mı? (Bağlam)
2. Çıktının neye benzeyeceğini, yani biçimini, uzunluğunu ve tonunu söyledim mi? (Hedef ve kriter)
3. Modele neye dayanacağını ve nasıl ilerleyeceğini verdim mi? (Kaynak ve yapılandırma)

Bu üç soruya da evet diyemiyorsanız skorunuzun nerede düştüğünü büyük ihtimalle biliyorsunuz demektir.