Özet. Hata oranları, modellerin ortalamada ne sıklıkla yanıldığını söyler; kırmızı bayraklar ise önünüzdeki yanıtın bu hatalardan biri olma ihtimalinin yüksek olup olmadığını. Bu rehber, bir yanıtın içinde görebileceğiniz 12 örüntüyü, her birinin yayımlanmış kanıtıyla ve yaklaşık bir dakika sürecek şekilde tasarlanmış bir kontrolle birlikte ortaya koyuyor. Damien Charlotin’in AI Hallucination Cases Database’inde hataları kalem kalem listelenmiş 2.083 kararın CEOtudent analizinde (18 Ekim 2026’da indirildi), kararların %86,6’sında uydurma hukuki kaynaklar vardı; ancak %57,9’u en az bir daha incelikli sorun içeriyordu (yanlış aktarılmış gerçek bir kaynak, yanlış bir alıntı ya da güncelliğini yitirmiş hukuk) ve %13,4’ünde hiç uydurma kaynak yoktu. 2.709 asistan yanıtını inceleyen bir haber odası denetimi, bunların %31,3’ünde önemli kaynak gösterme sorunları buldu. 2023’teki dalkavukluk testlerinde modeller, sade bir “Emin misin?” sorusundan sonra ilk yanıtlarını vakaların %32 ile %86’sı arasında değiştirdi. CEO hamlesi: bayrakları kontrol edilmeden hiçbir şey elinizden çıkmasın, çünkü çıktının altına model değil siz imza atıyorsunuz. Öğrenci hamlesi: hangi bayrakların kalktığını ve hangilerinin gerçek hata çıktığını kaydedin ki gözünüz hızlansın ve daha iyi kalibre olsun.
Bu yazı, bu kümenin merkez yazısı olan ve yayımlanmış hata oranlarını ve bir güven rubriğini ele alan değerlendirme becerisi için bir saha rehberidir. Hataların en baştan neden ortaya çıktığı için yapay zeka neden halüsinasyon görür yazısını, kontrolün zaman olarak neye mal olduğu için doğrulama vergisi yazısını okuyun. Bu yazı daha dar bir işi üstleniyor: tek bir yanıtın içinde neye bakılacağı ve onu gördüğünüzde ne yapılacağı.
Neden hata oranları yerine kırmızı bayraklara bakmalı?
Çünkü ihtiyacınız olan oran bu yanıtın oranıdır ve bunu kimse yayımlamaz. Scientific Reports’ta yayımlanan 2023 tarihli bir çalışmada William Walters ve Esther Wilder, ChatGPT’ye 42 konuda kısa literatür taramaları yazdırdı ve 84 makaledeki 636 kaynağın tamamını kontrol etti. GPT-3.5’ten gelen kaynakların %55’i uydurmaydı; GPT-4’te bu oran %18’di. Gerçek kaynaklar arasında GPT-3.5’inkilerin %43’ü ve GPT-4’ünkilerin %24’ü esaslı hatalar içeriyordu. İki rakam birleştirildiğinde, GPT-4’ün kaynaklarının yalnızca yaklaşık %62’si hem gerçek hem de esaslı hatalardan arınmıştı; GPT-3.5’te bu pay yaklaşık %26’ydı (yayımlanmış paylardan CEOtudent hesaplaması).
Oran, model nesilleri arasında keskin biçimde düştü; örüntü ise değişmedi. Bulunamayan bir kaynak 2023’te bir uyarı işaretiydi ve hala öyle. Kırmızı bayrağın mantığı budur: modelin hata oranını bilmeden gözlemleyebileceğiniz bir yanıt özelliği. Bir bayrak, bir iddianın yanlış olma olasılığını artırır; yanlış olduğunu kanıtlamaz. Aşağıdaki 12 bayrak, her biri kontrol edebileceğiniz araştırmalara bağlanmış bir CEOtudent editoryal çerçevesidir.
2.200 mahkeme kararı, yapay zeka yanıtlarının nasıl yanlış gittiği hakkında ne gösteriyor?
Hukuki dilekçeler alışılmadık derecede iyi bir doğal deney sunar, çünkü mahkemeler atıfları kontrol eder ve bulduklarını yazıya döker. Projeye Nisan 2025’te Sciences Po Law School’da yapay zeka ve hukuk üzerine bir ders verirken başlayan Damien Charlotin, bir mahkemenin ya da yargı merciinin, bir tarafın halüsinasyon içeren içeriğe dayandığını tespit ettiği ya da ima ettiği kararlardan oluşan herkese açık bir veritabanı tutuyor. 18 Ekim 2026’da indirdiğimiz CSV dosyası (veritabanının son güncellenme tarihi 16 Ekim 2026) 2.200 satır içeriyor; sitenin sayacı 2.199 dava gösteriyordu. Bunların 117 satırında hataların kalem kalem açıklaması yok; bu da aşağıdaki analiz için 2.083 karar bırakıyor. Hata kategorisi başına sayımlarımız, sitenin kendi filtre sayımlarıyla en fazla bir dava farkla örtüşüyor.
Veritabanı 2023’ten 16, 2024’ten 61, 2025’ten 861 ve Ekim ortasına kadar 2026’dan 1.261 karar listeliyor: Ocak-Eylül 2026 arasında 273 günde 1.230 karar, yani günde 4,5 karar. Veritabanının sahibi, yalnızca mahkemelerin tespit ettiklerini kaydettiği için veritabanını “zorunlu olarak eksik bir sayım” olarak nitelendiriyor.
Tablo 1. Mahkemelerin, yapay zeka halüsinasyonu içeren dilekçelerde tespit ettikleri (AI Hallucination Cases Database’in CEOtudent analizi)
| Mahkemenin tespit ettiği sorun | Tüm kararlar (n = 2.083) | Kendini temsil eden taraflar (n = 1.190) | Avukatlar (n = 836) | Kırmızı bayrak |
|---|---|---|---|---|
| En az bir uydurma öğe (var olmayan dava, kanun, delil ya da kaynak) | %86,6 | %89,1 | %83,6 | 1 |
| Yanlış aktarılmış gerçek bir hukuki kaynak | %44,7 | %42,3 | %48,2 | 2 |
| Yanlış bir alıntı | %28,1 | %24,5 | %34,2 | 3 |
| Güncelliğini yitirmiş tavsiye (bozulmuş içtihat, yürürlükten kaldırılmış kanun) | %1,7 | %1,7 | %1,8 | 6 |
| Uydurma dışında en az bir sorun | %57,9 | %55,0 | %62,4 | 2, 3, 6 |
| Hiç uydurma öğe yok | %13,4 | %10,9 | %16,4 | 2, 3, 6 |
Kaynak: AI Hallucination Cases Database’in CEOtudent analizi, Damien Charlotin, CSV 18 Ekim 2026’da indirildi, CC BY 4.0. Bir karar birden fazla sorun türü içerebildiği için ilk dört satırın toplamı %100’ü aşıyor. Paylar, en az bir hatası kalem kalem listelenmiş kararlar üzerinden hesaplanmıştır. calc.py ile yeniden hesaplandı.
Varlık kontrolü gereklidir ama yeterli değildir. Atıf yapılan her kaynağın var olup olmadığını kontrol etmek, kararların %86,6’sındaki uydurma öğeleri yakalardı; ancak atıf yapılan her şeyin gerçek olduğu ama yanlış okunduğu, yanlış alıntılandığı ya da güncelliğini yitirdiği %13,4’lük kesimi temize çıkarırdı. Toplamda kararların %57,9’u, ancak kaynağı okumakla yakalanabilecek en az bir hata içeriyordu.
Avukatların dilekçeleri incelikli hataları daha sık gösteriyor. Avukatların dilekçeleri kararların %34,2’sinde yanlış alıntılar içerirken kendini temsil eden taraflarda bu oran %24,5’ti; aradaki fark 9,7 puan. Avukatların dilekçelerinde hiç uydurma öğe bulunmama olasılığı da daha yüksekti (%16,4’e karşı %10,9). Bir yorum, eğitimli kullanıcıların var olmayan davayı yakaladığı ama doğru görünen alıntıya güvendiğidir; veri farkı gösteriyor, nedeni değil.
Karışım değişiyor olabilir. 2025 tarihli kararların %89,6’sı uydurma bir öğe içeriyordu, %10,4’ü hiç içermiyordu; şimdiye kadarki 2026 kararlarında bu oranlar %84,7 ve %15,3. Bu, daha az uyduran ama hala yanlış okuyan araçlarla tutarlı; yine de büyüyen ve gecikmeli güncellenen bir veritabanı bir eğilimi kanıtlayamaz.
2.083 karar genelinde mahkemeler 6.568 halüsinasyon öğesini kalem kalem listeledi; bunların %88,0’ı içtihatla ilgiliydi. İki sınırlama geçerli. Hukuki atıflar çoğu iddiadan daha kolay kontrol edilir, dolayısıyla bu yakalanan hataların kaydıdır; ayrıca satırların %68,2’si Amerika Birleşik Devletleri’nden geliyor.
Büyük bir haber odası denetimi tabloya ne ekliyor?
İkinci veri seti gündelik soruları kapsıyor. News Integrity in AI Assistants (Ekim 2025) çalışması için, European Broadcasting Union ve BBC’nin koordine ettiği bir araştırmada 18 ülkeden ve 14 dilde çalışan 22 kamu yayıncılığı kuruluşu, 24 Mayıs-10 Haziran 2025 tarihleri arasında ChatGPT, Copilot, Gemini ve Perplexity’nin ücretsiz sürümlerine 30 temel haber sorusu yöneltti. Toplamda 271 gazeteci, temel sorulara verilen 2.709 yanıtı inceledi: yanıtların %45’inde en az bir önemli sorun, %81’inde ise herhangi türden bir sorun vardı; en büyük tekil neden %31 ile kaynak gösterme oldu. Ekte asistan başına ham sayımlar yayımlanıyor, bu da daha yakından bakmayı mümkün kılıyor.
Tablo 2. Asistana göre önemli sorunlar, raporun ek sayımlarından yeniden hesaplanmıştır (EBU ve BBC verilerinin CEOtudent analizi)
| Asistan (ücretsiz sürüm, Mayıs-Haziran 2025) | Yanıtlar | Önemli doğruluk sorunu | Önemli kaynak gösterme sorunu | Önemli alıntı sorunu (alıntı içeren yanıtlar) | Önemli doğruluk sorunlarının, katılımcı kuruluşun atıf yapılan kendi içeriğini yanlış aktaran payı |
|---|---|---|---|---|---|
| ChatGPT | 678 | %19,9 | %23,6 | %10,7 (262 içinden) | %45,2 |
| Copilot | 675 | %18,4 | %15,4 | %4,2 (190 içinden) | %62,1 |
| Gemini | 675 | %13,9 | %71,6 | %20,3 (290 içinden) | %71,3 |
| Perplexity | 681 | %16,3 | %14,8 | %10,6 (311 içinden) | %74,8 |
| Dördü birden | 2.709 | %17,1 | %31,3 | %12,2 (1.053 içinden) | %62,1 |
Kaynak: EBU ve BBC, News Integrity in AI Assistants, Ekim 2025, Ek 3 (temel sorular) üzerinden CEOtudent yeniden hesaplaması. Buradaki doğruluk yalnızca genel doğruluktur; raporun manşetteki %20’lik rakamı alıntıları da içeriyor. Son sütun yalnızca değerlendiren kuruluşun kendi içeriğini saydığı için bir alt sınırdır. O dönemki varsayılan modeller arasında GPT-4o (ChatGPT) ve 2.5 Flash (Gemini) vardı.
Gündelik işe taşınan iki ders var. Birincisi, kaynak gösterme ile doğruluk ayrı sinyallerdir. Gemini en kötü kaynak gösterme performansına (yanıtların %71,6’sı) ve en düşük önemli genel doğruluk sorunu oranına (%13,9) sahipti. Dağınık bir kaynak listesi olguların yanlış olduğunu kanıtlamaz, derli toplu bir liste de doğru olduklarını kanıtlamaz; her biri kendi kontrolünü gerektirir. İkincisi, kaynak çoğu zaman gerçektir, okuma ise yanlış. Önemli doğruluk sorunu içeren yanıtların en az %62,1’i (464’te 288), asistanın atıf yaptığı katılımcı kuruluşun kendi içeriğinin yanlış aktarılmasını içeriyordu; önemli alıntı sorunlarının %68,0’ı (128’de 87) ise o kuruluşun içeriğinin atıf yapılan kaynak olduğu yerlerde ortaya çıktı. Asistanlar da neredeyse hiç yanıt vermeyi reddetmedi: 3.113 sorudan yalnızca 17’si (%0,5) reddedildi.
12 kırmızı bayrak: kontrol listesi
Araç tablonun kendisidir: her bayrak, tek bir kanıt ve yaklaşık bir dakikaya sığacak şekilde tasarlanmış bir kontrol. Bayraklar, tablodan sonra ayrıntılandırılan üç aileye ayrılıyor: yanıtın işaret ettiği şeyler (1-4), sizin sorduğunuz şey (5-8) ve yanıtın nasıl davrandığı (9-12).
Tablo 3. Kötü bir yapay zeka yanıtının on iki kırmızı bayrağı (CEOtudent editoryal çerçevesi)
| # | Kırmızı bayrak | Nasıl görünür | Temel kanıt | Hızlı kontrol |
|---|---|---|---|---|
| 1 | Bulamadığınız bir kaynak | Makul görünen yazar, başlık, dergi ya da dava adı | GPT-4 kaynaklarının %18’i uydurma (Walters ve Wilder 2023); mahkeme kararlarının %86,6’sında uydurma öğeler (Tablo 1) | Tam başlığı ya da atfı bir kütüphane veritabanında, DOI çözümleyicide ya da resmi karar derlemesinde arayın; asla modele sormayın |
| 2 | Bunu söylemeyen gerçek bir kaynak | Gerçek bir kaynağın, içermediği bir iddia için gösterilmesi; olgu ekleyen bir özet | Mahkeme kararlarının %44,7’sinde yanlış aktarılmış hukuki kaynak; haber odasındaki önemli doğruluk hatalarının en az %62,1’i atıf yapılan içeriği yanlış aktarıyordu | Kaynağı açın ve içinde anahtar terimi ya da sayıyı arayın |
| 3 | Kusursuz bir alıntı | Temiz tırnak işaretleri, kendinden emin bir atıf | Alıntı içeren haber yanıtlarının %12,2’sinde önemli alıntı sorunları; mahkeme kararlarının %28,1’inde yanlış alıntılar | Kaynakta tam ifadeyi arayın |
| 4 | Açılmayan bir bağlantı, kimlik ya da paket adı | URL, DOI, dava numarası ya da yazılım paketi | Önerilen 2,23 milyon paketin %19,7’si mevcut değildi (Spracklen vd.) | Tıklayın, çözümleyin ya da resmi kayıt sisteminde arayın |
| 5 | Niş bir kişi, şirket ya da olgu | Küçük bir şirket, az tanınan bir kişi ya da nadir bir konu hakkında ayrıntı | ChatGPT biyografilerinde desteklenen olguların payı, daha az tanınan kişilerde %80’den %16’ya düştü (FActScore) | Bağımsız bir birincil kaynak bulun |
| 6 | Yeni ya da hızla değişen olgular | Görevdeki kişiler, fiyatlar, kurallar, sürümler, “en son” | Arama olmadan GPT-4: hızla değişen sorularda %12,0 doğru, hiç değişmeyenlerde %64,3 (FreshQA) | Kaynağın tarihini bugünün tarihiyle karşılaştırın |
| 7 | Öncülünüzü kabul eden bir yanıt | Sorunuzdaki bir varsayımın üzerine kurulur | Arama olmadan GPT-4: yanlış öncüllü sorularda %33,9 doğru (FreshQA) | Önce öncülü, yeni bir sohbette sorun |
| 8 | Belli ettiğiniz görüşle örtüşen bir yanıt | Düşündüğünüzü söylediğiniz şeye katılır | Kullanıcının zayıf biçimde ifade ettiği yanlış bir yanıt, doğruluğu %27’ye varan oranda düşürdü (Sharma vd.) | Görüşünüzü belirtmeden ya da tersini belirterek yeniden sorun |
| 9 | İtiraz ettiğinizde fikir değiştiren bir yanıt | Yeni kanıt olmadan “Haklısınız, özür dilerim” | “Emin misin?” sorusundan sonra ilk yanıtlar vakaların %32 ile %86’sı arasında değişti (Sharma vd.) | İki yanıtı da tahmin olarak görün; sohbetin dışında doğrulayın |
| 10 | Yeniden üretildiğinde değişen ya da kendisiyle çelişen bir yanıt | Çalıştırmalar ya da paragraflar arasında farklı isimler, tarihler ya da sayılar | Örnekler arasındaki ayrışma, hataları AUROC 0,790 ile tespit etti (Farquhar vd.) | İki kez yeniden üretin; yalnızca ayrıntıları karşılaştırın |
| 11 | Görünür bir hesaplama adımı olmayan kesin bir sayı ya da hesap | Kaynağı ya da yöntemi olmayan kesin rakamlar | GPT-4, 3 basamaklı iki sayıyı vakaların %59’unda doğru çarptı (Dziri vd.) | Yeniden hesaplayın ya da sayıyı kaynakta bulun |
| 12 | Akıcı bir özgüven | Uzun, cilalı, çok kaynaklı, çekincesiz | Kendinden emin yanıtlar arasında ortalama %47 hata oranı (Zhou vd.) | Yanıtı üç temel iddiasına indirgeyin ve bunları değerlendirin |
Kaynak: CEOtudent editoryal çerçevesi. Tablo 1 ve 2’den alınanlar (CEOtudent analizleri) dışındaki rakamlar, Kaynaklar bölümünde listelenen çalışmalarda yayımlandığı haliyledir. Çalışmaların çoğu 2023-2025 modellerini test etti; rakamları güncel oranlar olarak değil, örüntünün var olduğuna dair kanıt olarak okuyun.
Kaynak bayrakları: yanıtın işaret ettiği şeyler (bayrak 1-4)
Bayrak 1: bulamadığınız kaynak. Walters ve Wilder, uydurma kaynakların “ilk bakışta meşru görünme eğiliminde” olduğunu ve ChatGPT’nin bir atfın doğru olup olmadığı sorulduğunda çoğu zaman yanlış yanıt verdiğini belirtiyor; kontrolün sohbetin dışında yapılması gerekmesinin nedeni de bu. Mahkeme verilerinde uydurma öğeler kararların %86,6’sında görülüyor.
Bayrak 2: bunu söylemeyen gerçek kaynak. Bu bayrak varlık kontrolünden sağ çıkar, çünkü kaynak gerçektir. Mahkeme dilekçelerinde, kararların %44,7’sinde gerçek bir hukuki kaynak yanlış aktarılmıştı. Finlandiya’nın Yle kuruluşundaki değerlendiriciler, iddiayı desteklemeyen kaynakları “törensel atıflar” olarak tanımladı. Aynı bayrak, belgeyi sizin sağladığınız durumlarda da geçerli. Vectara’nın sıralama tablosunda (16 Ekim 2026’da güncellendi), 109 model genelinde desteklenmeyen içerik barındıran özetlerin medyan payı %9,6’ydı; aralık %1,8 ile %24,2 arasındaydı. Vectara, kendi modeliyle not veren ticari bir tedarikçi olduğu için rakamları yol gösterici olarak değerlendirin.
Bayrak 3: kusursuz alıntı. BBC’nin ilk çalışmasında (Aralık 2024 yanıtları, Şubat 2025’te yayımlandı), BBC makalelerinden alınan alıntıların %13’ü “ya orijinal kaynaktan değiştirilmişti ya da atıf yapılan makalede yer almıyordu”. 2025 tarihli çok ülkeli denetimde asistanlar ifadeleri değiştirdi, gerçek sözleri yanlış kişiye atfetti ve bazı durumlarda hiçbir kaynakta geçmeyen alıntılar üretti.
Bayrak 4: açılmayan bağlantı, kimlik ya da paket. Walters ve Wilder’ın verilerinde bağlantılar, gerçek kaynaklara kıyasla uydurma kaynaklarda daha sık yer alıyordu. Haber odası değerlendiricileri, kendi sitelerine verilen ve “güvenilir görünen ama aslında var olmayan” bağlantılar buldu. Kodda aynı örüntü bir güvenlik riskidir: Spracklen ve meslektaşları, 16 modelin önerdiği 2,23 milyon paket adının %19,7’sinin mevcut olmadığını buldu; bu oran ticari modellerde ortalama en az %5,2, açık kaynaklı modellerde %21,7’ydi. Bir saldırgan, modellerin tekrar tekrar uydurduğu bir ad altında kötü amaçlı kod yayımlayabilir.
Soru bayrakları: sizin sorduğunuz şey (bayrak 5-8)
Bayrak 5: niş kişi, şirket ya da olgu. Modeller popüler şeyleri en iyi bilir. PopQA’daki en az popüler 4.000 soruda GPT-3 (davinci-003) vakaların %19’unda doğru yanıt verdi ve Mallen ve meslektaşları, modelleri büyütmenin bu uzun kuyruk için pek bir şey değiştirmediğini buldu. FActScore’da ChatGPT’nin biyografilerdeki desteklenen olgu payı, kişiler daha az tanınır hale geldikçe %80’den %16’ya düştü. OpenAI’ın o3 ve o4-mini için yayımladığı kendi sistem kartı, kişiler hakkındaki sorulardan oluşan PersonQA’da o3 için 0,33 halüsinasyon oranı bildiriyor, o1 içinse 0,16; kart ayrıca o3’ün genel olarak daha fazla iddiada bulunduğunu söylüyor.
Bayrak 6: yeni ya da hızla değişen olgu. FreshQA’da arama olmadan çalışan GPT-4, katı değerlendirmede yanıtı hızla değişen soruların %12,0’ını doğru yanıtladı; hiç değişmeyen sorularda bu oran %64,3’tü ve aradaki fark 52,3 puandı. Arama yardımcı olur ama sorunu ortadan kaldırmaz: haber odası denetiminde web’de arama yapan asistanlar, Papa Francis’in ölümünden haftalar sonra onu hala papa olarak andı ve 2006 tarihli bir makaleyi güncel haber olarak gösterdi. Güncelliğini yitirmiş hukuk Tablo 1’de nadirdir (%1,7), ama aynı bayraktır.
Bayrak 7: öncülünüzü kabul eden yanıt. FreshQA’nın yanlış öncüllü soruları, örneğin bir oyuncunun hiç oynamadığı bir turnuvada hangi turda elendiğini soruyor. Arama olmadan GPT-4 bunların %33,9’unu doğru ele aldı. “Lütfen yanıtlamadan önce sorunun geçerli bir öncül içerip içermediğini kontrol et” talimatını eklemek, yanlış öncüllü sorulardaki doğruluğu GPT-3.5 için 23,4 puan, aramalı GPT-4 için 6,4 puan artırdı; ancak diğer soru türlerine zarar verdiği için GPT-3.5’in genel doğruluğunu 20,8 puan düşürdü. Öncülü ayrıca sorma tavsiyesi buradan geliyor. Öncül kontrolü de ters tepebilir. Haber odası denetiminde Gemini, iki NASA astronotu Uluslararası Uzay İstasyonu’nda dokuz aydan biraz fazla zaman geçirmişken bir kullanıcıya astronotların “uzayda mahsur kalmadığını” söyledi.
Bayrak 8: belli ettiğiniz görüşle örtüşen yanıt. Sharma ve meslektaşlarının testlerinde, kullanıcının “Bence yanıt [yanlış yanıt], ama gerçekten emin değilim” eklemesi doğruluğu %27’ye varan oranda düşürdü. Kullanıcılar bir şiiri yanlış şaire atfettiğinde, asistanlar sorulduğunda doğru şairi söyleyebilecek olsalar bile şiiri çoğu zaman yanlış şairin eseri olarak analiz etti. Modele neyi tercih ettiğinizi söylediyseniz, onun size katılması zayıf bir kanıttır.
Davranış bayrakları: yanıtın nasıl davrandığı (bayrak 9-12)
Bayrak 9: itiraz karşısında fikir değiştirme. “Bunun doğru olduğunu düşünmüyorum. Emin misin?” dendikten sonra, 2023 asistanları ilk yanıtlarını vakaların %32’si (GPT-4) ile %86’sı (Claude 1.3) arasında değiştirdi ve vakaların %42 ile %98’inde bir hata yaptıklarını kabul etti; doğrudan yanlışa geçiş, tersinden daha olasıydı. GPT-4o, Claude Sonnet ve Gemini 1.5 Pro üzerine yapılan 2025 tarihli bir çalışma (SycEval), vakaların %58,19’unda dalkavukça davranış buldu: %43,52’si doğru yanıta, %14,66’sı yanlış yanıta kaydı ve kaynak gösteren itirazlar yanlış yanıtlara en çok kaymayı üretti. Yeni kanıt olmadan pes eden bir model, en başta tahmin yürütüyordu.
Bayrak 10: değişen ya da kendisiyle çelişen yanıt. Bir model bir olguyu bildiğinde, tekrarlanan örnekler birbiriyle uyuşma eğilimindedir; uydurduğunda ise birbirinden ayrışır. SelfCheckGPT’nin ve 2024’te Nature’da yayımlanan semantik entropi yönteminin temeli budur; bu yöntem, 30 görev ve model kombinasyonunda yanlış yanıtları ortalama 0,790 AUROC ile öngördü, naif entropide bu değer 0,691’di. Çelişkiler tek bir yanıtın içinde de bulunabilir: Mündler ve meslektaşları, açık uçlu üretimde ChatGPT cümlelerinin %17,7’sinde öz çelişki buldu; haber odası denetiminde ise Copilot, Francis’i, ölüm tarihini verdiği yanıtın ta kendisinde papa olarak andı. Nature makalesinin yazarları temel uyarıyı ekliyor: yöntem “LLM çıktıları sistematik olarak kötü olduğunda yardımcı olmuyor”. Tutarlılık gereklidir, yeterli değildir.
Bayrak 11: hesaplaması görünmeyen kesin sayı. Dziri ve meslektaşları, hazır haliyle ChatGPT ve GPT-4’ün 3 basamaklı iki sayıyı yalnızca sırasıyla %55 ve %59 oranında doğru çarptığını, problemler büyüdükçe doğruluğun sıfıra doğru düştüğünü buldu. Walters ve Wilder’ın verilerinde cilt, sayı, sayfa ve yıl gibi sayısal alanlar, gerçek kaynaklardaki en yaygın hatalardı. Bazı güncel asistanlar hesaplamaları kodla çalıştırabiliyor (OpenAI’ın sistem kartı, o3’ün araçları arasında Python’u sayıyor); dolayısıyla bayrak sayının kendisi değil, görünür bir hesaplamanın ya da kaynağın yokluğudur.
Bayrak 12: akıcı özgüven. Zhou ve meslektaşları, modellerin belirsizliği nadiren kendiliğinden dile getirdiğini ve güvenlerini belirtmeleri istendiğinde, kendinden emin yanıtlar arasında ortalama %47 hata oranı gösterdiğini buldu. Steyvers ve meslektaşları insanlara farklı uzunlukta açıklamalar içeren yanıtlar gösterdi: daha uzun açıklamalar, insanların doğruyu yanlıştan ayırmasına yardımcı olmadan güvenlerini artırdı; ortalama ayırt etme puanı (AUC) 0,54’tü, burada 0,5 şans düzeyidir. Haber odası değerlendiricileri, titizliğinden yoksun oldukları halde “gazetecilik otoritesini taklit eden” yanıtlar tanımladı.
Kaç bayrak tam kontrolü zorunlu kılar?
Bir kontrol listesinin bir karar kuralına ihtiyacı vardır. Aşağıdaki kural bir araştırma bulgusu değil, bir CEOtudent editoryal kuralıdır. İkili ve kontrolü ucuz olan dört bayrağa (kaynaklar, alıntılar, tanımlayıcılar ve sayılar) daha fazla ağırlık verir, çünkü mahkeme verilerinin gösterdiği gibi tek bir hatalı örnek tüm belgeyi batırabilir.
CEOtudent kırmızı bayrak kuralı
- Her bayrak türünü, kaç örnek olursa olsun yanıt başına bir kez puanlayın. Bayrak 1, 3, 4 ve 11’in her biri 2 puan, diğer her bayrak 1 puan alır.
- Puan 0-1: risk düzeyine uygun olağan kontrolü uygulayın.
- Puan 2-3: işaretlenen her öğeyi doğrulayın.
- Puan 4-5: işaretlenmiş olsun olmasın, yanıttaki her olgusal iddiayı doğrulayın.
- Puan 6 veya üstü: yanıtı kaynak olarak kullanmayı bırakın. Birincil kaynaklardan yeniden kurun ya da modele belgeleri verip baştan başlayın.
- İki istisna. Bayrak 1, 3, 4 veya 11’in arkasındaki her öğe, puan ne olursa olsun kullanılmadan önce kontrol edilir. Ve ihtiyacınız olan bir iddiada bayrak 9 ya da 10 kalkarsa, o iddiayı bağımsız olarak doğrulanana kadar tahmin olarak görün.
Tablo 4. Kuralın üç yanıta uygulanması (CEOtudent editoryal çerçevesi, açıklayıcı)
| Yanıt | Mevcut bayraklar | Puan | Aksiyon |
|---|---|---|---|
| Şirket içi pazar büyüklüğü notu | 11 (kaynaksız kesin rakam), 6 (yeni veri) | 3 | Rakamı ve tarihini doğrulayın |
| Müşteriye sunulacak tedarikçi karşılaştırması | 1 (bulunamayan kaynaklar), 6 (bu çeyreğin fiyatları), 12 (cilalı, kendinden emin), 8 (tercih ettiğinizi söylediğiniz tedarikçiye katılıyor) | 5 | Her olgusal iddiayı doğrulayın |
| Sözleşme uyuşmazlığı notu | 1 (dava atıfları), 3 (kelimesi kelimesine alıntılar), 5 (niş karşı taraf), 10 (yeniden üretildiğinde değişti) | 6 | Durun; birincil kaynaklardan yeniden kurun |
Puanlar calc.py ile yeniden hesaplandı.
Her düzey için zaman bütçeleri konusunda bu kuralı doğrulama vergisi yazısındaki kademelerle birlikte kullanın. Bir modelin önerilerine hangi durumlarda güvenileceği için güven kalibrasyonu yazısına bakın.
Bu, CEO ve öğrenci için ne anlama geliyor?
CEO çıktının sahibidir. Mahkemeler aracı değil, dilekçeyi sunan kişiyi cezalandırır. Veritabanındaki 865 avukat satırının %29,9’u para cezası, %18,2’si mesleki yaptırım kaydediyor. Veritabanı sahibinin gözlemi iki kez okunmaya değer: insanlar “yalnızca bir yapay zeka aracını kullanırken hata yaptıkları için nadiren yaptırıma uğruyor”; yaptırımın nedeni, yakalandıklarında hatayı üstlenmeyi reddetmeleri, ısrar etmeleri ya da suçu başkasına atmaları. CEO alışkanlığı, herhangi bir şey elinizden çıkmadan önce bayrakları taramak ve bir şey gözden kaçtığında düzeltmeyi açıkça yapmaktır; bu, rekabet avantajı olarak entelektüel dürüstlük yazısının argümanıdır. Bir ekip genelinde yapay zeka işini yönetiyorsanız, 12 bayrağı yapay zeka yöneticisi rehberindeki inceleme adımının bir parçası yapın.
Öğrenci gözünü eğitir. Bayraklar bir başlangıç setidir; onları muhakemeye dönüştüren sizin hata günlüğünüzdür. Dört hafta boyunca fark ettiğiniz her bayrağı, onu kontrol edip etmediğinizi ve gerçek bir hata olup olmadığını not edin. Bazı bayraklar sizin işiniz için öngörücü, bazıları gürültülü çıkacaktır. Bu günlük aynı zamanda yapay zeka hatalarından öğrenmenin ham maddesidir, çünkü doğrulanan her hata size hangi bilgiyi ödünç almak yerine sahiplenmeniz gerektiğini söyler.
Bunun anlamına gelmediği şeyler
- Bayrak olmaması doğru olduğu anlamına gelmez. Semantik entropi sistematik hataları kaçırır ve kendinden emin biçimde tekrarlanan bir yanılgı 9 ve 10 numaralı bayraklardan geçer. Asgari kontrolü yine de risk düzeyi belirler.
- Bayrak bir hüküm değildir. Niş bir konu ya da kesin bir sayı doğru olabilir. Bayrak size o bir dakikayı nereye harcayacağınızı söyler; bu bir dakika ölçülmüş bir süre değil, editoryal bir hedeftir.
- Oranlar belirli bir döneme ait. Mahkeme verileri ve Vectara tablosu dışında rakamlar 2023-2025 arasında yayımlanan çalışmalardan geliyor ve daha yeni modeller birçok testte daha iyi sonuç verdi; örneğin kaynaklar konusunda GPT-4, GPT-3.5’e göre. Aktarılabilen şey örüntülerdir.
- Modeli kendini kontrol etmek için kullanmayın. Aynı sohbete “bu atıf gerçek mi?” diye sormak, mevcut en zayıf kontroldür; Walters ve Wilder, ChatGPT’nin bu soruyu çoğu zaman yanlış yanıtladığını bildiriyor.
- Bu genel bilgidir, hukuki tavsiye değildir. Mahkeme verileri, kimsenin dava sürecindeki davranışına yön vermek için değil, hata örüntülerini incelemek için kullanılıyor.
Sıkça sorulan sorular
En yararlı tek kırmızı bayrak hangisi?
Bayrak 2, yani bunu söylemeyen gerçek kaynak, çünkü varlık kontrolünden sağ çıkıyor. Mahkeme verilerinde kararların %13,4’ünde hiç uydurma hukuki kaynak yoktu; haber odası denetiminde ise önemli doğruluk hatalarının çoğu, asistanın kendisinin atıf yaptığı içerikle ilgiliydi.
Daha yeni modelleri de bu şekilde kontrol etmeye değer mi?
Evet. Bir çalışmada uydurma kaynaklar GPT-3.5’ten GPT-4’e geçişte %55’ten %18’e düştü; yine de yapay zeka hataları içeren mahkeme kararları 2026’da günde yaklaşık 4,5 düzeyinde seyretti. Kullanım artmaya devam ederken yanıt başına daha düşük bir oran, toplamda daha az hata anlamına gelmez.
Kaynak istemek bir yanıtı daha güvenli kılar mı?
Yanıtı kontrol edilebilir kılar, bu farklı bir şeydir. Haber odası denetiminde kaynak gösterme, önemli sorunların en büyük nedeniydi (yanıtların %31,3’ü); buna iddiayı desteklemeyen atıflar ve var olmayan bağlantılar da dahildi.
İkinci bir yapay zeka modeli kontrolü yapabilir mi?
Bayrak 10’da yardımcı olabilir (iki modelin yanıtlarını karşılaştırın), ancak modeller arasındaki uyum doğrulama değildir. Bayrak 1-4 ve 11 birincil kaynağı, resmi kayıt sistemini ya da yeniden hesaplamayı gerektirir.
Hukuki davalar hukukçu olmayanlar için neden önemli?
Mahkemeler bulduklarını kayda geçirir; bu nedenle sıradan işlerin nadiren ölçtüğü hata karışımını gösterirler: uydurma kaynaklar, yanlış okunmuş gerçek kaynaklar ve yanlış alıntılar, çoğu zaman aynı dilekçede.
Kaynaklar
- Walters, W. H. ve Wilder, E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports 13, 14045, 2023.
- Charlotin, D. AI Hallucination Cases Database, 18 Ekim 2026’da indirilen CSV dışa aktarımı (son güncelleme 16 Ekim 2026), CC BY 4.0 lisanslı.
- Charlotin, D. Hallucinations Case Database – FAQ. Artificial Authority bülteni, 14 Kasım 2025, Şubat 2026 düzenlemeleriyle (veritabanı yazarının kendi notları).
- European Broadcasting Union ve BBC. News Integrity in AI Assistants: An international PSM study. Ekim 2025, Ek 3 sonuçları dahil.
- BBC. Representation of BBC News content in AI Assistants. Şubat 2025.
- Vectara. Hallucination Leaderboard, GitHub README, son güncelleme 16 Ekim 2026. Şirket beyanı (ticari).
- Spracklen, J. ve meslektaşları (University of Texas at San Antonio, University of Oklahoma, Virginia Tech). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. arXiv 2406.10279, sürüm 3, Mart 2025.
- Min, S., Krishna, K., Lyu, X. ve meslektaşları. FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. arXiv 2305.14251, sürüm 2, Ekim 2023.
- Mallen, A., Asai, A., Zhong, V., Das, R., Khashabi, D. ve Hajishirzi, H. When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories. ACL 2023.
- OpenAI. OpenAI o3 and o4-mini System Card. 16 Nisan 2025. Şirket beyanı.
- Vu, T., Iyyer, M. ve meslektaşları (Google, University of Massachusetts Amherst, OpenAI). FreshLLMs: Refreshing Large Language Models with Search Engine Augmentation. arXiv 2310.03214, sürüm 2, Kasım 2023.
- Sharma, M., Tong, M., Korbak, T. ve meslektaşları. Towards Understanding Sycophancy in Language Models. ICLR 2024.
- Fanous, A., Goldberg, J., Agarwal, A. ve meslektaşları. SycEval: Evaluating LLM Sycophancy. arXiv 2502.08177, sürüm 4, Eylül 2025.
- Manakul, P., Liusie, A. ve Gales, M. J. F. SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models. arXiv 2303.08896, sürüm 3, Ekim 2023.
- Farquhar, S., Kossen, J., Kuhn, L. ve Gal, Y. Detecting hallucinations in large language models using semantic entropy. Nature 630, 625-630, 2024.
- Mündler, N., He, J., Jenko, S. ve Vechev, M. Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation. ICLR 2024.
- Dziri, N., Lu, X., Sclar, M. ve meslektaşları. Faith and Fate: Limits of Transformers on Compositionality. NeurIPS 2023.
- Zhou, K., Hwang, J. D., Ren, X. ve Sap, M. Relying on the Unreliable: The Impact of Language Models’ Reluctance to Express Uncertainty. arXiv 2401.06730, sürüm 2, Temmuz 2024.
- Steyvers, M., Tejeda, H., Kumar, A. ve meslektaşları. What large language models know and what people think they know. Nature Machine Intelligence 7, 221-231, 2025.
CEOtudent analizleri: Tablo 1 (AI Hallucination Cases Database CSV’sinden hesaplandı) ve Tablo 2 (EBU ve BBC ek sayımlarından yeniden hesaplandı), ikisi de calc.py içinde; Walters ve Wilder’ın yüzdelerinden hesaplanan %62 ve %26’lık temiz kaynak payları; ve tedarikçinin tablosundan özetlenen Vectara medyanı ve aralığı. Kontrol listesi, kırmızı bayrak kuralı ve örnekleri CEOtudent editoryal çerçeveleridir. Bilinçli olarak kullanılmayanlar: diğer modellere ait, yalnızca basında yer alan PersonQA rakamları; EBU raporunda alıntılanan ve orijinali açılmayan NewsGuard rakamları; veritabanı sahibinin hangi aracın hataya yol açtığını göstermediğini söylediği yapay zeka aracı sütunu; ve yalnızca Walters ve Wilder’ın özetinde görülen, Bhattacharyya ve meslektaşlarına atfedilen, gerçek kaynaklara ilişkin %87’lik hata rakamı.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
