Kısaca. Atıf, kontrol değildir. Dört üretken arama motorunun insanlarca yapılan bir denetiminde, üretilen cümlelerin yalnızca yüzde 51,5’i atıflarıyla tam olarak desteklendi. Tıbbi yanıtlar üzerine 2025 tarihli bir çalışmada web aramalı GPT-4o bile ifadelerinin yüzde 30,3’ünü kendi kaynaklarıyla desteksiz bıraktı; arama ve derin araştırma (deep research) sistemleri üzerine 2025 tarihli bir ön baskı denetimi ise desteksiz ifade oranlarının yüzde 12,5 ile yüzde 97,5 arasında değiştiğini buldu. Modelden kendini yeniden kontrol etmesini istemek zayıf bir yöntemdir: dışarıdan geri bildirim olmadan GPT-3.5’in bir akıl yürütme kıyaslama testindeki doğruluğu yüzde 75,8’den yüzde 41,8’e düştü. İşe yarayan, profesyonel teyitçilerin yaptığıdır: yanıtı iddialara bölmek, kaynağı açmak, tam cümleyi bulmak ve kaynağın arkasında kimin durduğunu öğrenmek için yanal okuma yapmak. CEO hamlesi: adınızla çıkan her şey için neyin, kim tarafından ve hangi derinlikte izinin sürülmesi gerektiğini belirten bir doğrulama standardı yazın. Öğrenci hamlesi: iddia ayrıştırma ve yanal okuma alıştırmaları yapın; neyi kontrol ettiğinizi ve neyin başarısız olduğunu bir kayıtta tutun.
Bu rehber, değerlendirme becerisi kümesinin bir parçasıdır. Kırmızı bayraklar rehberi tek bir yanıtın içinde görülebilen uyarı işaretlerini, doğrulama vergisi kontrolün maliyetini, yapay zeka neden halüsinasyon görür yazısı ise işin mekanizmasını ele alır. Bu yazı, bir yanıta dayanmadan önce uyguladığınız prosedürdür.
Neden bir his yerine bir prosedüre ihtiyacınız var?
Çünkü his yanlış yönü gösterir. Stanford’dan Nelson Liu, Tianyi Zhang ve Percy Liang 2023 başında dört üretken arama motorunu 1.450 sorgu üzerinde denetlediğinde, atıf kesinliği (citation precision) algılanan faydayla ters yönde ilişkiliydi: en yararlı görünen yanıtlar çoğu zaman daha fazla desteksiz ifade ya da hatalı atıf içeren yanıtlardı.
Güven, kontrolü de devre dışı bırakır. Toplam 5.387 katılımcıyla yürütülen ve önceden kayda alınmış (preregistered) iki deneyde Folco Panizza ve meslektaşları, katılımcıların bir kısmına yanal okumayı ve tıklama itidalini (click restraint) öneren bir açılır pencere gösterdi. Birinci deneyin keşif amaçlı analizinde bu katılımcıların yalnızca yüzde 6,7’si, paylaşım güvenilir bir kaynaktan geldiğinde bu teknikleri kullandı; kaynak bilinmediğinde ise bu oran yüzde 20’ydi. Düzgün dipnotlarla donatılmış bir yapay zeka yanıtı, güvenilir bir kaynak gibi görünür. Yazılı bir prosedür, kontrolü yanıtın nasıl hissettirdiğine değil, iddianın türüne ve riskine bağlar.
Atıf, iddiayı gerçekten destekliyor mu?
Üç çalışma, yapay zeka yanıtlarının atıf yaptıkları kaynaklarca desteklenip desteklenmediğini ifade ifade kontrol etti. Bu çalışmalar görev (web soruları, tıbbi sorular, tartışma ve uzmanlık sorguları), puanlama (insan değerlendiriciler; üç doktorun ortak kararıyla zamanın yüzde 88,7’sinde örtüşen bir GPT-4o hakemi, ki doktorların kendi aralarındaki ortalama uyum yüzde 86,1’di; insan puanlayıcılara karşı doğrulanmış bir GPT-5 hakemi), tarih (2023’ten Ağustos 2025’e) ve birim bakımından birbirinden ayrılıyor. Liu ve meslektaşları, bir ifadenin kendi atıflarının onu tam olarak desteklemesini şart koştu; Kevin Wu, Eric Wu, James Zou ve meslektaşları yanıttaki herhangi bir kaynağı kabul etti; Pranav Narayanan Venkit ve meslektaşlarının Eylül 2025 tarihli ön baskısı DeepTRACE ise listelenen herhangi bir kaynağı kabul etti. Tablo bir sıralama değil, betimleyici bir derlemedir.
Atıf iddiayı destekliyor mu? Sisteme göre desteklenen ve desteklenmeyen ifadelerin payı
| Çalışma (puanlama; dönem) | Sistem (çalışmadaki adıyla) | Desteklenen ifadeler (%) | Desteklenmeyen ifadeler (%) | İfadesini destekleyen atıflar (%) |
|---|---|---|---|---|
| Liu, Zhang ve Liang (insan değerlendiriciler; Şubat-Mart 2023 yanıtları) | Bing Chat | 58,7 | 41,3* | 89,5 |
| NeevaAI | 67,6 | 32,4* | 72,0 | |
| perplexity.ai | 68,7 | 31,3* | 72,7 | |
| YouChat | 11,1 | 88,9* | 63,6 | |
| Wu vd., Nature Communications (doktorlarca doğrulanmış GPT-4o hakemi; 800 tıbbi soru) | GPT-4o (RAG) | 69,7 | 30,3* | b/y |
| Gemini Ultra 1.0 (RAG) | 55,6 | 44,4* | b/y | |
| GPT-4o (API) | 47,3 | 52,7* | b/y | |
| Claude v2.1 (API) | 30,4 | 69,6* | b/y | |
| Mistral Medium (API) | 27,8 | 72,2* | b/y | |
| Mixtral-8x7b (API) | 15,8 | 84,2* | b/y | |
| Gemini Pro (API) | 18,6 | 81,4* | b/y | |
| DeepTRACE, Narayanan Venkit vd., ön baskı (GPT-5 hakemi; 27 Ağustos 2025 itibarıyla derlem) | You.com (search) | 69,2* | 30,8 | 68,3 |
| BingChat (search) | 76,9* | 23,1 | 65,8 | |
| Perplexity (search) | 68,4* | 31,6 | 49,0 | |
| GPT 4.5 (search) | 53,0* | 47,0 | 39,8 | |
| GPT-5 Deep Research | 87,5* | 12,5 | 79,1 | |
| YouChat Deep Research | 25,4* | 74,6 | 72,3 | |
| GPT-5 Web Search | 41,1* | 58,9 | 31,4 | |
| Perplexity Deep Research | 2,5* | 97,5 | 58,0 | |
| Copilot Think Deeper | 9,8* | 90,2 | 62,1 | |
| Gemini Deep Research | 46,4* | 53,6 | 50,3 |
Liu, Zhang ve Liang (2023), Wu vd. (2025, Ek Tablo 4) ve Narayanan Venkit vd. (2025, Şekil 2 ve Tablo 1) verilerinin CEOtudent analizi. İşaretsiz rakamlar yayımlandığı gibidir (Wu vd.’nin oranları yüzde olarak gösterilmiştir); * = 100 eksi yayımlanan pay. b/y = bildirilmedi. DeepTRACE metni Gemini Deep Research’ün atıf doğruluğunu yüzde 40,3 olarak veriyor, ancak Tablo 1’de yüzde 50,3 basılı; tablodaki değer gösterilmiştir.
Dört nokta öne çıkıyor.
- Her çalışmadaki en iyi sistem bile ifadelerin büyük bir kısmını desteksiz bıraktı: Liu’nun denetiminde yüzde 31,3, Wu’nun çalışmasında yüzde 30,3, DeepTRACE çalışmasında yüzde 12,5. 21 satırın 19’unda ifadelerin en az dörtte biri destekten yoksundu; medyan değerler yüzde 36,9, yüzde 69,6 ve yüzde 50,3 oldu.
- Web erişimi yardımcı olur ama meseleyi tek başına çözmez. Wu’nun çalışmasında web erişimi olmayan modeller, zamanın yalnızca yüzde 41,2 ile yüzde 68,7’sinde çalışan URL’ler üretti; bozuk bağlantıların çok azının arşivlenmiş sürümü vardı ve yazarlar bunu bağlantıların uydurulduğuna dair bir işaret olarak yorumladı. DeepTRACE çalışmasında GPT-5 Deep Research ifadelerin yüzde 12,5’ini, GPT-5 Web Search ise yüzde 58,9’unu desteksiz bıraktı.
- Bütün yanıtlar, tek tek ifadelerden daha kötü sonuç verir. Wu’nun çalışmasında yanıtların yüzde 44,7 ile yüzde 93,0’ı en az bir desteksiz ifade içeriyordu. Princeton’ın ALCE kıyaslama testi (EMNLP 2023), ELI5 veri setindeki ChatGPT ve GPT-4 temel (baseline) yanıtlarının yaklaşık yüzde 50’sinin atıf yapılan pasajlarca tam olarak desteklenmediğini buldu.
- Daha fazla kaynak, daha fazla destek demek değildir. YouChat Deep Research yanıt başına 57,2 kaynak listeledi; bu, GPT-5 Deep Research’ün 18,3 kaynağının yaklaşık 3,1 katıdır. Buna rağmen ifadelerin yüzde 74,6’sını desteksiz bıraktı. Yazarların ifadesiyle, “daha fazla kaynak ve daha uzun yanıtlar güvenilirliğe dönüşmüyor.”
Bu rakamları bir dış bakış olarak ele alın: 21 satırın hiçbirinde “atıf yapılan bu ifade desteklenmiyor” durumu için taban oran sekizde birin (yüzde 12,5) altında değil.
Profesyonel teyitçiler, başkalarının yapmadığı neyi yapar?
Yetkin insanların tanımadıkları bilgileri nasıl kontrol ettiğine dair en net kanıt, Stanford’dan Sam Wineburg ve Sarah McGrew’dan geliyor. İkili, canlı web sitelerini değerlendirirken düşüncelerini sesli olarak aktaran 45 kişiyi izledi: 10 doktoralı tarihçi, 10 profesyonel teyitçi ve 25 Stanford lisans öğrencisi.
Teyitçiler, tarihçiler ve öğrenciler tanımadıkları web sitelerini nasıl değerlendirdi?
| Ölçüt (görev) | Teyitçiler (n = 10) | Doktoralı tarihçiler (n = 10) | Lisans öğrencileri (n = 25) |
|---|---|---|---|
| American College of Pediatricians açılış sayfasından ayrılmak için geçen ortalama süre (zorbalık görevi) | 32 sn | 88 sn (10 kişiden 8’i ayrıldı) | 100 sn (ayrılan 16 kişi; 9 kişi hiç ayrılmadı) |
| O site hakkında varılan sonucun ortalama kalitesi (0-2) | 2 | 0,7 | 0,16 |
| İpucu verilmeden önce minimumwage.com hakkında varılan sonucun ortalama kalitesi (0-4) | 3,3 | 1,3 | 0,52 |
| Sitenin bağlı olduğu ana kuruluşu belirlemek için geçen ortalama süre | 51 sn | 3 dk 40 sn | 5 dk 18 sn |
| Bulmak için ipucuna ihtiyaç duyanlar | İpucu olmadan buldular | 10 kişiden 6’sı | Yaklaşık beşte dördü |
| Bir davayı kimin finanse ettiğini belirlemek için geçen ortalama süre (Vergara görevi) | 2 dk 8 sn | 2 dk 1 sn | 1 dk 42 sn |
Kaynak: Wineburg ve McGrew, Lateral Reading and the Nature of Expertise, Teachers College Record (28 Temmuz 2018 tarihli yayın öncesi sürüm). Rakamlar yayımlandığı gibidir.
Farkı yaratan yöntemdi. Teyitçiler önce yön tayini yaptı, yanal okuma yaptı (bir siteyi hızlıca taradıktan sonra başkalarının onun hakkında ne söylediğini öğrenmek için siteden ayrılmak) ve tıklama itidali uyguladı (tıklamadan önce arama sonuçlarını taramak). Zorbalık görevinde öğrencilerin yüzde 60’ı, ana yapıdan kopmuş küçük bir grup olan College’ı American Academy of Pediatrics’ten daha güvenilir buldu; teyitçilerin tamamı ise Academy’yi seçti. Dava görevinde teyitçiler en yavaş olanlardı, ama yine de “ziyaret ettikleri siteler söz konusu olduğunda en seçici olanlar” onlardı. İçlerinden biri, bir haber makalesinde command-F kısayoluyla arama yaparak bir ismi doğruladı; bu, aşağıdaki 3. Adım’ın özüdür.
İnsanların çoğu bu beceriden yoksundur ve bu beceri öğretilebilir. 3.446 ABD’li lise öğrencisiyle yapılan bir değerlendirmede öğrencilerin yüzde 96’sı, iklimle ilgili gerçekleri aktardığını iddia eden bir sitenin fosil yakıt endüstrisiyle bağlantıları olduğunu hiç fark etmedi. Jessica Brodsky ve meslektaşlarının incelediği, eğitmen bakımından eşleştirilmiş yurttaşlık bilgisi (civics) şubelerinde (yanal okuma öğretilen 136 öğrenci, 94 kontrol öğrencisi), sahte haber problemi üzerinde yanal okuma yapıp doğru karara varanların payı yüzde 2,2’den yüzde 43,7’ye yükseldi; kontrol grubu yüzde 1,1’de kaldı. Wineburg ve meslektaşlarının bir okul bölgesi genelinde yürüttüğü ve normal sınıflardaki 228 öğrenciye karşılık 271 öğrenciye altı adet 50 dakikalık ders verilen saha çalışması, eğitim alan öğrencilerin güvenilirliği değerlendirmede “anlamlı ölçüde geliştiğini” buldu. 81 bilimsel makaleden derlenen 2024 tarihli bir Nature Human Behaviour araç kutusu, yanlış bilgiye karşı dokuz ana müdahale türü arasında yanal okumayı da sayıyor.
Yapay zeka çalışmasına aktarımı doğrudandır: bir yapay zeka yanıtı, “Hakkımızda” sayfası olmayan, tanımadığınız bir web sitesidir. Onu daha dikkatli okumak dikey okumadır; onu kontrol etmek ise ondan ayrılmak demektir.
Neden modele yalnızca “emin misin?” diye sormakla yetinmemeli?
Çünkü konuşmanın dışından gelen bir bilgi olmadan, modelin kendini düzeltirken dayanabileceği pek bir şey yoktur. Google DeepMind ve Illinois Üniversitesi’nden Jie Huang ve meslektaşları, modelin dışarıdan hiçbir geri bildirim almadan kendi yanıtını gözden geçirdiği “içsel” öz düzeltmeyi test etti (ICLR 2024).
İçsel öz düzeltme öncesinde ve sonrasında doğruluk (%)
| Model | Kıyaslama testi | Standart istem (prompting) | İki tur öz düzeltmeden sonra | Değişim (puan) |
|---|---|---|---|---|
| GPT-3.5 | GSM8K (matematik) | 75,9 | 74,7 | -1,2* |
| GPT-3.5 | CommonSenseQA | 75,8 | 41,8 | -34,0* |
| GPT-4 | GSM8K (matematik) | 95,5 | 89,0 | -6,5* |
| GPT-4 | CommonSenseQA | 82,0 | 80,0 | -2,0* |
Kaynak: Huang vd., Large Language Models Cannot Self-Correct Reasoning Yet, ICLR 2024, Tablo 3 (GSM8K ve CommonSenseQA satırları). Rakamlar yayımlandığı gibidir; * değişim CEOtudent tarafından hesaplanmıştır.
İyileşme yalnızca düzeltme adımına yanıtın doğru olup olmadığı söylendiğinde görüldü (bu “oracle” etiketleriyle GPT-3.5’in GSM8K’deki doğruluğu 75,9’dan 84,3’e çıktı); oysa bu, gerçek kullanımda sahip olmadığınız bir bilgidir. Yazarların açıklaması yalın: modeller “akıl yürütmelerinin doğruluğunu düzgün biçimde yargılayamıyor”. Basit bir “Emin misin?” sorusunun çoğu zaman doğru bir yanıtı tersine çevirdiğine dair ayrı bulgu için kırmızı bayraklar rehberine bakın.
Yapılandırılmış doğrulama daha iyi sonuç verir. Chain-of-Verification yönteminde (Meta AI’dan Shehzaad Dhuliawala ve meslektaşları, Findings of ACL 2024) model bir yanıt taslağı yazar, doğrulama soruları planlar, bunları ayrı ayrı yanıtlar ve taslağı revize eder. Wikidata liste sorularında kesinlik (precision) iki katından fazla arttı: 0,17’den 0,36’ya; biyografilerde ise FactScore yüzde 28 artarak 55,9’dan 71,4’e çıktı. İki ayrıntı insanlar için de önemlidir. Doğrulama sorularını taslak görünmezken yanıtlamak, onları taslakla birlikte yanıtlamaktan daha iyi sonuç verdi (FactScore 63,7 ile 60,8); çünkü taslağı gören bir kontrolcü onun hatalarını tekrarlayabilir. Ayrıca ayrıştırılmış (factored) düzende evet/hayır kontrolleri açık uçlu sorulardan daha kötü sonuç verdi; yazarların örneklerinde ChatGPT, “evet/hayır soru biçimindeki olgulara, doğru ya da yanlış olmalarına bakmaksızın katılma eğiliminde.”
Aşağıdaki protokol bu üç dersin üçünü de uyguluyor: taslağın dışındaki bir şeye karşı kontrol edin, “… doğru mu?” yerine açık uçlu sorular sorun ve bu soruları taslağın sizi yönlendirmesine izin vermeden yanıtlayın.
5 adımlı doğrulama protokolü
CEOtudent editöryel çerçevesi: 5 adımlı doğrulama protokolü
| Adım | Ne yapmalı | Sorulacak soru | Dayandığı kanıt | Durma kuralı |
|---|---|---|---|---|
| 1. Ayrıştır | Çıktıyı tek tek, kontrol edilebilir iddialara bölün ve her birini türüne göre etiketleyin. Görüş ve çerçevelemeyi ayrıca işaretleyin. | “Burada tam olarak ne ileri sürülüyor ve bu tek cümle kendi başına yanlış olabilir mi?” | Atıf çalışmaları puanlamayı ifade ifade yapıyor; Chain-of-Verification’da kısa, ayrı sorular orijinal sorgudan daha isabetli yanıtlandı | Her cümle ya iddia listesindedir ya da olgusal içeriği olmayan bir çerçeveleme olarak işaretlenmiştir |
| 2. Önceliklendir | Her iddianın riskini işaretleyin ve bir derinlik seviyesi seçin. Yanlış çıkması halinde bir kararı değiştirecek iddiaları ayrıca işaretleyin. | “Bu yanlışsa kim etkilenir ve bu geri alınabilir mi?” | Desteklenen ifadelerin oranı sisteme göre yüzde 2,5 ile yüzde 87,5 arasında değişiyor (yukarıdaki tablo); dolayısıyla hiçbir toptan güven düzeyi güvenli değil | 1. Seviye iddialar, kontrol edilmedi diye etiketlenirse izi sürülmeden kalabilir; her kritik iddia 3. Adım’a gider |
| 3. İzini sür | Atıf yapılan (veya birincil) kaynağı açın. Kilit terimi ya da sayıyı Ctrl+F veya command-F ile kaynakta arayın. Destekleyen cümleyi kopyalayın. | “Kaynak bunu hangi sayfada, hangi cümlede söylüyor?” | İfadelerin yalnızca yüzde 51,5’i tam olarak desteklendi ve atıfların yüzde 74,5’i ifadesini destekledi (Liu vd.); teyitçiler metnin tam yerini bulur (Wineburg ve McGrew) | Cümleyi yapıştırabiliyorsanız desteklenmiştir, yapıştıramıyorsanız değildir. Kısmi destek: iddiayı o cümleye göre daraltın. İki hedefli aramadan sonra hiçbir şey çıkmazsa: desteksizdir, kullanmayın |
| 4. Yanal oku | Kaynaktan ayrılın. Arkasında kimin olduğunu ve bağımsız bir kaynağın ya da birincil kaydın aynı şeyi söyleyip söylemediğini öğrenin. | “Bunu kim yayımladı, başkaları onlar hakkında ne diyor ve bağımsız bir kaynak aynı şeyi söylüyor mu?” | Teyitçiler siteleri erkenden terk ederek tarihçileri ve öğrencileri geride bıraktı; beceri eğitimle kazanılabiliyor (Brodsky vd.; Wineburg vd.) | İki bağımsız kaynak aynı şeyi söylüyor ya da birincil kaydın kendisi elinizde (mevzuat metni, resmi bildirim, veri seti, orijinal makale) |
| 5. Yeniden hesapla ve kaydet | Her hesaplamayı kaynağın girdilerinden yeniden yapın; yılı, birimi, paydayı ve baskıyı kontrol edin. Kararı kayda geçirin. | “Her sayı yeniden hesaplamada ayakta kalıyor mu ve başka biri kayda bakarak kontrolümü tekrarlayabilir mi?” | Dış bilgi olmadan yapılan öz değerlendirme doğruluğu düşürdü (Huang vd.); bağımsız doğrulama ise yükseltti (Dhuliawala vd.) | Her iddianın kayda geçmiş bir kararı var: koru, daralt, çıkar veya üst kademeye taşı |
Pratik bir not: 1. Adım’da birleşik cümleleri bölün. “Yeni yasadan sonra satışlar keskin biçimde arttı” cümlesi üç iddia barındırır: satışların arttığı, ne kadar arttığı ve neden arttığı.
Ne kadar derine inmelisiniz?
Her çıktı beş adımın tamamını hak etmez; derinliği risk triyajı belirler. Bu yaklaşım, doğrulama vergisi yazısındaki zaman bütçesi kademelerini ve tasarım gereği insan denetimi yazısındaki kontrol noktası tasarımını tamamlar.
CEOtudent editöryel çerçevesi: risk triyajı
| Seviye | Tipik çıktılar | Uygulanacak adımlar | Kim kontrol eder |
|---|---|---|---|
| 1. Kişisel ve geri alınabilir | Kendinize aldığınız notlar, beyin fırtınaları, ilk taslaklar, arama başlangıç noktaları | Çıktının tamamında 1-2. Adımlar; yeniden kullanacağınız her sayı, isim veya alıntı için 3. ve 5. Adımlar | Siz |
| 2. Paylaşılan veya karara etki eden | İç yazışmalar, bir ekip kararına girdi sağlayan analizler, incelemeden sonra birleştirilen (merge) kod | Her kritik iddia için beş adımın tamamı; halihazırda tanımadığınız her kaynak için 4. Adım | Siz, kayıt ekte olacak şekilde |
| 3. Sizin adınızla çıkan, geri alınamaz veya mevzuata tabi | Müşteri teslimatları, yayımlanan makaleler, hukuki, tıbbi, finansal veya güvenlikle ilgili içerikler | Her olgusal iddia için beş adımın tamamı; her kritik iddia için iki bağımsız kaynak ya da birincil kayıt | Siz, artı kaydın bir örneklemini yeniden yürüten ikinci bir okur |
Emin değilseniz bir seviye yukarı çıkın. Aşağı inmek ise, çıktı yanlış çıkarsa savunabileceğiniz bir gerekçe gerektirir.
Hangi iddiaya hangi kontrol uyar?
Farklı iddialar farklı biçimlerde yanlış çıkar; bu yüzden en hızlı birincil kontrol de iddiadan iddiaya değişir.
CEOtudent editöryel çerçevesi: iddia türüne göre yönlendirme matrisi
| İddia türü | En hızlı birincil kontrol | Tipik hata biçimi |
|---|---|---|
| Sayı veya istatistik | Orijinal yayıncının tablosu ya da veri seti; yılı, baskıyı, birimi ve paydayı eşleştirin | Yanlış yıldan ya da yanlış tabandan alınmış gerçek bir sayı; yayımlanmış gibi sunulan türetilmiş bir rakam |
| Doğrudan alıntı | Tam ifadeyi orijinal metinde ya da transkriptte arayın; konuşmacıyı ve bağlamı kontrol edin | Alıntı gibi sunulan bir yeniden ifade (parafraz); doğru sözcükler ama yanlış konuşmacı ya da eksik bağlam |
| Atıf veya kaynak gösterimi | Tam başlığı veya DOI’yi yayıncının sitesinde arayın, ardından o kaynak üzerinde 3. Adım’ı uygulayın | Var olmayan bir kaynak; atıf yapıldığı konuyu aslında söylemeyen gerçek bir kaynak |
| Tarih veya olay | Tarihli birincil kayıt: resmi duyuru, resmi bildirim, yayın sayfası | Bir yıl ya da bir sürüm kayması; tek bir olaymış gibi birleştirilmiş iki olay |
| Yasa veya düzenleme | Resmi sicildeki güncel konsolide metin, değişiklik tarihleriyle birlikte | Güncelmiş gibi aktarılan, yürürlükten kalkmış bir hüküm ya da süre |
| Kod davranışı | Kodu, yanıtı bilinen bir test üzerinde çalıştırın; kurulu sürümün dokümantasyonunu okuyun | Çalışan ama yanlış şeyi yapan kod; var olmayan bir fonksiyon ya da seçenek |
| Nedensellik iddiası | Makalenin kendisindeki çalışma tasarımı ve etki büyüklüğü | Neden olarak sunulan korelasyon; herkese genellenen tek bir çalışma |
| “Güncel” veya “en son” durumu | Yayıncının kendi en son baskı sayfası ve tarihi | En son baskı gibi sunulan eski bir baskı; canlı sayfanın gerisinde kalan arama sonucu özetleri |
Mekanizma rehberi, tarih, başlık ve rakam gibi keyfi olguların modellerin en sık tahmin yürüttüğü alan olduğunu açıklıyor.
Uygulamalı bir örnek: tek bir cümle, beş adım
Aşağıdaki cümle, bir yapay zeka özeti üslubunda yazılmış açıklayıcı bir varsayımdır; herhangi bir gerçek sistemin çıktısı değildir. “Bir Stanford çalışması, profesyonel teyitçilerin her görevde tarihçilerden ve öğrencilerden daha hızlı olduğunu ve güvenilmez web sitelerinden dört kat daha hızlı ayrıldığını buldu.”
- Ayrıştır. Üç iddia var: (a) bir Stanford çalışması bu grupları karşılaştırdı; (b) teyitçiler her görevde daha hızlıydı; (c) siteleri dört kat daha hızlı terk ettiler.
- Önceliklendir. Cümle bir müşteri sunumunda kullanılacak, dolayısıyla 3. Seviye.
- İzini sür. (a) iddiası doğru: Wineburg ve McGrew 10 teyitçi, 10 tarihçi ve 25 öğrenciyi inceledi. (b) iddiası çöküyor: dava görevinde en hızlılar öğrencilerdi (öğrenciler 1 dk 42 sn, teyitçiler 2 dk 8 sn). (c) iddiası kısmen doğru: zorbalık görevinde teyitçiler açılış sayfasından 32 saniyede, tarihçiler ise 88 saniyede ayrıldı.
- Yanal oku. Makale, akademik bir dergi olan Teachers College Record tarafından kabul edildi; sonraki sınıf çalışmaları hız iddiasını değil, yöntemi destekliyor.
- Yeniden hesapla ve kaydet. 88 / 32 = 2,75; makale bunu “neredeyse üç kat” olarak niteliyor. Asgari ücret görevinde 3 dk 40 sn ile 51 sn arasındaki oran 4,3 kattır; makalenin “yaklaşık dört kat” ifadesi bunu olduğundan küçük gösteriyor. Karar: daralt. Kullanılabilir sürüm: “Bir Stanford çalışmasında teyitçiler tanımadıkları bir siteden ortalama 32 saniyede ayrıldı, tarihçiler ise 88 saniyede; ancak teyitçiler her görevde en hızlı değildi.”
Doğrulama kaydı: kopyalayabileceğiniz bir şablon
Kontrol edilen her iddia için bir satır tutun. Kayıt, kontrolü bir meslektaşınızın denetleyebileceği bir belgeye dönüştürür ve yapay zeka hatalarından öğrenmek yazısındaki hata incelemesini besler.
| # | İddia (tek cümle) | Tür | Seviye | Açılan kaynak (başlık, tarih, sayfa) | Destekleyen tam cümle bulundu mu? | Bağımsız ikinci kaynak | Sayı yeniden hesaplandı mı? | Karar | Kontrol eden, tarih |
|---|---|---|---|---|---|---|---|---|---|
| 1 | Teyitçiler siteleri dört kat daha hızlı terk etti | Sayı | 3 | Wineburg ve McGrew, 2018 yayın öncesi sürüm, zorbalık ve asgari ücret görevleri | Kısmi: 32 sn ile 88 sn; 51 sn ile 3 dk 40 sn | Gerekmiyor: birincil makale | Evet: 2,75 ve 4,3 | Daralt | Paraf, tarih |
Bir şey elinizden çıkmadan önce tek sayfalık kontrol listesi
- Her olgusal cümle iddia listesinde yer alıyor ya da çerçeveleme olarak işaretlenmiş.
- Her kritik iddianın, kaynağın kendisinden yapıştırılmış destekleyici bir cümlesi var.
- Her kaynak gösterimi yalnızca yapay zeka yanıtında değil, yayıncının sitesinde de bulundu.
- Tanımadığınız her kaynak yanal okumayla incelendi: kim işletiyor, kim finanse ediyor.
- Her sayı, yılı ve birimi kontrol edilerek kaynağın girdilerinden yeniden hesaplandı.
- Hiçbir iddia yalnızca modelin kendi yeniden kontrolüne dayanmıyor.
-
- Seviye işlerde, satırların bir örnekleminde ikinci bir okurun parafı var.
Bu, CEO ve öğrenci için ne anlama geliyor?
CEO hamlesi: standardı yazıya dökün. Adınızla çıkan her şey tek sayfalık bir doğrulama standardına ihtiyaç duyar: hangi iddia türlerinin izinin sürülmesi gerektiği (dışarıya yönelik işlerde en azından sayılar, alıntılar, kaynak gösterimleri ve hukuki ya da tıbbi ifadeler), izini kimin süreceği, bunun hangi seviyede yapılacağı ve kaydın nerede tutulacağı. Bir kural ekleyin: kaynak cümlesi yoksa iddia da yok. Güven kalibrasyonu bir öneriye ne zaman güvenileceğine karar verir; standart ise önce neyin kanıtlanması gerektiğine karar verir.
Öğrenci hamlesi: protokolün dayandığı iki beceriyi çalıştırın. İddia ayrıştırma bir alıştırmadır: herhangi bir yapay zeka paragrafını, hiçbiri daha fazla bölünemeyene kadar tekil iddialara ayırın. Yanal okuma bir alışkanlıktır: bir kaynağı yakından okumadan önce arkasında kimin olduğunu öğrenin. Kontrol etmeden önce her iddiaya ne kadar güvendiğinizi not edin ve bunu, güven düzeyi kalibrasyonu yazısında anlatıldığı gibi, varılan kararla karşılaştırın. Zamanla kayıt, sizi en çok hangi iddia türlerinin yanılttığını gösterir; bu da ayırt etme açığının pratikteki özüdür.
Bu ne anlama gelmiyor?
Bu, yapay zeka yanıtlarının genellikle yanlış olduğu anlamına gelmiyor: eksik bir kaynak, yanlış bir iddiadan farklı bir sorundur. Tablodaki sistemlerin bugün de bu sırayla dizildiği anlamına gelmiyor; bu sistemler 2023 ile 2025 arasında test edildi. Yanal okuma kanıtı ağırlıklı olarak yapay zeka çıktısından değil, öğrencilerden ve web sitelerinden geliyor; dolayısıyla bu kanıtın yapay zeka çalışmasına aktarılabilirliği bir çıkarımdır. Ve doğrulama çıktıyı doğru yapmaz; güveninizi elinizdeki kanıtla uyumlu hale getirir.
Sıkça sorulan sorular
Bir yapay zeka yanıtının doğru olup olmadığını nasıl anlarsınız?
Yalnızca kritik iddialarının izini birincil bir kaynağa kadar sürerek ve her birini destekleyen cümleyi bularak. Akıcılık, kendinden emin bir üslup ve dipnotlar kanıt değildir; bir denetimde en yararlı görünen yanıtlar çoğu zaman en az desteklenen yanıtlardı.
Yapay zeka kendi yanıtını kontrol edebilir mi?
Onu iddiaları listelemek ve doğrulama sorularının taslağını çıkarmak için kullanın, nihai kontrol olarak değil. Huang vd. testlerinde dış bilgi olmadan yapılan öz düzeltme doğruluğu düşürdü; yapılandırılmış, bağımsız sorgulama ise doğruluğu artırdı.
Atıflı yapay zeka yanıtları daha mı güvenilirdir?
Atıflar kontrolü gereksiz kılmaz, mümkün kılar. Yukarıdaki üç çalışmada desteksiz ifadelerin payı, sisteme bağlı olarak yüzde 12,5 ile yüzde 97,5 arasında değişti.
Yanal okuma nedir?
Bir kaynağı kendi sayfalarına bakarak değerlendirmek yerine, bağımsız kaynakların onun hakkında ne söylediğini öğrenmek için o kaynaktan ayrılmaktır. Stanford çalışmasında teyitçiler tanımadıkları bir sayfadan ortalama yaklaşık yarım dakikada ayrıldı; sınıf çalışmaları bu becerinin birkaç derste öğretilebileceğini gösteriyor.
İkinci bir yapay zeka modeli bağımsız bir kontrol müdür?
Tek başına değil. Tutarsızlıkları işaretleyebilir, ancak yukarıdaki çalışmalar web aramalı modellerin bile çoğu zaman iddialarını desteklemeyen kaynaklara atıf yaptığını gösteriyor. Bağımsız kontrol, birincil kaynağın kendisidir.
Kaynaklar
- Liu, N. F., Zhang, T. ve Liang, P. (2023). Evaluating Verifiability in Generative Search Engines. Findings of EMNLP 2023. arXiv 2304.09848, 2. sürüm.
- Wu, K., Wu, E., Zou, J. vd. (2025). An automated framework for assessing how well LLMs cite relevant medical references. Nature Communications 16, 3615 ve ek bilgileri (Supplementary Information).
- Narayanan Venkit, P., Laban, P., Zhou, Y. vd. (2025). DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence. arXiv 2509.04499, 1. sürüm (Salesforce AI Research ve Microsoft Research’teki yazarların ön baskısı; hakem değerlendirmesinden geçmemiştir).
- Gao, T., Yen, H., Yu, J. ve Chen, D. (2023). Enabling Large Language Models to Generate Text with Citations. EMNLP 2023. arXiv 2305.14627.
- Huang, J., Chen, X., Mishra, S. vd. (2024). Large Language Models Cannot Self-Correct Reasoning Yet. ICLR 2024. arXiv 2310.01798, 2. sürüm.
- Dhuliawala, S., Komeili, M., Xu, J. vd. (2024). Chain-of-Verification Reduces Hallucination in Large Language Models. Findings of ACL 2024, s. 3563-3578. arXiv 2309.11495.
- Wineburg, S. ve McGrew, S. Lateral Reading and the Nature of Expertise: Reading Less and Learning More When Evaluating Digital Information. Teachers College Record. 28 Temmuz 2018 tarihli yayın öncesi sürüm, Stanford Digital Repository.
- Breakstone, J., Smith, M., Wineburg, S. vd. (2021). Students’ Civic Online Reasoning: A National Portrait. Educational Researcher. Yayın öncesi sürüm, Stanford Digital Repository.
- Brodsky, J. E., Brooks, P. J., Scimeca, D. vd. (2021). Improving college students’ fact-checking strategies through lateral reading instruction in a general education civics course. Cognitive Research: Principles and Implications 6, 23.
- Wineburg, S., Breakstone, J., McGrew, S. vd. (2022). Lateral Reading on the Open Internet: A District-Wide Field Study in High School Government Classes. Journal of Educational Psychology 114, 893-909 (yalnızca özet, ERIC kaydı EJ1372738).
- Panizza, F., Ronzani, P., Martini, C. vd. (2022). Lateral reading and monetary incentives to spot disinformation about science. Scientific Reports 12, 5678.
- Kozyreva, A. vd. (2024). Toolbox of individual-level interventions against online misinformation. Nature Human Behaviour, 13 Mayıs 2024’te yayımlandı (yalnızca özet).
Yöntem notu. “Atıf iddiayı destekliyor mu?” tablosu, 1-3 numaralı kaynakların CEOtudent analizidir; yıldızlı hücreler, medyanlar ve aralıklar, öz düzeltme tablosundaki değişim sütunu gibi, yayımlanan rakamlardan hesaplanmıştır. 5 adımlı protokol, risk triyajı, yönlendirme matrisi ve doğrulama kaydı CEOtudent editöryel çerçeveleridir; uygulamalı örnek açıklayıcı bir cümle kullanır. Yapay zeka aramalarındaki atıflara ilişkin, sıkça tekrarlanan 2025 tarihli Tow Center for Digital Journalism rakamlarını bilinçli olarak kullanmadık, çünkü o raporu açıp kontrol etmedik. EBU ve BBC haber merkezi denetimi, mahkemelerdeki halüsinasyonlar, uydurma kaynaklar, FActScore, SelfCheckGPT ve anlamsal entropi rakamları bağlantı verilen küme yazılarında yer alıyor. Bu makale genel bilgi niteliğindedir; hukuki, tıbbi veya finansal tavsiye değildir.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
