Kısaca. Kalibrasyon, ne kadar emin olduğunuzu söylediğiniz ile ne sıklıkla haklı çıktığınız arasındaki uyumdur. Haziran 2001’den Mart 2011’e kadar yapılan çeyreklik anketlerde ABD’li finans direktörleri (CFO’lar), gelecek yılın S&P 500 getirisi için yüzde 80’lik güven aralıkları verdi; bu aralıklar gerçekleşen getiriyi zamanın yalnızca yüzde 36’sında içerdi. Brier skoru geri bildirimiyle yürütülen üç yıllık bir jeopolitik turnuvada tahminciler yüzde 65,4 emin ve yüzde 63,3 isabetliydi. Bir laboratuvar çalışmasında yalnızca soru formatını değiştirmek, yüzde 90’lık aralıkların isabet oranını yüzde 73,79’dan yüzde 88,35’e çıkardı. CEO hamlesi: hiçbir tahmin bir sayı, bir aralık ve daha sonra puanlanacak bir kayıtta bir satır olmadan imzalanmaz. Öğrenci hamlesi: isabet oranlarınız beyan ettiğiniz güvenle örtüşene kadar 10 soruluk bir yüzde 90 aralık alıştırması ve 20 iddialık bir Brier alıştırması yapın.
Bu yazı, CEOtudent’in zihinsel modeller kümesinin bir parçasıdır. Bahis gibi düşünmek belirsizlik altında karar vermeyi, taban oranları rehberi ise ilk tahminin nereden gelmesi gerektiğini ele alır. Bu makale aradaki adımı ele alıyor: güven sayısının kendisini denetlemek.
İyi kalibre olmak ne demektir?
Bir tahminci, “yüzde 70” dediği tüm durumlarda olay yaklaşık yüzde 70 oranında gerçekleşiyorsa kalibre demektir. Bir aralık için ölçüt isabet oranıdır: belirtilen aralığın gerçek değeri ne sıklıkla içerdiği. McKenzie, Liersch ve Yaniv’in ifadesiyle, iyi kalibre olmuş kişiler yüzde 90’lık aralıklarının yüzde 90’ının gerçek değeri içerdiğini görür.
“Aşırı güven” sözcüğünün altında üç hata gizlenir:
- Aşırı kesinlik (overprecision): fazla dar aralıklar. Haran, Moore ve Morewedge bunu aşırı güvenin en sağlam türü olarak nitelendirir.
- Aşırı güvenli olasılıklar: zamanın yüzde 70’inde doğru çıkan iddialar için yüzde 90 demek.
- Yetersiz güven: kanıtın gerektirdiğinden daha temkinli davranmak; bu, aşağıda ele alınan uzman istihbarat analistleri çalışmasında görülür.
Kalibrasyon işin tamamı değildir: her zaman taban oranını söyleyen biri kusursuz biçimde kalibre olup yine de işe yaramaz olabilir. Bu ikinci özelliğe çözünürlük (resolution) ya da ayırt etme gücü (discrimination) denir; Bickel, Floehr ve Kim’in ABD hava durumu tahminleri üzerine çalışmasında çözünürlük terimi, kalibrasyon hatası için uygulanan güvenilirlik cezasından çok daha büyüktü.
Beyan edilen güven ile gerçekleşen isabet oranı arasında ne kadar fark var?
Tablo 1. Kalibrasyon Açığı (yayımlanmış yedi çalışmanın CEOtudent analizi)
| Grup ve görev | Beyan edilen güven | Gerçekleşen isabet oranı | Fark (puan) |
|---|---|---|---|
| ABD’li CFO’lar, 1 yıllık S&P 500 getirisi için %80 aralıklar, tüm çeyrekler | %80 | %36 | +44,0 |
| Aynı CFO’lar, yalnızca en az oynak çeyrekler | %80 | %59 | +21,0 |
| Çevrimiçi katılımcılar, %90 aralıklar, bir ay sonraki Washington DC sıcaklığı | %90 | %29,17 | +60,8 |
| Laboratuvar katılımcıları, %90 aralıklar, ABD başkanlarının seçildiği yıllar | %90 | %54,34 | +35,7 |
| Pittsburgh sakinleri, %90 aralıklar, bir ay sonraki yerel sıcaklık | %90 | %73,79 | +16,2 |
| Aynı sakinler, olasılık dilimlerinden oluşturulan %90 aralıklar (SPIES) | %90 | %88,35 | +1,7 |
| Dahiliye uzmanları, daha kolay tanı vinyetleri | 10 üzerinden 7,2 (%72 olarak okundu) | %55,3 | +16,7 |
| Dahiliye uzmanları, daha zor tanı vinyetleri | 10 üzerinden 6,4 (%64 olarak okundu) | %5,8 | +58,2 |
| Jeopolitik turnuva tahmincileri, tüm koşullar | %65,4 | %63,3 | +2,1 |
| Aynı turnuva, bir saatlik eğitim almış ekipler | %64,3 | %63,6 | +0,7 |
| Kanadalı stratejik istihbarat analistleri, 1.514 tahmin | işaretli endeks | işaretli endeks | -7,6 |
| National Weather Service, 1 günlük yağış olasılığı, serin mevsim, ortalama | %20,1 | %21,8 | -1,7 |
| The Weather Channel, %70 yağış olasılığı öngördüğü günler | %70 | %84 | -14,0 |
| Son eğitim öncesi GPT-4, çoktan seçmeli test alt kümesi | dilimlenmiş | dilimlenmiş | 0,7 (işaretsiz) |
| Son eğitim sonrası GPT-4, aynı alt küme | dilimlenmiş | dilimlenmiş | 7,4 (işaretsiz) |
Kaynaklar: Ben-David, Graham ve Harvey; Haran, Moore ve Morewedge 2010; Meyer vd. 2013 (yalnızca özet); Moore vd. 2016; Mandel ve Barnes 2014; Bickel, Floehr ve Kim 2011; GPT-4 Technical Report, Şekil 8. Farklar CEOtudent tarafından calc.py ile hesaplandı; pozitif değer aşırı güven anlamına gelir. Dahiliye uzmanlarının 0-10 güven ölçeğini yüzde olarak okumak, CEOtudent’in yaptığı bir yeniden ölçeklemedir. İstihbarat satırı, yazarların işaretli kalibrasyon endeksidir (eksi 0,076). GPT-4 satırları beklenen kalibrasyon hatasıdır, yani işaretsiz bir ortalamadır.
Bunu bir lig tablosu olarak değil, betimleme olarak okuyun: çalışmalar görev, örneklem, dönem, zorluk ve puanlama açısından birbirinden farklıdır. Dört örüntü öne çıkıyor.
- Aralıklar, olasılıklardan çok daha sık başarısız olur. SPIES satırı dışındaki her aralık satırı 16 ila 61 puan aşırı güven gösterirken turnuva, istihbarat ve hava durumu satırları, The Weather Channel’daki tek bir olasılık düzeyi dışında, sıfırın 8 puan yakınında kalıyor. Soll ve Klayman da tek bir çalışmada aynı karşıtlığı buldu: iki yanıt arasında seçim yapmak, aralıklara kıyasla çok daha az aşırı güven gösterdi.
- Format, iradenin yapamadığını yapabilir. Aynı Pittsburgh sakinlerinden iki uç nokta belirtmek yerine olasılığı dilimlere dağıtmaları istendiğinde fark 16,2 puandan 1,7 puana indi.
- Zorluk, doğruluğu güvenden çok daha fazla etkiler. Meyer ve meslektaşlarının çalışmasındaki 118 hekim, daha kolay vakaların yüzde 55,3’ünü, daha zor vakaların ise yüzde 5,8’ini doğru teşhis etti; buna karşın güven 10 üzerinden yalnızca 7,2’den 6,4’e geriledi. Doğruluk 49,5 puan, yani göreli olarak yaklaşık yüzde 89,5 düştü; güven ise yaklaşık yüzde 11,1 düştü.
- Geri bildirimin bol olduğu ortamlar sıfıra yakın sonuçlanır. Hava durumu tahmincileri sonucu ertesi gün öğrenir; turnuva tahmincileri ise sorular kapandıkça güncellenen Brier sıralama tablolarını gördü.
Güven aralıkları neden evet-hayır olasılıklarından çok daha kötü sonuç veriyor?
Soll ve Klayman’ın teşhisine göre öznel aralıklar, arkalarındaki bilginin doğruluğuna kıyasla sistematik olarak fazla dardır; bazen gerekenin yalnızca yüzde 40’ı kadar geniştir. CFO verileri bunu piyasa diliyle gösteriyor: ortalama CFO aralığı yüzde 14,5 genişliğindeyken, gerçekleşen bir yıllık S&P 500 getirilerinin 10. ve 90. yüzdelikleri arasındaki fark yüzde 42,2’ydi; yani yaklaşık 2,91 kat daha büyük. CFO’ların yalnızca yüzde 3,4’ü yüzde 42,2’den daha geniş bir aralık verdi.
Format, en etkili kaldıraçlar arasındadır. Tablo 2, geleneksel yüzde 90’lık aralıkları Öznel Olasılık Aralığı Tahminleri (Subjective Probability Interval Estimates, SPIES) ile karşılaştırıyor: olası değerlerin aralığı dilimlere bölünür, her dilime bir olasılık verilir ve yüzde 90’lık aralık daha sonra bunlardan okunur.
Tablo 2. Tahmin alma yöntemine göre yüzde 90’lık aralıkların isabet oranları (rakamlar yayımlandığı şekliyle)
| Deney | Katılımcılar | Tahmin edilen nicelik | %90 aralık isabet oranı | %90 SPIES isabet oranı | SPIES avantajı (puan, CEOtudent hesaplaması) |
|---|---|---|---|---|---|
| 1 | 103 Pittsburgh sakini | Bir ay sonraki Pittsburgh en yüksek sıcaklığı | %73,79 | %88,35 | 14,56 |
| 2 | 116 ABD’li çevrimiçi katılımcı | Bir ay sonraki Washington DC en yüksek sıcaklığı | %29,17 | %73,91 | 44,74 |
| 3 | 334 Pittsburgh laboratuvar katılımcısı | 20. yüzyıldaki her ABD başkanının ilk kez seçildiği yıl | %54,34 | %76,91 | 22,57 |
Kaynak: Haran, Moore ve Morewedge, Judgment and Decision Making, 2010. Deney 1’de 5. ve 95. fraktillerden oluşturulan aralıklar, geleneksel aralıklarla aynı yüzde 73,79 isabet oranını tutturdu; önce SPIES yargıları yapan katılımcılar daha sonra geleneksel aralıkları da daha geniş çizdi. İki sınırı ayrı ayrı sormak yalnızca biraz yardımcı olur (Haran ve meslektaşları, Soll ve Klayman’ın fraktil yöntemini aşırı kesinlikte mütevazı bir azalma olarak tanımlıyor); aralıkları genişleten şey, kuyruklar dahil her olası sonuca dikkati zorla yöneltmektir.
Uzmanlık bunu düzeltmiyor. McKenzie, Liersch ve Yaniv, bilgi teknolojileri profesyonellerini ve öğrencileri aşağı yukarı eşit derecede aşırı güvenli buldu: uzmanlar aralıklarını gerçeğe daha yakın merkezledi ama daha dar çizdi ve iki etki birbirini götürdü. Literatüre ilişkin özetleri şöyle: yüzde 90’lık aralıklar gerçek değeri tipik olarak zamanın yaklaşık yüzde 50’sinde içerir.
Ne kadar daha geniş? Hataların normal dağıldığına ilişkin açıklayıcı bir varsayım altında, yüzde 50 isabet tutturan yüzde 90’lık bir aralığın yaklaşık 2,44 kat, yüzde 36 isabet tutturan CFO’ların yüzde 80’lik aralıklarının ise yaklaşık 2,74 kat genişlemesi gerekir; bu da yukarıdaki 2,91 oranına yakındır. Bunu bir yasa olarak değil, ilk düzeltme olarak görün.
İyi kalibrasyon pratikte neye benzer?
Hava durumu tahmincileri. Bickel, Floehr ve Kim, 1 Kasım 2008’den 31 Ekim 2010’a kadar 734 istasyonda yapılan yaklaşık 13 milyon yağış olasılığı tahminini doğruladı. National Weather Service’in 0,1 ve 0,9 değerli 1 günlük tahminleri iyi kalibre, 0,2 ve 0,3 değerli tahminleri ise buna çok yakındı. Politika önemlidir: The Weather Channel yüzde 70 dediğinde yağmur zamanın yüzde 84’ünde yağdı; kanal, kullanıcıların bunu bilgi eksikliği olarak okuyacağına inandığı için yüzde 50 demekten kaçınıyor.
Turnuva tahmincileri. Moore ve meslektaşları, IARPA destekli bir turnuvanın üç yılı boyunca 2.860 tahmincinin 344 soru için yaptığı ve Brier kuralıyla puanlanan 494.552 tahmini analiz etti. Yazarlara göre bir saatlik eğitim, izleyen yıl boyunca aşırı güveni yarıya indiriyor: tek başına çalışan tahmincilerin aşırı güveni eğitim almadan 4,3 puanken eğitimle 2,0 puana indi, yani yüzde 53,5 azaldı; eğitimli ekipler ise 0,7’ye ulaştı.
Ters yönde: istihbarat analistleri. Mandel ve Barnes, Kanada İstihbarat Değerlendirme Sekreterliği’nin (Intelligence Assessment Secretariat) Orta Doğu ve Afrika bölümündeki 15 analistin yaptığı 1.514 stratejik tahmini puanladı. Ayırt etme gücü çok iyiydi (tahminlerin yüzde 94’ü yüzde 50’nin doğru tarafında kaldı), ancak analistler özellikle daha zor ve politika açısından daha önemli tahminlerde yetersiz güven gösterdi. Sayılarını daha uç hale getirmek, kusursuz kalibrasyondan ortalama mutlak sapmayı yüzde 12,7’den yüzde 4,2’ye indirdi; bu, yüzde 66,9’luk bir azalmadır.
Ortak etken, puanlanan bir geri bildirim döngüsüdür; CEOtudent’in iyi muhakeme geliştirme rehberi bu temayı derinlemesine inceliyor.
Brier skoru nasıl çalışır ve hangi skor iyi sayılır?
Brier skoru, bir olasılık tahmini ile sonuç arasındaki farkın karesinin ortalamasıdır; olay gerçekleştiyse sonuç 1, gerçekleşmediyse 0 olarak kodlanır. Düşük olan daha iyidir: 0 kusursuzdur; evet-hayır sorularında her zaman yüzde 50 yanıtını vermek 0,25 skoru getirir. Mandel ve Barnes bunu uygun bir skorlama kuralı (proper scoring rule) olarak nitelendirir; dolayısıyla dürüst raporlama en iyi stratejidir.
İşe yarayan kısım ayrıştırmadır; Mandel ve Barnes bunu Murphy’nin 1973 tarihli bölümlemesini izleyerek uygular: Brier skoru = varyans endeksi eksi ayırt etme endeksi artı kalibrasyon endeksi. Varyans, soruların ne kadar belirsiz olduğunu yansıtır; ayırt etme, gerçekleşen olayları gerçekleşmeyenlerden ayırmayı ödüllendirir; kalibrasyon ise beyan edilen ve gözlenen sıklıklar arasındaki farkları cezalandırır. Kanadalı analistler için 0,240 eksi 0,182 artı 0,016, yayımlanan 0,074’lük Brier skorlarını tam olarak verir.
Tablo 3. Yayımlanmış Brier skorları, yalnızca yön bulmak için
| Tahmin kümesi | Brier skoru | Kaynak |
|---|---|---|
| Kanada stratejik istihbaratı, 1.514 tahmin | 0,074 | Mandel ve Barnes 2014 |
| Aynı küme, yalnızca sözcükle ifade edilen tahminler (“could”, “might”, yani “olabilir”) 0,5 olarak eklendiğinde | 0,097 | Mandel ve Barnes 2014 |
| National Weather Service, 1 günlük yağış olasılığı, serin mevsim (ortalama kare hata) | 0,090 | Bickel, Floehr ve Kim 2011, Tablo 4 |
| Turnuva tahmincileri, her sorunun son günü | 0,10 | Moore vd. 2016 |
| Meteorologlar, ertesi gün yağış (Murphy ve Winkler 1977) | 0,13 | Moore vd. 2016’nın aktardığı şekliyle |
| Turnuva tahmincileri, her sorunun son haftası | 0,14 | Moore vd. 2016 |
| Evet-hayır sorusunda her zaman %50 yanıtını vermek | 0,25 | aritmetik |
Mandel ve Barnes, skorun yalnızca tahmincinin becerisinden değil, tahmin ortamının belirsizliğinden de etkilendiğini, dolayısıyla skorların farklı soru kümeleri arasında karşılaştırılamayacağını belirtiyor. Kendinizi benzer sorulardaki kendi geçmiş skorlarınızla ve her zaman taban oranını söylemenin getirdiği skorla karşılaştırın.
Tablo 4. On iddialık çözümlü bir örnek (tüm girdiler açıklayıcı varsayımlardır)
| Dilim | İddia sayısı | Beyan edilen olasılık | Doğru çıkan | İsabet oranı |
|---|---|---|---|---|
| Yüksek güven | 5 | %90 | 4 | %80 |
| Orta güven | 5 | %60 | 3 | %60 |
| Sonuç | Brier 0,205 | Her zaman %70 (taban oranı): 0,21 | Her zaman %50: 0,25 | Kalibrasyon 0,005, ayırt etme 0,01, varyans 0,21 |
Aritmetik calc.py içinde. Yüksek dilim 10 puan aşırı güvenli olduğundan kalibrasyon cezası küçüktür; asıl zayıflık ayırt etme gücüdür, çünkü 0,205, her şey için yüzde 70 demenin getirdiği 0,21’i ancak kıl payı geçiyor. Yüzde 90’lık iddiaları yüzde 80’e çekmek skoru 0,200’e düşürürdü. Her alıştırmada iki sayıyı okuyun: kalibrasyon terimi güveni ayarlamanız gerekip gerekmediğini, taban oranı skoruna olan fark ise yargılarınızın bilgi taşıyıp taşımadığını söyler.
“Olası” ve “olasılığı düşük” gibi sözcükler neden sayı yerine geçemiyor?
Mandel ve Barnes’a göre yaygın olarak modern istihbarat analizinin babası kabul edilen Sherman Kent, sorunun ne zaman belirginleştiğini kayda geçirmiştir. 29-51 sayılı Ulusal İstihbarat Tahmini (National Intelligence Estimate), 1951’de Yugoslavya’ya bir saldırıyı “ciddi bir olasılık” (“serious possibility”) olarak nitelendirdi. Kent lehte yaklaşık 65’e 35’lik bir oranı kastetmişti; politika planlamacıları çok daha düşük bir oran anlamıştı; Ulusal Tahminler Kurulu’ndaki (Board of National Estimates) meslektaşları arasında en düşük tahmini yapan kişi yaklaşık 20’ye 80, en yüksek tahmini yapan ise 80’e 20 kastetmişti. Kent’in 1964 tarihli makalesi, sayılara bağlanmış sözcükler önerdi. Bugün resmi ölçekler var, ancak birbirleriyle uyuşmuyorlar.
Tablo 5. Aynı sözcük, dört resmi anlam (ICD 203, IPCC kılavuzu, NWS uygulaması ve Kent 1964’ün CEOtudent analizi)
| Sözcük (ICD 203 terimi) | ABD istihbaratı, ICD 203 | IPCC AR5 ve AR6 (en yakın terim) | NWS ifadesi (en yakın terim) | Kent 1964 (en yakın terim) | ICD ile IPCC orta nokta farkı (puan) | ICD ile IPCC örtüşmesi (puan) |
|---|---|---|---|---|---|---|
| Olası (“Likely”) | %55-80 | %66-100 | %55-74 | Muhtemel (“Probable”) %63-87 | 15,5 | 14 |
| Çok olası (“Very likely”) | %80-95 | %90-100 | Kesin (“Categorical”) %75 veya üzeri | Neredeyse kesin (“Almost certain”) %87-99 | 7,5 | 5 |
| Kabaca eşit şans (“Roughly even chance”) | %45-55 | Olması da olmaması da yaklaşık eşit olasılıkta (“About as likely as not”) %33-66 | İhtimal var (“Chance”) %25-54 | Şanslar aşağı yukarı eşit (“Chances about even”) %40-60 | -0,5 | 10 |
| Olasılığı düşük (“Unlikely”) | %20-45 | %0-33 | terim yok | Muhtemelen değil (“Probably not”) %20-40 | -16,0 | 13 |
| Olasılığı çok düşük (“Very unlikely”) | %5-20 | %0-10 | terim yok | Neredeyse kesinlikle değil (“Almost certainly not”) %2-12 | -7,5 | 5 |
Kaynaklar: ODNI, ICD 203 (2015, değişiklikleriyle birlikte); Mastrandrea vd., IPCC AR5 kılavuz notu (2010), AR6 Politika Yapıcılar İçin Özet’te (2021) AR5 ile tutarlı olarak yeniden ifade edildi; NWS Salt Lake City ofisinin 2007-08 kışı incelemesi; Kent’in aralıkları, merkezi değerler artı eksi kendi belirttiği tolerans olarak verilmiştir (yüzde 75, artı eksi yaklaşık 12). Orta noktalar, farklar ve örtüşmeler calc.py ile hesaplandı; negatif fark, IPCC okumasının daha düşük olduğu anlamına gelir.
ICD 203 kategorileri örtüşmez; IPCC kategorileri ise iç içedir (yüzde 90-100 aralığındaki “çok olası” (“very likely”) aynı zamanda “olası” (“likely”) sayılır) ve kılavuz notunun “bulanık” (“fuzzy”) dediği sınırlara sahiptir. “Olası” (“likely”) konusunda ikisi 14 puanı paylaşır; bu, istihbarat aralığının yaklaşık yüzde 56’sı, IPCC aralığının ise yüzde 41’idir. Geleneksel NWS sınıflandırması “hafif ihtimal” (“slight chance”, yüzde 15 ila 24) ile başlar ve bunun altında bir terimi yoktur.
Tablo 6. Çeviri testi: aynı olasılık için her sistemin kullanacağı sözcük (CEOtudent analizi)
| Olasılık | ICD 203 | IPCC | NWS | Kent 1964 |
|---|---|---|---|---|
| %18 | Olasılığı çok düşük (“Very unlikely”) | Olasılığı düşük (“Unlikely”) | Hafif ihtimal (“Slight chance”) | Terim yok (kategorileri arasındaki boşluk) |
| %38 | Olasılığı düşük (“Unlikely”) | Olması da olmaması da yaklaşık eşit olasılıkta (“About as likely as not”) | İhtimal var (“Chance”) | Muhtemelen değil (“Probably not”) |
| %70 | Olası (“Likely”) | Olası (“Likely”) | Olası (“Likely”) | Muhtemel (“Probable”) |
| %85 | Çok olası (“Very likely”) | Olası (“Likely”) | Kesin (“Categorical”) | Muhtemel (“Probable”) |
Dört sistem yalnızca yüzde 70’te uyuşuyor. Okurlar bu açığı kendiliğinden kapatmıyor: Budescu, Broomell ve Por, insanların IPCC terimlerine verdikleri sayısal karşılıkların, kılavuz ellerinin altında olsa bile kılavuzdan anlamlı ölçüde saptığını buldu (yalnızca özet). Mandel ve Barnes’ın verilerinde tahminlerin yaklaşık yüzde 16’sı hiç sayı içermiyordu; yalnızca “could” ya da “might” (“olabilir”) gibi sözcükler vardı. Çözüm ucuz: her seferinde sözcüğün yanına sayıyı yazın. “Olası (yüzde 70)” ifadesi, farklı bir ölçek öğrenmiş birine iletildiğinde de anlamını korur.
Yapay zeka modelleri insanlardan daha iyi kalibre mi?
Eğitimlerine bağlı. Kadavath ve meslektaşları, daha büyük dil modellerinin doğru formatta sunulan çeşitli çoktan seçmeli ve doğru/yanlış sorularında iyi kalibre olduğunu; insan geri bildirimiyle ince ayar yapılmış modellerin ise görünüşte kötü kalibre olduğunu ama basit bir sıcaklık (temperature) ayarından sonra oldukça iyi kalibre hale geldiğini buldu. GPT-4 Technical Report, son eğitimin (post-training) bedelini gösteriyor: MMLU veri setinin bir alt kümesinde beklenen kalibrasyon hatası, ön eğitimli model için 0,007’den son eğitim sonrasında 0,074’e yükseldi; bu yaklaşık 10,6 kat daha büyük bir değer.
Steyvers ve meslektaşları bir açık daha ekliyor: insanların model yanıtlarına duyduğu güven ile modellerin kendi güveni arasındaki açık. Bu konu CEOtudent’in yapay zeka yanıtlarındaki kırmızı bayraklar ve güven kalibrasyonu rehberlerinde ele alınıyor. İster bir meslektaştan ister bir modelden gelsin, beyan edilen bir güven, puanlanması gereken bir iddiadır.
Bir kalibrasyon eğitim protokolü (CEOtudent editöryel çerçevesi)
Güven bantlarının çeyreklik incelemesi, CEOtudent’in karar günlüğü protokolünde zaten yer alıyor; bu dört alıştırma o incelemeyi besler.
Alıştırma 1. On soruluk yüzde 90 aralık alıştırması (haftalık, 15 dakika). Alanınızdan, daha sonra kontrol edebileceğiniz on nicelik seçin (geçen çeyreğin müşteri kaybı oranı, bir rakibin çalışan sayısı). Her biri için makul aralığı beş ila on dilime bölün, kuyruklar dahil toplam 100 olacak şekilde her dilime bir olasılık verin, ardından yüzde 90’ı içeren en dar aralığı okuyun. İsabetleri sayın.
Alıştırma 2. Yirmi iddialık Brier alıştırması (aylık). 30 ila 90 gün içinde sonuçlanacak 20 evet-hayır iddiası yazın ve her birine yüzde 55, 65, 75, 85 veya 95 olasılık verin. İddialar sonuçlandığında Brier skorunuzu, her zaman taban oranını söyleme skorunu ve her bandın isabet oranını hesaplayın.
Alıştırma 3. Eşdeğer bahis kontrolü (herhangi bir yüzde 90’lık iddiayı imzalamadan önce). İddia doğruysa bir ödül kazanmayı mı tercih edersiniz, yoksa dokuz kazanan ve bir kaybeden bilet bulunan bir kutudan çekiliş yaparak kazanmayı mı? Kutuyu tercih ediyorsanız güveniniz yüzde 90’ın altındadır; sayıyı düşürün ya da aralığı genişletin. Bu, araştırmayla doğrulanmış bir yöntem değil, CEOtudent’in önerdiği bir sezgi kontrolüdür.
Alıştırma 4. Sözcükten sayıya kontrolü (her notta). Her olasılık sözcüğünü daire içine alın, yanına bir sayı yazın ve ekibin ölçeğini belgenin en üstüne ekleyin.
Tablo 7. Öz değerlendirme puan tablosu (CEOtudent editöryel çerçevesi)
| Ölçüt | Nasıl puanlanır | Kalibrasyonla tutarlı | Uyarı işareti | İlk düzeltme |
|---|---|---|---|---|
| %90 aralık isabet oranı (Alıştırma 1) | 10 üzerinden isabet | 9 veya 10 | 7 veya daha az | Aralıkları yaklaşık 2 kat genişletin; kuyruk dilimlerine daha fazla ağırlık verin |
| Brier skoru (Alıştırma 2) | Ortalama kare hata, 20 iddia | Her zaman taban oranını söyleme skorunun altında | 0,25’in üzerinde | Daha az uç olasılık |
| Bant isabet oranı (Alıştırma 2) | %85-95 bantlarında doğru çıkanların payı | Banda yakın | İki ay üst üste bandın belirgin biçimde altında | Bu iddiaları bir bant aşağı taşıyın |
| Eşdeğer bahis başarısızlıkları (Alıştırma 3) | Kutunun kazandığı %90’lık iddialar | Hiç | Herhangi biri | İddiayı ya da sayıyı yeniden yazın |
| Sayı içermeyen sözcükler (Alıştırma 4) | Not başına adet | Sıfır | Herhangi biri | Sayıyı ekleyin |
Alıştırma 1 eşikleri neden böyle? Yüzde 90’da gerçekten kalibre olan biri zamanın yaklaşık yüzde 26,4’ünde 8 veya daha az, yaklaşık yüzde 7,0’ında 7 veya daha az ve yaklaşık yüzde 1,3’ünde 6 veya daha az isabet alır (binom aritmetiği calc.py içinde). Tek bir 8 pek bir şey söylemez; tekrarlanan 7’ler çok şey söyler. Yüzde 60’lık bir isabet oranında normal hata varsayımı, aralıkları yaklaşık 1,95 kat genişletmeyi öneriyor.
CEO hamlesi: imzaladığınız her tahmine bir sayı ve bir aralık koyun
Ben-David, Graham ve Harvey bir tahmin hatasından fazlasını buldu. Piyasa konusunda kötü kalibre olan yöneticiler, kendi şirketlerinin beklentileri konusunda da benzer bir kalibrasyon hatası gösterdi; kötü kalibre yöneticilere sahip şirketler daha agresif politikalar izliyor, daha fazla yatırım yapıyor ve daha fazla borç finansmanı kullanıyor gibi göründü. Bu ilişki nedenselliği kanıtlamıyor, ancak aşırı kesinliği bir anket tuhaflığı olmaktan çıkarıp bir iş riskine dönüştürüyor.
Bir tahmin kaydı bu alışkanlığı somutlaştırır: bir kararı yönlendiren her tahmin için iddiayı, sonuçlanma tarihini, olasılığı ya da yüzde 90’lık aralığı, notta kullanılan sözcükleri, sorumluyu ve daha sonra sonucu ve onun Brier katkısını kaydedin. Her çeyrek, isabet oranlarını ve Brier skorlarını kişiye ve konuya göre hesaplayın. Kilit tahmini, kayıtların aşırı güven gösterdiği bir bantta yer alan her plan için bir ön otopsi yapın. CEOtudent’in tahmin karnesi aynı puanlamayı on yıllık uzman ve yapay zeka tahminlerine uyguluyor. Öğrenci tarafı, bir müfredat olarak okunan aynı kayıttır: her ıska, nerede aşırı kesin olduğunuzu gösterir.
Bu ne anlama gelmiyor
- Güven kötü bir şey değildir. Amaç güveni düşürmek değil, eşleştirmektir; Kanadalı analistler fazla temkinli davranarak bildiklerini olduğundan az gösterdi.
- Fark tablosu meslekleri sıralamıyor. Bir yıl sonrasına dönük bir piyasa tahmini ile ertesi günün yağış tahmini farklı görevlerdir.
- Düşük bir Brier skoru beceriyi kanıtlamaz. Kolay sorular düşük skorlar üretir; aynı sorulardaki bir referans değerle karşılaştırın.
- Laboratuvar sonuçları tam olarak aktarılamayabilir. SPIES kazanımları iş tahminlerinden değil, sıcaklık ve tarih sınavlarından geliyor.
- Bu makale, muhakeme üzerine yapılan araştırmalarla ilgili genel bilgi niteliğindedir; tıbbi, yatırım veya finansal tavsiye değildir.
Sıkça sorulan sorular
Güven düzeyi kalibrasyonu en basit haliyle nedir?
Ne kadar emin olduğunuzu söylediğiniz ile ne sıklıkla haklı çıktığınız arasındaki uyumdur. Doğrulukla aynı şey değildir: bir tahminci kalibre olup yine de bilgi vermeyebilir; Brier ayrıştırmasının ikisini birbirinden ayırmasının nedeni budur.
Yüzde 90’lık aralıklar neden bu kadar sık yanlış çıkıyor?
Fazla dar çiziliyorlar: Soll ve Klayman’a göre bazen gerekenin yalnızca yüzde 40’ı kadar genişler; McKenzie ve meslektaşlarının özetlediği literatüre göre ise gerçek değeri tipik olarak zamanın yaklaşık yarısında içeriyorlar.
İyi bir Brier skoru nedir?
Evrensel bir eşik yoktur. İşe yarar bir tahminci, aynı sorularda 0,25’i (her zaman yüzde 50 yanıtı) ve her zaman taban oranını söyleme skorunu geçer.
Kalibrasyon eğitilebilir mi?
Evet, geri bildirimle. Bir saatlik eğitim, turnuva tahmincilerinin aşırı güvenini kabaca yarıya indirdi; olasılık dilimleri de laboratuvarda aralık isabet oranlarını yükseltti.
Yapay zekanın güven skorlarına güvenilmeli mi?
Onları da beyan edilen herhangi bir güven gibi puanlayın. GPT-4 raporu, son eğitimin test alt kümesinde kalibrasyon hatasını 0,007’den 0,074’e yükselttiğini gösteriyor.
Kaynaklar
- Ben-David, Itzhak, John R. Graham ve Campbell R. Harvey. Managerial Miscalibration. NBER Working Paper 16215, Temmuz 2010, Eylül 2013’te revize edildi; Quarterly Journal of Economics 128(4), 2013’te yayımlandı.
- Moore, D. A. vd. Confidence Calibration in a Multiyear Geopolitical Forecasting Competition. Management Science, Articles in Advance, 2016.
- Haran, U., Moore, D. A. ve Morewedge, C. K. A simple remedy for overprecision in judgment. Judgment and Decision Making 5(7), 2010.
- Soll, J. B. ve Klayman, J. Overconfidence in interval estimates. Journal of Experimental Psychology: Learning, Memory, and Cognition 30(2), 2004 (yalnızca özet).
- McKenzie, Craig R. M., Michael J. Liersch ve Ilan Yaniv. Overconfidence in interval estimates: What does expertise buy you? Organizational Behavior and Human Decision Processes 107, 2008.
- Meyer, A. N. D. vd. Physicians’ diagnostic accuracy, confidence, and resource requests: a vignette study. JAMA Internal Medicine 173(21), 2013 (yalnızca özet).
- Mandel, D. R. ve Barnes, A. Accuracy of forecasts in strategic intelligence. Proceedings of the National Academy of Sciences 111(30), 2014.
- Bickel, J. E., Floehr, E. ve Kim, S. D. Comparing NWS PoP Forecasts to Third-Party Providers. Monthly Weather Review 139, 2011.
- Graham, R. A Review of PoP Reliability and PoP Bias Trends at WFO SLC for the Winter of 2007-08. National Weather Service, Salt Lake City ofisi.
- Office of the Director of National Intelligence. Intelligence Community Directive 203, Analytic Standards, 2 Ocak 2015’te imzalandı, sonraki teknik değişikliklerle birlikte.
- Mastrandrea, M. D. vd. Guidance Note for Lead Authors of the IPCC Fifth Assessment Report on Consistent Treatment of Uncertainties. IPCC, 2010.
- IPCC. Summary for Policymakers. Climate Change 2021: The Physical Science Basis, Sixth Assessment Report, 2021.
- Kent, S. Words of Estimative Probability. Studies in Intelligence, CIA Center for the Study of Intelligence, 1964; 1993’te yayımlanması onaylandı.
- Budescu, D. V., Broomell, S. ve Por, H.-H. Improving communication of uncertainty in the reports of the Intergovernmental Panel on Climate Change. Psychological Science 20(3), 2009 (yalnızca özet).
- Kadavath, S. vd. Language Models (Mostly) Know What They Know. arXiv ön baskısı 2207.05221, 2022.
- OpenAI. GPT-4 Technical Report. arXiv ön baskısı 2303.08774, 6. sürüm, 2024.
- Steyvers, M. vd. What large language models know and what people think they know. Nature Machine Intelligence 7, 2025.
Tablo 1, 5, 6 ve 7 CEOtudent analizleri ya da editöryel çerçeveleridir; Tablo 4 varsayımlara dayanan açıklayıcı bir örnektir; Tablo 2 ve 3 rakamları yayımlandığı şekliyle aktarır. Moore ve meslektaşlarının özeti yaklaşık yüzde 3’lük bir aşırı güvenden söz ediyor; makale, bulgular bölümlerindeki ve yüzde 65,4 ile yüzde 63,3’le uyuşan 2,1 puanlık rakamı kullanıyor. Bilinçli olarak kullanılmayanlar: CFO makalesinin yüzde 36,3 ve yüzde 36,6’lık varyantları (makale özetindeki yüzde 36 kullanıldı), Murphy ve Winkler’ın hava durumu makalesi ve Brier’in 1950 tarihli makalesi (açılmadı; Moore ve meslektaşları, Mandel ve Barnes ile Bickel ve meslektaşları üzerinden atıf yapıldı) ve CEOtudent karar günlüğü yazısında zaten yer alan eğitim Brier tabloları.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
