Kısaca: Karar günlüğü bir günce değildir. Bir ölçüm aletidir ve yalnızca belirli, defalarca doğrulanmış bir hafıza arızasını yenmek üzere kurulduğunda işe yarar. Fischhoff 1975’te, sonucu bilmenin ne beklediğinize dair inancınızı sessizce yeniden yazdığını, raporladığı sonuçlar genelinde ortalama 9,2 puanlık bir kayma yarattığını ortaya koydu; kaydın sonuç ortaya çıkmadan önce yazılması ve içinde bir sayı bulunması gerekmesinin nedeni budur. Baron ve Hershey 1988’de, insanların birebir aynı kararı sonuç iyi çıktığında daha iyi değerlendirdiğini, üstelik bunu yapmamaları açıkça söylendikten sonra da sürdürdüğünü ortaya koydu; günlüğün karar kalitesi ile sonuç kalitesini iki ayrı puanlanan alan olarak ayırması gerekmesinin nedeni budur. Mellers ve arkadaşları, 199 soruyu kapsayan iki yıllık bir jeopolitik tahmin turnuvasını raporlarken, yaklaşık 45 dakika süren bir olasılık eğitimi modülünün her biri 8 ila 10 ay uzunluğundaki dönemler boyunca isabeti artırdığını ve turnuvanın seçkin tahmincilerinin soru başına ortalama 7,8 tahmin yaparken bağımsız tahmincilerin 1,4 tahmin yaptığını buldu. Mitchell, Russo ve Pennington, bir sonucun çoktan gerçekleştiğini hayal etmenin nedenlerini doğru biçimde tanımlama yetinizi yüzde 30 artırdığını buldu. Bir araya getirildiğinde bu dört sonuç enstrümanı tam olarak tarif ediyor: yedi alan, kalibre edilmiş bir olasılık, önceden yazılmış bir başarısızlık hikâyesi ve ruh haline değil bir tetikleyiciye bağlı çalışan bir gözden geçirme döngüsü. Aşağıda: şablon, kalibrasyon eğitiminin tahminin her aşamasında gerçekte ne kazandırdığını gösteren özgün bir tablo, puanlama kuralları ve dürüst sınırlar.
Kendini geliştirmenin, ilerleme hissi veren ama hiçbir ilerleme üretmeyen bir versiyonu var. Ne karar verdiğinizi yazarsınız. Aylar sonra geri okur, bazı şeylerde haklı çıktığınızı fark eder, cesaretlenir ve hiçbir şeyi değiştirmezsiniz.
Bunun başarısız olma nedeni tembellik değil. Bir tahmine dair insan hafızasının saklanmış bir kayıt olmaması. Hafıza, onu geri çağırdığınız anda yeniden inşa ediliyor ve bu yeniden inşa, o günden bu yana öğrendiğiniz her şeyle kirleniyor.
Bunu hesaba katmayan bir karar günlüğü bir günce olur. Hesaba katan bir karar günlüğü ise muhakemeyi gerçekten kımıldatabilen az sayıdaki aletten biridir.
Şablonun karşılaması gereken dört bulgu
Aşağıdaki biçime dair yapısal olan her şey dört sonuçtan türüyor. Her biri belirli bir alanı zorunlu kıldığı için hepsini tam olarak belirtmeye değer.
Cevabı öğrendikten sonra ne beklediğinize dair hafızanız kayıyor. Baruch Fischhoff’un 1975’te Sonradan görmek öngörmeye eşit değildir başlığıyla yayımlanan çalışması, insanlara birkaç makul sonucu olan kısa tarihsel ve klinik vakalar verip olasılık istedi. Bir kısmına hangi sonucun gerçekleştiği söylendi. Raporlanan sonuçlar genelinde öngörü ile sonradan görme olasılıkları arasındaki ortalama fark 9,2 puandı. Sonucu görmezden gelmesi istenen kişiler bunu yapamadı. Bulgu alanın en çok tekrarlanan sonuçlarından birine dönüştü; Christensen-Szalanski ve Willham’ın meta-analizi konuya ilişkin 122 çalışmayı bir araya getirdi.
Tasarım sonucu: kaydın sonuç ortaya çıkmadan önce zaman damgalı olması ve içinde bir sayı bulunması gerekiyor, çünkü kayan şey tam olarak hatırlanan bir histir.
Bir karara dair değerlendirmeniz, öyle olmaması gerektiğini bilseniz bile sonuçla birlikte kayıyor. Baron ve Hershey’in 1988’de Journal of Personality and Social Psychology dergisinde yayımlanan çalışması, birebir aynı kararın sonuç olumlu olduğunda daha iyi, daha önemli ve daha normatif olarak puanlandığını gösterdi. Sorulduğunda denekler sonuçların değerlendirmeyi etkilememesi gerektiği konusunda hemfikirdi. Yine de etkilendiler.
Tasarım sonucu: karar kalitesi ile sonuç kalitesi iki ayrı puanlanan alan olmalı ve iki ayrı zamanda doldurulmalı. Tek bir alan ikisini birden taşırsa iyi sonuç, kendisini üreten muhakemeyi sessizce yukarı çeker.
Kısa ve tek seferlik bir kalibrasyon egzersizinin ömrü uzun. Mellers ve arkadaşları Psychological Science dergisinde, tahmincilerin ortalama 102 gün açık kalan 199 jeopolitik soruyu yanıtladığı iki yıllık bir turnuvayı raporladı. Katılımcılar rastgele olasılık eğitimi, senaryo eğitimi ya da eğitimsiz gruba atandı. Olasılık eğitimi senaryo eğitimini, senaryo eğitimi ise eğitimsiz olmayı geçti. Modülün tamamlanması yaklaşık 45 dakika sürdü ve faydası her biri kabaca 8 ila 10 ay uzunluğundaki iki dönem boyunca sürdü.
Tasarım sonucu: olasılıkları doğru ifade etmeyi öğrenmek için bir oturum harcamaya değer ve günlük, bir izlenim yerine güncel bir kalibrasyon skoru tutmalı.
Başarısızlığı olmadan önce hayal etmek nedensel muhakemenizi iyileştiriyor. Mitchell, Russo ve Pennington, Journal of Behavioral Decision Making dergisindeki 1989 tarihli çalışmalarında, gelecekteki bir olayı çoktan gerçekleşmiş gibi anlatmak anlamına gelen ileriye dönük sonradan görmenin, sonuçların nedenlerini doğru biçimde tanımlama yetisini yüzde 30 artırdığını buldu. Ölüm sonrası incelemenin tersi olan ön-mortem tekniğinin altındaki mekanizma budur.
Tasarım sonucu: bunun nasıl ters gittiğinin hikâyesini geçmiş zamanda yazdığınız zorunlu bir alan var.
45 dakikalık kalibrasyon eğitimi gerçekte ne kazandırdı
Turnuva verisi, konuya dair haberlerin nadiren yaptığı bir şeyi yapmamıza izin veriyor: manşeti tekrarlamak yerine eğitim etkisinin büyüklüğünü tahminin her aşamasında hesaplamak. Brier skoru olasılıksal isabeti ölçer ve düşük olan iyidir; dolayısıyla iyileşme bir azalmadır. Aşağıdaki tablo, olasılık eğitiminin eşleştirilmiş eğitimsiz koşula karşı göreli iyileşmesini, yayımlanmış skor tablosundan hücre hücre türetiyor.
Tablo 1. 45 dakikalık olasılık eğitimi modülünün sağladığı göreli isabet kazancı, tahminci tipi ve tahmin aşamasına göre, CEOtudent editöryel çerçevesi, yayımlanmış Brier skorlarından türetilmiştir
| Yıl | Tahminci tipi | Aşama | Brier, eğitimsiz | Brier, olasılık eğitimi | Göreli iyileşme |
|---|---|---|---|---|---|
| 1 | Bireysel | İlk hafta | 0,44 | 0,40 | yüzde 9,1 daha iyi |
| 1 | Bireysel | Ortadaki 2 hafta | 0,40 | 0,36 | yüzde 10,0 daha iyi |
| 1 | Bireysel | Son hafta | 0,31 | 0,29 | yüzde 6,5 daha iyi |
| 1 | Kalabalık inancı | İlk hafta | 0,42 | 0,36 | yüzde 14,3 daha iyi |
| 1 | Kalabalık inancı | Ortadaki 2 hafta | 0,39 | 0,34 | yüzde 12,8 daha iyi |
| 1 | Kalabalık inancı | Son hafta | 0,30 | 0,23 | yüzde 23,3 daha iyi |
| 1 | Takım | İlk hafta | 0,42 | 0,35 | yüzde 16,7 daha iyi |
| 1 | Takım | Ortadaki 2 hafta | 0,33 | 0,30 | yüzde 9,1 daha iyi |
| 1 | Takım | Son hafta | 0,22 | 0,19 | yüzde 13,6 daha iyi |
| 2 | Bireysel | İlk hafta | 0,46 | 0,42 | yüzde 8,7 daha iyi |
| 2 | Bireysel | Ortadaki 2 hafta | 0,39 | 0,36 | yüzde 7,7 daha iyi |
| 2 | Bireysel | Son hafta | 0,26 | 0,24 | yüzde 7,7 daha iyi |
| 2 | Takım | İlk hafta | 0,38 | 0,40 | yüzde 5,3 daha kötü |
| 2 | Takım | Ortadaki 2 hafta | 0,32 | 0,28 | yüzde 12,5 daha iyi |
| 2 | Takım | Son hafta | 0,16 | 0,16 | değişim yok |
Bu tabloda ortalamalardan daha önemli üç şey var.
Birincisi, kazanç tek başına çalışan bir birey için gerçek ama mütevazı: her iki yılda da tüm bireysel hücrelerde yüzde 6,5 ile 10 arasında. Tek başınıza günlük tutuyorsanız, bir kalibrasyon alışkanlığının size doğrudan kazandırdığı şeyin dürüst büyüklüğü budur.
İkincisi, iki hücre ters yöne gidiyor. İkinci yılda eğitim almış takım tahmincileri ilk haftada biraz daha kötüydü ve son haftada aynıydı. Bunları gizleyen bir tablo bir satış belgesi olurdu. Etki gerçek ama tekdüze değil.
Üçüncüsü, tablodaki en büyük tek sayı olan yüzde 23,3, bireysel satırlarda değil. Eğitimin başkalarının neye inandığını görmekle birleştiği yerde, sorunun ömrünün geç bir evresinde, bilgi biriktiğinde ortaya çıkıyor. Eğitim, üzerinde çalışacak bir şeyi olduğunda en çok getiriyi veriyor.
Süper tahmincileri gerçekte açıklayan bulgu
Turnuvanın en iyi performans gösterenleri ikinci yılda seçkin takımlara terfi ettirildi ve skorları kimseninkine yakın değildi: sorunun ilk haftasında 0,25, ortasında 0,19, sonunda 0,07. Aynı yıldaki eğitimsiz bireysel tahmincilere karşı bu, erken evrede yüzde 45,7, orta evrede yüzde 51,3 ve son evrede yüzde 73,1 daha iyi demek.
Bunun altındaki davranışsal fark şaşırtıcı derecede basit ve bu yazıdaki en önemli tek şey. Bağımsız tahminciler soru başına ortalama 1,4 tahmin yaptı. Kalabalık inancı tahmincileri 1,3 yaptı. İkinci yılda sıradan takımlar 1,6 yaptı. Süper tahminciler 7,8 yaptı.
Bu, bağımsız tahmincilerden kabaca 5,6 kat daha yüksek bir geri dönüş oranı. Daha iyi bir ilk tahmin değil. Hâlâ açık olan aynı soruya daha fazla dönüş, her biri yeni bilgiye karşı bir güncelleme.
Günlüğünüzü nasıl kuracağınıza karar vermesi gereken bulgu budur. Neredeyse her karar günlüğü şablonu kaydı ürün olarak görür. Kanıt, kaydın ucuz kısım olduğunu söylüyor. Performans, sizi hâlâ açıkken bir karara geri getiren döngüde yaşıyor ve çoğu şablonda böyle bir döngü hiç yok.
Tablo 2. Tahminci grubuna göre geri dönüş oranı ve beraberinde gelen isabet, CEOtudent editöryel çerçevesi, yayımlanmış turnuva rakamlarından türetilmiştir
| Grup | Soru başına ortalama tahmin | Bağımsıza karşı geri dönüş oranı | 2. yıl Brier, son hafta |
|---|---|---|---|
| Kalabalık inancı tahmincileri | 1,3 | 0,9 kat | 2. yılda ayrıca raporlanmadı |
| Bağımsız tahminciler | 1,4 | 1,0 kat, taban | 0,26 |
| Sıradan takımlar, 2. yıl | 1,6 | 1,1 kat | 0,16 |
| Süper tahminciler | 7,8 | 5,6 kat | 0,07 |
Bu karşılaştırma nedensel yönü kanıtlamıyor; süper tahminciler önce isabetlerine göre seçildi ve ardından seçkin takımlara verildi, dolayısıyla geri dönüş oranları ile isabetleri yetenek ve bağlılıkta ortak bir nedeni paylaşıyor. Sayıların kanıtladığı şey ilişkinin kendisi ve bu ilişki, geri dönüş döngüsünü enstrümanın atlamayı reddetmeniz gereken parçası yapacak kadar güçlü.
Şablon: yedi zorunlu alan
Her alan, yukarıdaki bulgulardan biri onu zorunlu kıldığı için var. Burada süs olan hiçbir şey yok ve atlamak isteyeceğiniz iki alan, tam olarak işi yapan alanlar.
1. Karar ve tarih. Tek cümle, “Y yerine X’i seçiyorum” biçiminde. Reddettiğiniz alternatifi adlandıramıyorsanız karar vermemişsiniz, bir tercihiniz olmuş. Zaman damgası koyun. Kaydı sonradan kabul edilebilir kılan şey zaman damgasıdır.
2. Durumun şu anki görünümü. Üç ila beş cümle. Ne bildiğiniz, ne bilmediğiniz, hangi baskı altında olduğunuz, ne kadar vaktiniz olduğu. Şimdi, hâlâ eksikken yazılmalı, çünkü hatırlayacağınız versiyon derli toplu olanı olacak.
3. Olasılık. Bir kelime değil, bir sayı. “Bence bu işe yarar” yanlışlanamaz. “Bence bunun işe yarama olasılığı yüzde 65 ve şu gözlemlenebilir sonuca göre değerlendirilecek” ise puanlanabileceğiniz bir iddiadır. Çözüm koşulunu aynı alanda tanımlayın: bunun işe yaramış sayılması için tam olarak ne gerçekleşmiş olacak ve ne zamana kadar.
Bu, insanların atladığı alan ve atlamak günlüğü tekrar günceye çeviriyor. Fischhoff’un ölçtüğü 9,2 puanlık kayma, tam olarak bir sayının kapattığı boşluk.
4. Ön-mortem. Geçmiş zamanda, bir yıl geçmiş ve başarısız olmuş gibi: “Bu işe yaramadı çünkü…” İki ya da üç cümle. Mitchell, Russo ve Pennington’ın nedenleri tanımlamada bulduğu yüzde 30’luk iyileşme çabadan değil, kipten geliyor. “Şu olursa başarısız olabilir” yazmak, “şu yüzden başarısız oldu” yazmaktan gözle görülür biçimde daha zayıf muhakeme üretiyor.
5. Fikrimi ne değiştirir. Kararı tersine çevirmenize ya da revize etmenize yol açması gereken bir ya da iki belirli, gözlemlenebilir sinyal. Bu alan geri dönüş döngüsünün tetikleyicisi. Onsuz geri dönmek için planlanmış bir nedeniniz olmaz ve herkes gibi soru başına 1,4 kez dönersiniz.
6. Karar kalitesi puanı, şimdi doldurulur. Bir ile beş arası, herhangi bir sonuç ortaya çıkmadan önce yalnızca muhakeme üzerinden. Alternatifi düşündünüz mü, doğrulamayan kanıt aradınız mı, bir sayı belirttiniz mi, tersine çevirme koşulunu adlandırdınız mı?
7. Sonuç kalitesi puanı, çözümde doldurulur. Bir ile beş arası, gerçekte ne olduğu üzerinden, ayrı bir oturumda. Baron ve Hershey’in sonucu, bunların iki ayrı alan olmasının tüm gerekçesi. Gözden geçirirken ilginç satırlar uyuşmayanlardır: kötü sonuçla birlikte yüksek karar kalitesi, ki bu varyanstır ve düzeltilmemelidir; ve iyi sonuçla birlikte düşük karar kalitesi, ki bu günlükteki en tehlikeli satırdır çünkü hiçbir yanı sorun gibi hissettirmez.
Gözden geçirme protokolü: takvim değil, dört tetikleyici
Aylık gözden geçirmeler öngörülebilir bir nedenle başarısız oluyor. Bir ay geçtiğinde kayıtların çoğu hâlâ açıktır ve çözüme ulaşanlar bunu sizin orada olmadığınız rastgele bir anda yapmıştır. Gözden geçirme bunun yerine olaylara bağlı çalışmalı.
Tetikleyici bir: çözüm. Bir sonuç bilinir bilinmez, kimseyle konuşmadan önce kaydı açın, belirttiğiniz olasılığı düzeltmeden okuyun, sonucu kaydedin ve yedinci alanı doldurun. Korunmuş bir tahmini bir sonuçla karşılaştırabileceğiniz tek an budur. On beş dakika.
Tetikleyici iki: fikir değiştirme sinyali. Beşinci alandaki bir şey gerçekleştiğinde, karar çözülmüş olsun ya da olmasın kayıt yeniden açılır. Sizi 1,4 geri dönüşten isabetle ilişkili sayıya yaklaştıran mekanizma budur.
Tetikleyici üç: toplu kalibrasyon, üç ayda bir. Çözüme ulaşmış her kaydı alın. Belirttiğiniz olasılığa göre gruplayın: yüzde 60 ile 70 bandındaki her şey, yüzde 70 ile 80 bandındaki her şey ve böyle devam. Her bantta gerçekte kaçının olduğunu sayın. On bir kez yüzde 70 dediyseniz ve sekizi gerçekleştiyse o bantta kalibresiniz. On kez yüzde 90 dediyseniz ve altısı gerçekleştiyse aşırı güvenlisiniz ve bunu artık bir şüphe olarak değil bir sayı olarak biliyorsunuz. Bir örüntü görmek için yirmi kayıt yeterli; on değil.
Tetikleyici dört: uyuşmazlık denetimi, yılda bir. Yalnızca karar kalitesi ile sonuç kalitesinin iki puan ya da daha fazla ayrıştığı satırları çekin. Öğreten kayıtlar bunlar. Geri kalanların çoğu zaten inandığınız şeyi doğrular.
Bu enstrümanın yapamayacakları
Sınırlar konusunda dürüst olmak, geri kalanını kullanılabilir kılan şeyin bir parçası.
Turnuva kanıtı, temiz çözüm ölçütleri ve tanımlı son tarihleri olan jeopolitik sorulardan geliyor. Kişisel ve profesyonel kararların çoğunda ikisi de yok. Belirli bir işi almanın doğru olup olmadığı yıllarca puanlanabilir biçimde çözülmeyebilir, hiç çözülmeyebilir ve karşı-olgusal kalıcı olarak erişilemezdir. Kalibrasyon eğitimi gerçekten puanlayabildiğiniz karar sınıfına aktarılır ki bu gerçek ama sınırlı bir alt kümedir.
9,2 puanlık sonradan görme etkisi ve sonuç yanlılığı sonucu, vakalarla yapılmış laboratuvar bulguları. Mekanizmayı sağlam biçimde ortaya koyuyorlar. Günlük tutmanın yanlılığı çalışma hayatınızdan sildiğini ortaya koymuyorlar ve burada anılan hiçbir çalışma bunu ölçmedi.
Süper tahminci geri dönüş rakamı, seçilmiş bir grup içindeki bir ilişkidir; daha çok geri dönmenin sizi daha isabetli yapacağının gösterimi değildir. 7,8’i mekanik olarak ulaşılacak bir hedef gibi değil, kaldıracın makul olarak nerede durduğuna dair kanıt olarak ele alın.
Bu alışkanlığın dürüst taban oranı ise çoğu insanın onu bırakması. Başarısızlık biçimi neredeyse her zaman aynı: şablonda çok fazla alan vardı, gözden geçirmenin tetikleyicisi yoktu ve olasılık alanı iddialı hissettirdiği için atlandı. Yedi alan, dört tetikleyici ve sayı isteğe bağlı değil.
Bu neyin içine oturuyor
Karar günlüğü, karar pratiğindeki her şeyin altındaki ölçüm katmanıdır. Benimsediğiniz çerçevelerin kararlarınızı gerçekten iyileştirip iyileştirmediğini, yoksa yalnızca kendinizi daha düzenli mi hissettiğinizi söyleyen şeydir. Daha geniş sistemi kuruyorsanız, kişisel karar yığını bu enstrümanın ölçtüğü mimaridir, bahis gibi düşünmek olasılık alanının geldiği yerdir ve iyi muhakemenin gerçekte nasıl geliştiği geri besleme döngüsünün yıllar içinde size ne yaptığına dair araştırmadır.
Sıkça sorulan sorular
Günlüğe kaç karar girmeli?
Sandığınızdan daha azı. Eşik şu: bir yıl sonra burada gerçekte ne beklediğimi bilmek ister miyim? Çoğu kişi için bu haftada bir ila üç kayıt eder. Seksen önemsiz kaydı olan ve hiç çözüme ulaşmamış bir günlük hiçbir şey öğretmez ve üç aylık kalibrasyon turunun bir bantta bir şey söyleyebilmesi için kabaca yirmi çözülmüş kayda ihtiyacı var.
Yazılı olmak zorunda mı, yoksa bir yapay zeka modeliyle konuşma da olur mu?
Kanıt ortama değil alanlara dair konuşuyor. Bir model ön-mortemi üretmenize yardımcı olabilir ve sizi bir sayı belirtmeye zorlayabilir; ikisi de gerçekten yararlı. Yapamayacağı şey, kaydı kendi hafızanıza karşı korumaktır ki bütün mesele budur; dolayısıyla ne kullanırsanız kullanın, sonradan düzenlemediğiniz zaman damgalı bir kayıt üretmeli.
Olasılığı bilmiyorsam?
Bu normal durumdur ve bir engel değildir. Sayıyı yine de verin, sonra üç aylık kalibrasyon turu size sayılarınızın bir sınıf olarak ne kadar yanlış olduğunu söylesin. Kötü kalibre olmak ve hatanın büyüklüğünü bilmek, hiç sayı olmamasından kesinlikle daha iyi bir konumdur ve turnuva sonucu, olasılıkların nasıl ifade edileceğine dair tek bir odaklı oturumun başlamaya yettiğini düşündürüyor.
45 dakikalık eğitimi kendim tekrarlayabilir miyim?
Kısmen. Yayımlanan modül referans sınıfı düşünmeyi öğretiyor, yaygın yanlılıkları düzeltiyor ve birden fazla tahmin varken ortalama almak gibi sezgisel kurallar sunuyordu. Bunları doğrudan çalışabilirsiniz. Tek başınıza tekrarlayamayacağınız şey turnuvanın geri besleme yoğunluğu ve yukarıdaki tablo, en büyük kazançların başkalarının neye inandığını görmekte ortaya çıktığını düşündürüyor.
Karar kalitesini neden gözden geçirmede değil de sonuçtan önce puanlıyoruz?
Çünkü sonuçtan sonra artık yapamazsınız. Baron ve Hershey’in gösterdiği tam olarak budur: sonucu görmezden gelme talimatı işe yaramıyor. Sonuç öncesi puan, kendi muhakemenize dair elde edeceğiniz tek kirlenmemiş okumadır.
Kaynakça
- Fischhoff, Hindsight is not equal to foresight: The effect of outcome knowledge on judgment under uncertainty, Journal of Experimental Psychology: Human Perception and Performance, cilt 1, sayı 3, 1975, sayfa 288 ila 299
- Christensen-Szalanski ve Willham, The hindsight bias: A meta-analysis, Organizational Behavior and Human Decision Processes, cilt 48, 1991
- Baron ve Hershey, Outcome bias in decision evaluation, Journal of Personality and Social Psychology, cilt 54, sayı 4, 1988, sayfa 569 ila 579
- Mellers, Ungar, Baron, Ramos, Gurcay, Fincher, Scott, Moore, Atanasov, Swift, Murray, Stone ve Tetlock, Psychological Strategies for Winning a Geopolitical Forecasting Tournament, Psychological Science, cilt 25, sayı 5, 2014
- Mitchell, Russo ve Pennington, Back to the future: Temporal perspective in the explanation of events, Journal of Behavioral Decision Making, cilt 2, sayı 1, 1989
- Tetlock, Mellers, Rohrbaugh ve Chen, Forecasting Tournaments: Tools for Increasing Transparency and Improving the Quality of Debate, Current Directions in Psychological Science, cilt 23, sayı 4, 2014
- Brier, Verification of forecasts expressed in terms of probability, Monthly Weather Review, cilt 78, 1950
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
