Özet. Dunning-Kruger etkisi hakkında bildiğinizi sandığınız şey muhtemelen abartılı. Orijinal 1999 çalışması dört deney yürüttü ve gerçek bir uyumsuzluk buldu: mizah, dilbilgisi ve mantık testlerinde en alt çeyrekte yer alanlar 12. yüzdelikteydi ama kendilerini 62. yüzdelikte tahmin etti. Yaklaşık 50 yüzdelik puanlık bir sapma. Ancak 2020’de Intelligence dergisinde yayımlanan bir çalışma, bu bulguyu üreten standart dörtlü-çeyrek grafik yönteminin ortalamanın-üstü etkisi ve ortalamaya gerileme tarafından karıştırıldığını savundu. 929 katılımcıyla geçerli iki istatistiksel test uygulandığında, yazarlar hipotezin öngördüğü değişkenlik örüntüsünü bulamadı ve nesnel zeka ile öz-değerlendirilen zeka arasındaki ilişkiyi neredeyse tümüyle doğrusal buldu. Sonuç, etkinin var olmadığı değil; büyüklüğünün daha önce bildirilenden çok daha küçük olabileceği. Kendinizi bir CEO gibi yönetiyorsanız, bu ayrım önemlidir: “cahil cesareti” bir hakaret olarak kullanılabilecek kadar sağlam bir bulgu değil, ama öz-değerlendirmenin zayıf bir sinyal olduğu farklı ve daha iyi desteklenen bir gerçek.
Orijinal çalışma ne buldu
Justin Kruger ve David Dunning’in 1999’da Journal of Personality and Social Psychology’de yayımlanan makalesinin adı “Unskilled and unaware of it” idi. Tez şuydu: bazı alanlarda beceriksiz olan insanlar çifte yük taşır. Yalnızca hatalı sonuçlara varmakla kalmazlar, beceriksizlikleri bunu fark etme üstbilişsel yeteneğini de ellerinden alır.
Dört çalışma boyunca mizah, dilbilgisi ve mantık testleri kullanıldı. Doğrulanmış çekirdek rakam şu: en alt çeyrekte puan alan katılımcılar test performanslarını ve yeteneklerini ciddi biçimde abarttı. Test puanları onları 12. yüzdeliğe yerleştirirken, kendilerini 62. yüzdelikte tahmin ettiler.
Makale ayrıca daha az bilinen ama daha yararlı bir şey buldu: katılımcıların becerilerini geliştirmek ve böylece üstbilişsel yeterliliklerini artırmak, kendi sınırlarını fark etmelerine yardımcı oldu. Yani sorun, düzeltilemez bir kişilik özelliği olarak sunulmadı.
Sonra itiraz geldi
2020’de Gilles Gignac ve Marcin Zajenkowski, Intelligence dergisinde bir eleştiri yayımladı. Başlığı doğrudandı: Dunning-Kruger etkisi (çoğunlukla) istatistiksel bir artefakt.
İtirazları yöntemseldi. Hipotezi sınamak için en yaygın kullanılan yöntem, öz-değerlendirilen ve nesnel olarak ölçülen ortalamaları nesnel yeteneğin dört çeyreği boyunca grafiğe dökmektir. Bu yöntemin iki bilinen olgu tarafından karıştırıldığı savunulur: ortalamanın-üstü etkisi (çoğu insan kendini ortalamanın üzerinde sanır) ve ortalamaya gerileme (uç bir ölçümde en altta olanlar, ikinci bir ölçümde ortalamaya doğru kayar). Bu ikisi bir arada, gerçek bir Dunning-Kruger etkisi olmasa bile o meşhur çapraz grafiği üretir.
Yazarlar geçerli olduğunu savundukları iki çıkarımsal teknik önerdi: değişen varyansın Glejser testi ve doğrusal olmayan (ikinci dereceden) regresyon. Ardından 929 genel toplum katılımcısından oluşan bir örneklemde, öz-değerlendirilmiş zeka ve İleri Raven Progresif Matrisler testi ile bunları uyguladılar.
İki sonuç da hipotezin aleyhineydi. İstatistiksel olarak anlamlı değişen varyans bulunamadı. Ve nesnel olarak ölçülen zeka ile öz-değerlendirilen zeka arasındaki ilişki esasen tümüyle doğrusal çıktı; oysa hipotez eğrisellik öngörüyordu.
Yazarların kendi sonucu ihtiyatlıdır ve burada aynen aktarılmayı hak eder: Dunning-Kruger hipotezinin tarif ettiği olgu bazı beceriler için bir dereceye kadar makul olabilir, ancak etkinin büyüklüğü daha önce bildirilenden çok daha küçük olabilir.
Tartışma kapanmış değil. Aynı dergide 2023’te Avram Hiller imzalı, doğrudan bu makaleye yanıt veren bir yorum yayımlandı. Bu yorumun argümanına bu yazı için erişilemedi, dolayısıyla içeriği hakkında bir iddiada bulunulmuyor; yalnızca itirazın kendisinin de itiraz gördüğü kaydediliyor.
Özgün karşılaştırma: güven ile doğruluk arasındaki ilişki üç bağımsız çalışmada
Popüler anlatı “eminlik yeteneksizliğin işaretidir” der. Bu, birbirinden bağımsız çalışmaların gerçekte bulduğundan çok daha güçlü bir iddia. Aşağıdaki tablo, üç farklı alandan gelen doğrulanmış bulguları aynı soruya, yani öz-değerlendirmenin performansı ne kadar iyi izlediğine göre yan yana koyuyor.
Tablo 1. Öz-değerlendirme ile gerçek performans arasındaki ilişki, üç bağımsız çalışma
| Çalışma ve alan | Ölçek | Bulgu | Yön |
|---|---|---|---|
| Kruger ve Dunning, mizah, dilbilgisi ve mantık | Dört çalışma | En alt çeyrek 12. yüzdelikteydi, kendini 62. yüzdelikte tahmin etti | Düşük performansta güçlü abartma |
| Gignac ve Zajenkowski, öz-değerlendirilen zeka ve Raven matrisleri | 929 katılımcı | Anlamlı değişen varyans yok; ilişki esasen tümüyle doğrusal | Hipotezin öngördüğü örüntü bulunamadı |
| Porter ve Machery, yapay zeka üretimi şiirin tanınması | 16.340 yargı | Öz-bildirimli güvenin doğruluk üzerinde anlamlı negatif etkisi (b = -0,021673; p < 0,0001) | Emin olanlar biraz daha sık yanıldı |
| Jones ve Bergen, canlı konuşmada yapay zeka tespiti | 284 katılımcı, 1.023 oyun | Öz-tahmin edilen doğruluk lisans grubunda gerçek doğrulukla pozitif ilişkili (p = 0,03), Prolific grubunda değil (p = 0,45) | Yön popülasyonlar arasında yinelenmedi |
CEOtudent editöryel çerçevesi. Tüm rakamlar ilgili çalışmaların yayımladığı gibidir. Dört satır farklı tasarımlar, popülasyonlar ve sonuç ölçüleri kullanır ve istatistiksel olarak birleştirilemez; tablo, tek bir yönde okunamayacak kadar tutarsız olan bir kanıt tablosunu göstermek için derlenmiştir. Kruger ve Dunning satırındaki 12 ile 62 arasındaki 50 yüzdelik puanlık fark bir CEOtudent çıkarmasıdır.
Tabloyu dürüstçe okumanın tek yolu şudur: öz-değerlendirme performansın güvenilir bir vekili değil, ama yanlışlığının yönü de güvenilir değil. Bazı bağlamlarda güven doğrulukla negatif ilişkili. Bazılarında pozitif. Birinde aynı çalışmanın iki popülasyonu ters yönlerde çıktı.
Bu, “cahil cesareti” retoriğinin taşıyamayacağı kadar karışık bir tablodur. Ve karışıklığın kendisi kullanılabilir bir bilgidir.
Popüler anlatının nerede yanlış gittiği
Üç yaygın hata var ve üçü de kanıtla desteklenmiyor.
Birincisi, bir kişilik teşhisi gibi kullanılması. Orijinal çalışma bir grup ortalaması bildirdi, bireysel bir teşhis değil. Belirli bir kişinin kendini abartıp abartmadığını, o kişinin hem gerçek hem tahmin edilen performansını ölçmeden söylemek mümkün değildir. Tartışmada karşı tarafa “Dunning-Kruger” etiketi yapıştırmak, verinin desteklemediği bir çıkarımdır.
İkincisi, en yetkinlerin kendini küçümsediği iddiası. Bu, çapraz grafiğin ikinci yarısıdır ve tam olarak Gignac ile Zajenkowski’nin ortalamaya gerileme ile açıkladığı kısımdır. Uç bir ölçümde en üstte olanlar, ikinci ölçümde aşağı kayar; bu, alçakgönüllülük değil ölçüm özelliğidir.
Üçüncüsü, etkinin düzeltilemez olduğu varsayımı. Orijinal makale bunun tersini buldu: katılımcıların becerileri geliştirildiğinde kendi sınırlarını daha iyi tanıdılar. Yani mekanizma bir karakter kusuru değil, bir bilgi eksikliğiydi.
Geriye ne kalıyor: çok daha dar ama gerçekten uygulanabilir bir sonuç
Kanıtın taşıyabileceği iddia şudur: kendi yetkinliğinize dair öz-değerlendirmeniz, üzerine karar kurulacak kadar güvenilir bir sinyal değildir. Bu, “cahiller kendini bilmez”den çok daha az tatmin edici, ama çok daha savunulabilir ve gündelik hayatta çok daha yararlı, çünkü ilk kez sizi de kapsıyor.
Bu ayrım, ayırt etme açığı üzerine analizimizin bulduğu örüntüyle birebir örtüşüyor: insanlar yapay zeka üretimi metni tanımada uzman olsun olmasın başarısız oluyor ve emin olanlar biraz daha sık yanılıyor. Aynı ders, farklı alan.
Tablo 2. Öz-değerlendirmenin zayıf olduğu kabul edildiğinde ne yapılır
| Adım | Ne yapmalı | Gerekçe | Durum |
|---|---|---|---|
| 1. Yetkinlik iddiasını dış ölçüme bağlayın | “İyiyim” yerine “şu testte şu sonucu aldım” deyin | Öz-değerlendirme ile nesnel ölçüm arasındaki ilişki üç çalışmada tutarsız | Kanıta dayalı yön |
| 2. Etiketi başkasına değil kendinize uygulayın | Dunning-Kruger’ı bir tartışma silahı olarak kullanmayı bırakın | Bulgu grup düzeyindedir; bireysel teşhis desteklenmez | Kanıta dayalı |
| 3. Güveni bir sinyal değil, bir uyarı sayın | Kesinliğiniz arttığında kontrolü artırın, azaltmayın | Bir çalışmada güven doğrulukla anlamlı negatif ilişkiliydi; hiçbirinde güvenilir pozitif sinyal değil | Kanıta dayalı, yineleme çekincesiyle |
| 4. Kalibrasyonu ölçün, tahmin etmeyin | Kararlarınızı ve tahminlerinizi yazın, sonucu geriye dönük kontrol edin | Bu yazıda anılan hiçbir kaynak bu pratiği ölçmedi | CEOtudent konvansiyonu |
| 5. Beceriyi artırarak farkındalığı artırın | Bir alanda kendinizi daha iyi değerlendirmek istiyorsanız o alanda daha yetkin olun | Orijinal makale, becerileri geliştirmenin sınırları tanımayı kolaylaştırdığını bildirdi | Kanıta dayalı |
CEOtudent editöryel çerçevesi. 1-3 ve 5. adımlar anılan çalışmaların bildirdiği bulguları yeniden ifade eder. 4. adım kasıtlı olarak konvansiyon diye etiketlenmiştir; hiçbir kaynak onu ölçmemiştir.
Dördüncü adımın somut hali için karar günlüğü protokolümüz tam olarak bu işi yapar: tahmini karar anında kaydeder, böylece kalibrasyon sonradan hatırlanan bir şey olmaktan çıkıp ölçülen bir şeye dönüşür. Aynı disiplinin bir başka uygulaması, sektörünüz hakkında bildiklerinizi denetlemek üzerine yazımızda anlatılıyor.
CEO ve öğrenci lensi
Bu konudaki gerginlik nettir. Bir yönetici karar verirken kesinlik göstermek zorundadır; kararsızlık organizasyonu felç eder. Bir öğrenci ise kesinliğini sürekli sınamak zorundadır; yoksa öğrenmez.
Kanıtın söylediği şey, bu ikisinin aynı anda mümkün olduğu: dışarıya karşı kararlı, içeriye karşı kalibre. Kesinliğin dışa vurumu bir iletişim aracıdır. Kesinliğin kendisi bir kanıt değildir. Bu ikisini karıştıran yönetici, yanlış yönde hızlı gider.
SSS
Dunning-Kruger etkisi yanlış mı çıktı?
Hayır, ama iddia zayıfladı. 1999 çalışmasının bulgusu gerçekti; itiraz, o bulguyu üreten yöntemin ortalamanın-üstü etkisi ve ortalamaya gerileme ile karıştığı yönünde. 929 katılımcıyla geçerli testler uygulandığında hipotezin öngördüğü örüntü bulunamadı. Yazarların kendi ifadesi, etkinin bazı beceriler için makul olabileceği ama büyüklüğünün çok daha küçük olabileceği yönünde.
Bu, kendini bilmeyen insanların olmadığı anlamına mı geliyor?
Hayır. Öz-değerlendirmenin performansı kötü izlediği, kanıtın desteklediği bir gerçek. Desteklenmeyen şey, bu hatanın özellikle beceriksizlere özgü olduğu ve bir kişide teşhis edilebileceği iddiası.
En yetkinler gerçekten kendini küçümser mi?
Bu, aynı istatistiksel itirazın hedefindeki kısımdır. Uç ölçümlerde en üstte olanların ikinci ölçümde ortalamaya doğru kayması, ortalamaya gerilemenin beklenen sonucudur ve alçakgönüllülük gerektirmez.
Öz-değerlendirmemi nasıl iyileştiririm?
İki yol var ve ikisi de kanıtlı. Orijinal makale beceriyi artırmanın farkındalığı artırdığını bildirdi. Ayrıca öz-değerlendirmeyi dış ölçümle değiştirmek, güvenilirliği bilinmeyen bir sinyali bilinen bir sinyalle değiştirir.
Kaç yüzdelik puanlık sapmadan bahsediyoruz?
Orijinal çalışmada en alt çeyrek için 12. yüzdelik ile 62. yüzdelik tahmini arasında yaklaşık 50 yüzdelik puanlık bir fark vardı. Bu rakam 1999 makalesinin bildirdiği haliyle doğrudur; tartışılan şey rakam değil, onu üreten yöntemin yorumudur.
Kaynakça
Kruger ve Dunning. Unskilled and unaware of it: how difficulties in recognizing one’s own incompetence lead to inflated self-assessments. Journal of Personality and Social Psychology, 1999.
Gignac ve Zajenkowski. The Dunning-Kruger effect is (mostly) a statistical artefact: Valid approaches to testing the hypothesis with individual differences data. Intelligence, 2020.
Hiller. Comment on Gignac and Zajenkowski. Intelligence, 2023. Yalnızca varlığı ve künyesi doğrulanmıştır; argümanına bu yazı için erişilememiştir.
Porter ve Machery. AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports.
Jones ve Bergen. Large Language Models Pass the Turing Test. arXiv ön baskısı, Computation and Language.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
This post is also available in:
