TL;DR: “Bu yapay zeka yanıtına güvenmeli miyim?” bugün insanların gün içinde verdiği en yaygın kararlardan biri ve çoğu insan bunu kötü verir: ya makinenin söylediği her şeyi kabul eder ya da refleksle reddeder. İkisi de birer kalibrasyon hatasıdır. İnsan-otomasyon etkileşimi üzerine onlarca yıllık araştırma iki ucu tanımlar: aşırı güven, yani insanların yanlış olduğunda bile otomatik çıktıyı denetlemeden kabul etmesi; ve düşük güven, yani bir kez hata yaptı diye iyi otomatik tavsiyeyi reddetmeleri. Geliştirilmeye değer beceri daha fazla ya da daha az güven değildir; kalibre edilmiş güvendir, yani bir öneriye ne kadar dayandığınızı onun o durumda gerçekte ne kadar güvenilir olduğuyla eşleştirmektir. Bu yazı araştırmayı işleyen bir Güven Kalibrasyon Matrisi’ne dönüştürür: herhangi bir yapay zeka önerisini üç özelliğe göre derecelendirir, riskler, geri alınabilirlik ve doğrulamanın ne kadar kolay olduğu, ve bunu net bir kabul et, doğrula ya da geçersiz kıl kararına çevirir. Güvene bir CEO’nun yetki devrine yaklaştığı gibi yaklaşın; dezavantajın sınırlı olduğu yerde verin, yanlış bir kararın pahalı ve geri alınması zor olduğu yerde esirgeyin ve makineyi dünyaya karşı sınama öğrenci disiplinini koruyun.
Bir yapay zeka sistemi size her yanıt, öneri, özet, taslak ya da teşhis verdiğinde, hızlı ve çoğunlukla görünmez bir karar verirsiniz: ona ne kadar inanacağınızı. Bu kararı tutarlı biçimde doğru verin, yapay zeka gerçek bir çarpan olur. Yanlış verin, yakalayamadığınız hataların kendinden emin bir kaynağı olur. Araştırmanın rahatsız edici bulgusu, çoğu insanın tam da bu kararda kötü olduğu ve zeki olmanın sizi otomatik olarak bunda iyi yapmadığıdır. Kalibrasyon başlı başına bir beceridir.
Bunun zor olmasının sebebi, yapay zekanın özellikle kaygan bir biçimde başarısız olmasıdır. Açıkça yanlış olan bir araca güvenmemek kolay olurdu. Modern sistemler genellikle, çoğu zaman etkileyici biçimde doğrudur ve sonra ara sıra tam olarak aynı akıcı özgüvenle yanlıştır. Bu karışım insan muhakemesi için mümkün olan en kötü eğitim ortamıdır, çünkü size tam da tetikte olmanız gerektiğinde gevşemeyi öğretir. Bu yüzden ne zaman güveneceğinizi öğrenmek yapay zeka hakkındaki genel görüşünüzle ilgili değildir. Her durumu doğru okumakla ilgilidir.
Güveni yanlış kurmanın iki yolu
İnsanların otomasyonla nasıl etkileşime girdiğini inceleyen araştırmacılar sorunu uzun süredir iki başarısızlık modu arasında bir denge olarak çerçeveler ve bu çerçeve modern yapay zekadan onlarca yıl öncesine dayanır. İnsan ve otomasyona dair temel çözümlemelerinde Parasuraman ve Riley, operatörlerin otomasyonu hem yanlış kullanabileceğini (kullanmamaları gerekirken dayanmak) hem de kullanmayabileceğini (kullanmaları gerekirken reddetmek) anlatmıştır. Yanlış kullanım, alanın otomasyon önyargısı ve gevşeklik dediği şeyle sürüklenir: otomatik bir sistemin çıktısını yalnızca sistemden geldiği için doğru kabul etme eğilimi, kısmen onu kabul etmek en az bilişsel çabanın yolu olduğu için.
Aşırı güven daha ünlü başarısızlıktır ve yapay zeka çağında daha tehlikeli olandır. Kendinden emin bir yanıtı denetlemeden kabul etmek, kendi bilginizle çelişen bir öneriye göre hareket etmek ya da makine “genelde doğru yapıyor” diye doğrulamayı atlamak olarak görünür. Büyük dil modelleri üzerine güncel araştırma buna güncellenmiş bir ad ve daha keskin bir kenar vermiştir. Bu sistemler yanlışken bile akıcı, ikna edici yanıtlar ürettiği için kullanıcılar aşırı dayanmaya eğilimlidir; araştırmacılar bunu ihmal hatalarına (bir yanıtı doğrulamamak) ve icra hatalarına (bildiğinizle çelişse bile bir yanıta göre hareket etmek) ayırır. Dikkat çekici biçimde, çalışmalar açıklama eklemenin hem doğru hem yanlış yanıtlara olan dayanmayı artırdığını bulmuştur; bu da yapay zekayı daha güvenilir hissettiren özelliğin sizi daha az ayırt edici yapabileceği anlamına gelir.
Düşük güven daha sessiz başarısızlıktır ve kendi araştırma soyağacı vardır. Dietvorst ve meslektaşları, algoritma aversiyonu dedikleri şeyi belgelemiştir: bir algoritmanın hata yaptığını gördükten sonra insanlar, algoritma hâlâ daha iyi bahis olsa bile, onu aynı hatayı yapan bir insanı terk edeceğinden daha hızlı terk eder. Ayna görüntüsü de vardır. Logg ve meslektaşları algoritma takdirini bulmuştur: insanların herhangi bir hata görmeden önce algoritmik tavsiyeyi insan tavsiyesine tercih etme eğilimi. Bir araya konduğunda tablo, insanların yapay zekaya basitçe taraftar ya da karşı olması değildir. Güvenin ince kanıtla salındığı, tek bir görünür hatadan sonra çöktüğü ve sessiz başarılar dizisinden sonra şiştiği, oysa kalibre edilmiş güvenin yavaş ve gerçek sicille orantılı hareket etmesi gerektiğidir.
Güveninizi belirlemesi gereken üç özellik
Ne toptan güven ne de toptan şüphe doğruysa, pratik soru şu olur: gerçekte neye bakmalısınız? Yapay zekanın değil, kararın üç özelliği işin çoğunu yapar. Bu bir CEOtudent editöryel çerçevesidir; ölçülmüş bir sonuç değil, bir karar aracı olarak sunulur.
Birincisi risktir. Yanlış bir yanıt ne kadar pahalıya patlar? Sıradan bir notta yanlış hatırlanan bir tarih önemsizdir; bir sözleşmede, bir tıbbi kararda ya da kamuya açık bir açıklamada yanlış bir rakam değildir. Yüksek riskler, yapay zeka ne kadar kendinden emin görünürse görünsün doğrulama eşiğinizi yükseltmelidir.
İkincisi geri alınabilirliktir. Öneri yanlış çıkarsa onu ne kadar kolay geri alabilirsiniz? Zaten düzelteceğiniz bir taslak tamamen geri alınabilir; gönderilmiş bir e-posta, yayımlanmış bir paylaşım, silinmiş bir dosya ya da yapılmış bir finansal hamle değildir. Geri alınamaz eylemler orta riskte bile doğrulamayı hak eder, çünkü sonradan ucuz bir düzeltme yoktur.
Üçüncüsü doğrulanabilirliktir. Yanıtı bağımsız bir kaynağa karşı ne kadar kolay kontrol edebilirsiniz? Tek aramada doğrulayabileceğiniz olgusal bir iddia ucuzdur; ince bir muhakeme, birçok kaynak arasında bir sentez ya da değerlendiremeyeceğiniz bir alandaki bir iddia pahalı ya da imkânsızdır. Düşük doğrulanabilirlik bir uyarı işaretidir, çünkü akıcı bir yanlış yanıtın tam da fark edilmeden geçebileceği yerdir.
Güven Kalibrasyon Matrisi
Aşağıdaki matris o üç özelliği işleyen bir karara birleştirir. Bir CEOtudent editöryel çerçevesidir, bir laboratuvar bulgusu değil: “buna güvenmeli miyim?” sorusunu somut bir kabul et, doğrula ya da geçersiz kıl kararına çevirmenin bir yolu. Durumunuzu en yakın satıra oturtun.
| Durum profili | Risk | Geri alınabilirlik | Doğrulanabilirlik | Kalibre edilmiş yanıt |
|---|---|---|---|---|
| Beyin fırtınası, ilk taslaklar, düşük riskli fikirler | Düşük | Geri alınabilir | Herhangi | Kabul et, yol boyunca düzelt |
| Hızla doğrulayabileceğiniz olgusal aramalar | Düşük-orta | Geri alınabilir | Yüksek | Kabul et, sonra nokta kontrol yap |
| Gerçek bir kararı besleyen özetler | Orta | Yarı geri alınabilir | Orta | Kilit iddiaları kaynağında doğrula |
| Sayılar, alıntılar, atıflar, isimler | Orta-yüksek | Değişken | Yüksek | Kullanmadan önce her birini doğrula |
| Yayımlayacağınız ya da göndereceğiniz her şey | Orta-yüksek | Geri alınamaz | Orta | Doğrula, sonra desteksizmiş gibi gözden geçir |
| Yüksek riskli, düşük doğrulanabilirlikli muhakeme | Yüksek | Geri alınamaz | Düşük | Geçersiz kıl ya da bir insan uzmana danış |
| Kişisel olarak değerlendiremeyeceğiniz alanlar | Yüksek | Herhangi | Düşük | Yapay zekayı karar verici olarak kullanma |
Matristeki örüntü dersin tamamıdır. Dezavantaj küçük, eylem geri alınabilir ve kontrol ucuz olduğunda güven yükselir, tam da yetki devrinin güvenli olduğu koşullarda. Yanlış bir karar pahalı, geri alması zor ve tespit etmesi zor olduğunda güven düşer, tam da kendinden emin bir makinenin en tehlikeli olduğu yerde. Yapay zekanın kendi özgüveninin tabloda hiçbir yerde görünmediğine dikkat edin. Bu bilinçlidir. Akıcılık ve kesinlik çıktının özellikleridir, doğruluğunun kanıtı değil; onları kanıt saymak aşırı güvenin temel mekanizmasıdır.
Kalibrasyonu bir beceri olarak inşa etmek
Kalibre edilmiş güven öğrenilebilir ve birkaç alışkanlık işin çoğunu yapar. Birincisi, yapay zekanın özgüvenini doğruluğundan kalıcı olarak ayırmaktır. İyi yazılmış yanlış bir yanıt ile iyi yazılmış doğru bir yanıt aynı görünür; bu yüzden doğrulamanızı tonu değil durum belirlesin. Bu, gerçek muhakemeyi dışarıya devredilmiş muhakemeden ayıran aynı disiplindir; bunu yargı ekonomisi ve uzman-sezgisi araştırmasından iyi muhakeme geliştirme rehberimizde geliştiriyoruz.
İkinci alışkanlık toplu değil, orantılı doğrulamaktır. Her şeyi doğrulamak yorucudur ve size durmayı öğretir; hiçbir şeyi doğrulamamak hataların sevk edilme biçimidir. Matris, kıt kontrol çabanızı sonuçları değiştirdiği yere, yüksek riskli, geri alınamaz, düşük doğrulanabilirlikli kararlara harcayabilesiniz ve geri alınabilir, düşük riskli olanlarda gevşeyebilesiniz diye vardır. Dikkati nereye harcayacağınıza karar vermek başlı başına sistematikleştirmeye değer bir karardır; bu yüzden onu daha geniş bir kişisel karar yığını ve kesinliklerle değil bahis gibi düşünmenin bir parçası olarak ele alıyoruz.
Üçüncü alışkanlık, en başta hataları yakalamanızı sağlayan bilgiyi korumaktır. Aşırı dayanmanın yavaş bir bedeli vardır: muhakemeyi bir sisteme ne kadar devrederseniz, o kadar yanlış olduğunu fark etme yetiniz azalır; bu da araştırmanın anlattığı icra hatalarının riskini sessizce yükseltir. Bazı becerileri keskin tutmak nostalji değildir; kalibrasyonu mümkün kılan şeydir, bunu bilişsel boşaltım ve beyninize ne yaptığı yazımızda ayrıntılı olarak ortaya koyuyoruz. Her şeyi devreden ve hiçbir şey anlamayan CEO iyi bir raporu kötüsünden ayıramaz; aynı tuzak, düşünmenizi bir modele devretmek için de geçerlidir.
Akılda tutulmaya değer yeniden çerçeveleme, “yapay zekaya güvenmeli miyim?”in yanlış soru olduğudur, çünkü dürüst yanıt bir işlevken bir hüküm ister. Ona tam olarak, o belirli kararın riskleri, geri alınabilirliği ve doğrulanabilirliğinin hak ettiği kadar güvenmelisiniz, ne fazla ne az. Bu ayarı, hangi kararların devredileceğini ve hangilerinin tutulacağını bilen bir CEO gibi bilinçle yapın ve bahse girmeden önce makineyi gerçeğe karşı sınama öğrenci alışkanlığını koruyun. Bu yapay zekaya güvensizlik değildir. Genellikle doğru ve ara sıra, ikna edici biçimde yanlış olan bir aracın tam değerini almanın tek yoludur.
Sıkça sorulan sorular
Yapay zekaya daha çok mu yoksa daha az mı güvenmek daha iyi? İkisi de değil. Hedef, dayanmanızı o belirli durumdaki çıktının güvenilirliğiyle eşleştiren kalibre edilmiş güvendir. Hem aşırı güven hem düşük güven belgelenmiş başarısızlık modlarıdır ve araştırma her şey için sabit bir düzey önermez.
Yapay zeka genelde doğruysa aşırı güven neden tehlikeli? Çünkü “genelde doğru” gevşekliği öğretir ve ara sıra gelen yanlış yanıt, doğrularla aynı akıcı özgüvenle gelir. Aşırı dayanma üzerine araştırma, insanların tam da çıktı ikna edici hissettirdiği için ihmal hataları (doğrulamama) ve icra hataları (kendi bilgisine karşı hareket etme) yaptığını gösterir.
Yapay zekanın kendinden emin görünmesi daha büyük olasılıkla doğru olduğu anlamına mı gelir? Hayır. Özgüven ve akıcılık yanıtın nasıl yazıldığının özellikleridir, doğru olduğunun kanıtı değil. Çalışmalar eklenen açıklamaların yanlış yanıtlara olan dayanmayı doğrular kadar artırabildiğini gösterir; bu yüzden özgüveni tarafsız bir bilgi olarak görün.
Bir kararda yapay zekayı ne zaman hiç kullanmamalıyım? Riskler yüksek, eylem geri alınması zor ve yanıtı doğrulayamadığınızda, özellikle kişisel olarak değerlendiremeyeceğiniz bir alanda. Matrisin o köşesinde kalibre edilmiş yanıt, öneriyi geçersiz kılmak ya da nitelikli bir insanı devreye sokmaktır.
Bu beceriyi gerçekte nasıl inşa ederim? Üç alışkanlığı uygulayın: yapay zekanın özgüvenini doğruluğundan ayırın, her şeyi ya da hiçbir şeyi değil, riske ve geri alınabilirliğe orantılı doğrulayın ve hataları yakalayacak kadar kendi bilginizi keskin tutun. Kalibrasyon, yukarıdaki matris gibi bir kuralın bilinçli kullanımıyla gelişir.
Kaynakça
- Parasuraman, R. ve Riley, V., “Humans and Automation: Use, Misuse, Disuse, Abuse,” Human Factors; otomasyon önyargısı ve gevşeklik üzerine temel çözümleme.
- Dietvorst, B., Simmons, J. ve Massey, C., Journal of Experimental Psychology: General’de algoritma aversiyonu üzerine araştırma.
- Logg, J., Minson, J. ve Moore, D., “Algorithm Appreciation: People Prefer Algorithmic to Human Judgment,” Organizational Behavior and Human Decision Processes.
- Büyük dil modellerine uygun dayanma üzerine hakemli insan-bilgisayar etkileşimi araştırması; açıklamaların, kaynakların ve tutarsızlıkların güvene etkisi dâhil (CHI Konferansı bildirileri).
- Yapay zeka destekli karar vermede aşırı dayanma ile ihmal ve icra hataları üzerine araştırma.
- Daha büyük, daha yetenekli dil modellerinin kendinden emin ama yanlış yanıtlar üretebildiğini gösteren çalışmalar.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
This post is also available in:
