TL;DR: “Döngüde bir insan bulundurun”, yapay zeka ajanlarıyla ilgili her soruya verilen standart cevap hâline geldi ve bu bir cevap değil. Bir döngünün bir biçimi vardır: insanın nerede durduğu, ona ne gösterildiği, neyi durdurabildiği ve bir şeyi kaçırdığında ne olduğu. Kamuya açık ölçümler, tahmin yürütmek yerine bu biçimi tasarlamanıza imkân veriyor. METR’in zaman ufku çalışması, bir ajanın yüzde 80 başarıyla tamamlayabildiği görev uzunluğunun yüzde 50’dekinden kabaca beş kat kısa olduğunu, örneklemindeki en güçlü modelde bunun 59 dakikaya karşı 15 dakika anlamına geldiğini ve her iki ufkun da aşağı yukarı aynı hızda, yaklaşık yedi ayda bir ikiye katlandığını buluyor. tau-bench kıyaslaması, son teknoloji fonksiyon çağıran ajanlarda tek deneme başarısını yüzde 50’nin, sekiz deneme tutarlılığını yüzde 25’in altında ölçtü; bu, rastgele deneme başına başarısızlığın üreteceğinden çok yüksek bir rakam ve hataların belirli görevlerde yoğunlaştığı anlamına geliyor. Bu iki bulguya AB Yapay Zeka Yasası’nın 14. maddesi ve otomasyon yanlılığı literatürü eklendiğinde, yazı iki soruya dayalı bir yerleşim matrisi kuruyor: geri almak ne kadar pahalı ve yanlış giderse fark eder miydiniz?
Şu anda profesyonel işte tekrar eden belirli bir an var. Bir ajan çalışıyor, kendinden emin bir çıktı bloğu üretiyor ve bir insan ona on bir saniye bakıp onaylıyor. O anda hiçbir şey bir kontrol noktası değil. Gözetimin biçimine sahip, işlevine değil ve bunu yapan kişi genellikle bunu biliyor.
Bunu daha dikkatli bakarak düzeltme içgüdüsü yanlış, çünkü sorun dikkat değil. Yerleşim. Yanlış konumdaki bir kontrol noktası aynı dikkati harcar ve hiçbir şey yakalamaz.
Güvenilirlik verisi gerçekte ne diyor?
Burada işin çoğunu iki ölçüm yapıyor ve hiçbiri modellerin ne kadar zeki olduğuyla ilgili değil.
Birincisi METR’in zaman ufku araştırması; alışılmadık ölçüde pratik bir soru soruyor: bir modelin belirli bir başarı oranında tamamlayabildiği görev, uzman bir insanın yapmasının ne kadar sürdüğüyle ölçüldüğünde, ne kadar uzun olabilir? 2019 ile 2025 arasında yayımlanan modeller genelinde yüzde 50 zaman ufku, yaklaşık yedi aylık bir ikiye katlanma süresiyle üstel olarak büyüdü. Bu manşet sürekli alıntılanıyor. Kontrol noktası tasarımı için önemli olan kısım neredeyse hiç alıntılanmıyor.
METR ufku bir de yüzde 80 başarı için hesapladı. İkiye katlanma süresi neredeyse aynı, yüzde 50 ufkunun 212 gününe karşı 213 gün; yani sorun büyüme hızı değil. Sorun seviyeler. METR’in ifadesiyle, incelenen modeller genelinde yüksek güvenilirlik eşiğindeki ufuklar yaklaşık beş kat daha kısa; örneklemdeki en uzun yüzde 80 ufkuna sahip model olan Claude 3.7 Sonnet ise 59 dakikalık yüzde 50 ufkuna karşılık yaklaşık 15 dakikada kaldı; o model için dört kata biraz eksik bir fark.
| Ölçüm (METR, 2019-2025 arasında yayımlanan modeller) | Yüzde 50 başarı oranı | Yüzde 80 başarı oranı |
|---|---|---|
| Örneklemdeki en uzun ufuk (Claude 3.7 Sonnet) | 59 dakika | yaklaşık 15 dakika |
| Önceki sınır modelleri (GPT-4, Claude 3 Opus), zor görev setinde | 5-30 dakika aralığı | Ayrıca raporlanmadı |
| Ufkun ikiye katlanma süresi | 212 gün | 213 gün |
| Çok yüksek başarı oranlarında ufuk, örneğin yüzde 95 | Ölçülmedi; METR mevcut veri setiyle bunu güvenle ölçemediğini belirtiyor | Ölçülmedi |
Doğrulanmış veri. Kaynak: METR, Measuring AI Ability to Complete Long Tasks, yüzde 50 ile yüzde 80 zaman ufuklarını karşılaştıran bölüm.
Son satırı dikkatle okuyun, çünkü tablodaki en yararlı satır o. Bir şeyi denetimsiz bırakmadan önce gerçekten isteyeceğiniz güvenilirlik düzeyinde bir ajanın ne kadar uzun bir görevi tamamlayabildiğine dair güvenilir bir ölçüm kimse yayımlamadı. Kanıtın dürüst durumu şu: yüksek güvenilirlikli ufuk uzun değil, ölçülmemiş.
İkinci ölçüm uzunluk değil tutarlılıkla ilgili. Yao, Shinn, Razavi ve Narasimhan tarafından kurulan tau-bench kıyaslaması, ajanları araç kullanmak, yazılı alan politikasına uymak ve simüle edilmiş bir kullanıcıyla konuşmak zorunda oldukları simüle perakende ve havayolu alanlarında değerlendiriyor. pass^k adlı bir metrik getirdi; bu metrik bir ajanın bir kez başarıp başaramadığını değil, aynı görevdeki k bağımsız denemenin hepsinde başarılı olup olmadığını soruyor. Makalenin bulgusu net: gpt-4o gibi son teknoloji fonksiyon çağıran ajanlar görevlerin yüzde 50’sinden azında başarılı oluyor ve perakende alanında pass^8 yüzde 25’in altına düşüyor.
pass^8’den kimsenin yapmadığı çıkarım
İki veri setinin arka plan olmayı bırakıp tasarım girdisine dönüştüğü yer burası.
Başarısızlıklar denemeden denemeye rastgele olsaydı, her denemede yüzde 50 şansı olan bir ajan görevlerin yaklaşık yüzde 0,4’ünde art arda sekiz kez başarılı olurdu. Bu, 0,5’in sekizinci kuvvetidir. Ölçülen rakam yüzde 25’in altında. Her iki kıyaslama rakamı da üst sınır olarak raporlandığı için kesin çarpan saptanamıyor, ama ölçülen tutarlılık rastgele deneme başına başarısızlığın üreteceğinin bir büyüklük mertebesinden fazla üzerinde.
| Başarısızlık modeli | Sekiz denemenin hepsini geçen görevlerin öngörülen payı | Ölçülen |
|---|---|---|
| Deneme başına bağımsız başarısızlık, tekdüze yüzde 50 şans | %0,4 | Uygulanamaz |
| tau-bench perakende, son teknoloji fonksiyon çağıran ajan | Uygulanamaz | %25’in altında |
CEOtudent editöryel çerçevesi: bağımsızlık rakamı, kıyaslamanın raporladığı tek deneme başarı oranından CEOtudent tarafından hesaplanmış ve kıyaslamanın raporladığı pass^8 sonucuyla karşılaştırılmıştır. Bulgu, iki sayıdan biri değil, aralarındaki farktır.
Fark size başarısızlıkların yapısını söylüyor. Gözlenen sekizde sekiz oranı bağımsızlık öngörüsüne yakın olsaydı, ajan hataları esasen gürültü olurdu ve doğru yanıt yedeklilik olurdu: iki kez çalıştır, karşılaştır. Öngörüye yakın değil. Görevlerin büyük bir bölümü her seferinde başarılı oluyor, büyük bir bölümü her seferinde başarısız oluyor. Değişkenlik çalıştırmada değil, görevde yaşıyor.
Bu tek yapısal olgu, bugün kullanılan en yaygın iki denetim stratejisini eliyor.
Rastgele nokta kontrolü yanlış, çünkü başarısızlıklar rastgele dağılmıyor. Karışık bir havuzdan her on çıktıdan birini örneklemek, güvenilir görevleri sürekli doğrularken güvenilmez olanların izlenmeden tutarlı biçimde başarısız olmasına izin verir.
İki kez çalıştırıp karşılaştırmak da aynı nedenle yanlış. Ajanın tutarlı biçimde başarısız olduğu bir görev, kendinden emin, birbiriyle uyumlu ve yanlış iki cevap üretir. Başarısızlık biçimi göreve özgü olduğunda iki çalıştırma arasındaki uyum kanıt değildir.
Yapının gerektirdiği şey bunun yerine sınıflandırma. Hangi görevlerin güvenilir havuza ait olduğunu, hangilerinin olmadığını bilmek zorundasınız ve bunu bilmenin tek yolu ölçmüş olmak; bu da devretme tavanı yazısında anlatılan disiplin. Kontrol noktası örneğe değil, sınıfa konur.
Bir kontrol noktası nereye ait: iki soru, dört cevap
Yukarıdakilerin hepsi tek bir yerleşim kuralına daralıyor. Bir görevin iki özelliği insanın nerede duracağını belirler ve hiçbiri görevin ne kadar zor olduğuyla ilgili değildir.
Birincisi geri alınabilirlik: geri almak ne kadar pahalı? İkincisi fark edilebilirlik: ajan yanlış yaptıysa hata kendini duyurur mu, yoksa altı hafta boyunca bir hesap tablosunda sessizce oturur mu?
| Hata bariz | Hata sessiz | |
|---|---|---|
| Geri alması ucuz | Serbest çalıştır. Kontrol noktası yok. Fark edince düzelt, çünkü fark etmek garanti ve düzeltme ucuz. Taslak yazma, keşif amaçlı arama, ana hat çıkarma, ilk özetler. | Örnekle ve puanla. Rastgele değil, tanımlı bir görev sınıfı üzerinde, yazılı bir puanlama kuralıyla sabit oranlı inceleme. Veri çıkarma, etiketleme, kategorilendirme, deşifre. |
| Geri alması pahalı | Taahhütten hemen önce kapı. Geri döndürülemez adımın hemen öncesinde tek bir zorunlu onay; zincirin başında değil. Yayımlama, gönderme, sunma, birleştirme. | Önceden yetkilendir ve bağımsız doğrula. İzin verilen eylem kümesini çalıştırmadan önce tanımlayın ve sonucu ajanın kendi özeti olmayan bir kaynağa karşı doğrulayın. Finansal kayıtlar, dış taahhütler, silmeler, başka bir tarafın kaydına dokunan her şey. |
CEOtudent Kontrol Noktası Yerleşim Matrisi. Editöryel çerçevedir. Geri alınabilirlik ekseni standart karar teorisi pratiğidir; fark edilebilirlik ekseni ve dört yerleşim CEOtudent’ın kurgusudur.
Bu matrisle ilgili üç şeyi açıkça söylemek gerekiyor, çünkü insanların yanıldığı yerler bunlar.
Sol alt hücre kapının geri döndürülemez adımın hemen öncesine konduğunu söylüyor ve o “hemen” kelimesi yük taşıyor. Gözetim diye geçen şeylerin büyük bölümü, bir zincirin başında bir plana konan onaydır; ardından o plan denetimsiz yürütülür. Planı onaylamak sonuç üzerinde bir kontrol noktası değildir. An, taahhüt anıdır; kontrol noktası oraya aittir.
Sağ üst hücre neredeyse herkesin ihmal ettiği hücre. Geri alması ucuz işteki sessiz hatalar zararsız hissettirir; tam da bu yüzden birikirler. Yanlış sınıflandırılmış bir satır o gün hiçbir şeye mal olmaz, toplama bakılarak karar verilen çeyrekte her şeye mal olur.
Sağ alt hücre matristeki ikinci bir kaynak gerektiren tek talimatı içeriyor. Ajana görevi doğru yapıp yapmadığını sormak doğrulama değildir; başarısızlıktan kendi kendini notlandırmasını istemektir. Ajanın kendi çalıştırmasına dair özeti, çalıştırmayı üreten süreçle aynı süreç tarafından üretilir.
Düzenlemeden ödünç alınmaya değer gözetim yapısı
Çoğu bireysel iş akışının hiç düşünmediği bir sorunu çözen bir metin var ve hukukta duruyor.
Avrupa Birliği Yapay Zeka Yasası’nın 14. maddesi, yüksek riskli yapay zeka sistemleri için insan gözetimi gereklerini ortaya koyuyor. Bu sistemlerin sağlayıcı ve uygulayıcılarını bağlar, sohbet botu kullanan bireyleri değil ve bu yazı aksini iddia etmiyor. Yine de okumaya değer kılan şey şu: “bir insan çıktıyı incelemelidir” demiyor. Gözetimi yapan kişinin sahip olabilmesi gereken beş ayrı yetkinliği belirtiyor ve bu beş yetkinlik sıradan ajan çalışmasının başarısızlık biçimleriyle temiz biçimde eşleşiyor.
| 14(4). maddedeki yüksek riskli yapay zeka sistemi gereği | Bireysel ajan iş akışına çevirisi |
|---|---|
| (a) Sistemin kapasite ve sınırlarını gereğince anlamak ve işleyişini izlemek; anormallikleri, işlev bozukluklarını ve beklenmeyen performansı tespit etmek dahil | Ajanınızın hangi görev sınıflarında başarısız olduğuna dair yazılı bir kayıt tutun. O kayıt olmadan sınıflandırma yapamazsınız, sınıflandırma olmadan yukarıdaki matris kullanılamaz. |
| (b) Çıktıya otomatik olarak güvenme ya da aşırı güvenme eğiliminin farkında kalmak | Yeterince kontrol etmeyeceğinizi varsayın. Kontrolü, o anki takdire bırakılan bir şey değil, mekanik ve programlı hâle getirin. |
| (c) Mevcut yorumlama araç ve yöntemlerini dikkate alarak sistemin çıktısını doğru yorumlamak | Sonuç değil, ara adımlar ve kaynaklar isteyin. İzini süremediğiniz bir cevap, kontrol edemediğiniz bir cevaptır. |
| (d) Sistemi kullanmamaya karar vermek ya da çıktıyı dikkate almamak, geçersiz kılmak veya geri almak | Ajanın denetimsiz olarak asla yapamayacağı eylemlerin yazılı bir listesini tutun. Yalnızca kafanızda yaşayan bir sınır, sınır değildir. |
| (e) Sistemi bir durdurma düğmesi veya benzeri bir prosedürle, güvenli bir durumda durmasına imkân verecek şekilde kesintiye uğratmak | Başlamadan önce “güvenli biçimde durdu”nun ne demek olduğunu tanımlayın. Çalıştırmayı dördüncü dakikada keserseniz hangi durum geri kazanılabilir kalmalı? |
Sol sütun 2024/1689 sayılı Tüzüğün 14(4). maddesinden özü itibarıyla aktarılmış doğrulanmış düzenleme metnidir. Sağ sütun CEOtudent’ın editöryel çevirisidir ve hiçbir hukuki niteliği yoktur.
(e) maddesi bireysel iş akışlarının sistematik olarak eksik bıraktığı madde. Çoğu insan bir ajanı durdurabilir. Durdurduğunda işin hangi durumda olması gerektiğine önceden karar vermiş olanlar çok daha az. Ajanınız 400 dosyayı yeniden adlandırmanın yarısındayken onu kesiyorsanız, bunun geri kazanılabilir olup olmadığı sorusu düğmeye bastığınızda değil, başlamadan önce karara bağlanmıştı.
Aynı yapısal içgüdü, Ulusal Standartlar ve Teknoloji Enstitüsü’nün Yapay Zeka Risk Yönetimi Çerçevesi’nde de görülüyor; risk çalışmasını tek bir inceleme adımına değil dört işleve ayırıyor: yönetişim, haritalama, ölçme ve yönetme. Her iki belgedeki ortak damar şu: gözetim, sonda gösterilen bir dikkat eylemi değil, önceden karara bağlanan bir sistem özelliğidir.
Var olan bir kontrol noktası neden yine de başarısız olabilir?
Yerleşim gerekli ama yeterli değil ve bunun kanıtı mevcut araç kuşağından on yıldan fazla eski.
Goddard, Roudsari ve Wyatt 2012’de Journal of the American Medical Informatics Association’da otomasyon yanlılığı üzerine sistematik bir derleme yayımladı; otomasyon yanlılığını otomasyona aşırı güvenme eğilimi olarak tanımlıyorlar. 13.821 makale taradılar, 74’ünü dahil ettiler. Derleme klinik karar desteğiyle ilgili, ama yapısal bulguları doğrudan aktarılabilir; çünkü mekanizma tıpla değil, makineleri denetleyen insanlarla ilgili.
Sonuçlarından ikisi kontrol noktasını nasıl kuracağınızı değiştirmeli.
Birincisi, otomasyon yanlılığını neyin kötüleştirdiği. Derleme, bilişsel kaynakları baskı altına aldığını belirttiği iş yükü, görev karmaşıklığı ve zaman kısıtı gibi çevresel aracıları tespit etti. On bir saniyelik onayın pratik sebebi budur. Haftanızın en yoğun saatine yerleştirilmiş bir kontrol noktası, başarısız olacak şekilde tasarlanmış bir kontrol noktasıdır ve dikkatli bakma niyeti yapısal bir zaman kısıtını düzeltmez.
İkincisi, onu neyin hafiflettiği. Derlemenin tespit ettiği hafifleticiler arasında eğitim ve kullanıcı sorumluluğunun vurgulanması gibi uygulama etkenleri ile tavsiyenin ekrandaki konumu, çıktıya iliştirilen güncellenmiş güven düzeyleri ve tavsiye yerine bilgi sunulması gibi tasarım etkenleri vardı.
Bu son madde tüm derlemedeki en uygulanabilir satır. Tavsiye yerine bilgi. Size bir tavsiye uzatan sistem onayı davet eder; size kanıtı uzatan sistem bir karar gerektirir. Ajan pratiğine çevirisi: ajana, onaylamanız için bitmiş bir hüküm yerine ne bulduğunu ve ne yaptığını ara adımlarıyla birlikte döndürmesini söyleyin. Daha temiz görünen bir çıktı üreten prompt, daha zayıf bir kontrol noktası üretir. Bu, bir ajanı düzgün brifingleme işinin operasyonel çekirdeğidir ve mümkün olan en derli toplu cevabı isteme içgüdüsüne terstir.
Sorumluluk bulgusunu da aynı ölçüde harfi harfine almakta yarar var. Çalıştırma başlamadan önce kendi adınızı, sonuçtan sorumlu kişi olarak kayda yazın. Tiyatro gibi geliyor. Derleme işe yaradığını buldu.
Hepsini bir araya getirmek: örnek bir geçiş
Somut bir vaka alalım. Bir ajandan 300 tedarikçi faturasını geçmesi, tutar ve tarihleri çıkarması, anormallikleri işaretlemesi ve bir takip sayfasını güncellemesi isteniyor.
Önce alt görevleri sınıflandırın, çünkü matris görev sınıfları üzerinde çalışır ve bu, tek bir palto giymiş dört görevdir.
Tutar ve tarih çıkarımı geri alması ucuz ve yanlış olduğunda sessizdir: sağ üst. Neyin doğru sayılacağına dair yazılı bir kuralla, sabit bir oranda örnekleyin ve puanlayın. Tüm parti genelinde rastgele değil, fatura formatına göre tabakalı; çünkü tau-bench yapısı başarısızlıkların görev tipine göre kümelendiğini öngörüyor ve burada görev tipi fatura formatıdır.
Anormallik işaretleme geri alması ucuz ve en azından yanlış-pozitif yönünde yanlış olduğunda barizdir: sol üst. Serbest çalıştırın. Yanlış bir işaret ona baktığınız anda ortaya çıkar. Yanlış-negatif yön sessizdir ve bu gerçek bir sınırlamadır; dürüst yanıt, işaretlemeyi bir kapsama olarak değil bir yardım olarak görmektir.
Takip sayfasını güncellemek geri alması pahalı ve sessizdir: sağ alt. İzin verilen işlemleri önceden yetkilendirin (yalnızca ekleme, üzerine yazma yok, silme yok) ve yazılan satırlardan bir örneklemi ajanın ne yazdığına dair raporuna karşı değil kaynak faturalara karşı doğrulayın.
Bir ödemeyi tetikleyen her şey sol alttadır ve yeterince barizdir: taahhütten hemen önce kapı, onayları toplu geçirmeden.
Bunun ne ürettiğine dikkat edin. Tek bir iş için dört farklı denetim rejimi; üçü her şeyi okumaktan ucuz, biri çoğu insanın şu an uyguladığından katı. Bu asimetri işin özü. Tekdüze inceleme aynı anda hem güvenli işte fazla pahalı hem de tehlikeli işte fazla zayıftır; yorucu hissettirip yine de hataların geçmesine izin vermesinin sebebi tam olarak budur.
Denetimsiz bloğu boyutlandırmak
METR rakamlarının son bir pratik sonucu.
İşin yüzde 80’e yakın bir güvenilirlikle denetimsiz çalışmasını istiyorsanız, ölçülen en güçlü model için yayımlanmış ufuk yaklaşık 15 dakikalık eşdeğer insan işiydi. Tasarımın etrafında kurulacağı birim budur: işi, denetimsiz hiçbir kesit aynı sistemin yazı tura güvenilirliğinde deneyebildiğinin kabaca dörtte birinden fazlasını temsil etmeyecek biçimde bölün.
Buna üç dürüst çekince eşlik ediyor. METR’in görevleri ağırlıklı olarak yazılım mühendisliği ve makine öğrenmesi araştırmasına eğimli, dolayısıyla rakamlar fatura işlemeye ya da e-postaya temiz biçimde aktarılamaz. Ufuklar kabaca yedi ayda bir ikiye katlanıyor, dolayısıyla herhangi bir dakika rakamının raf ömrü kısa. Ve METR, çok yüksek başarı oranlarındaki ufukları güvenle ölçemediğini açıkça belirtiyor; yani en çok isteyeceğiniz rakam, kimsenin sahip olmadığı rakam.
Üç çekinceden de sağ çıkan şey oran ve yönü. Talep edilen güvenilirlik yükseldikçe özerk kesitler çarpıcı biçimde kısalıyor ve iki ufuk aynı hızda iyileşiyor; yani aralarındaki fark kapanmıyor. Daha iyi modeller ajanların daha uzun çalışmasına izin verecek. Bu kanıta göre “genelde işe yarıyor” ile “kendi başına bırakılacak kadar güvenilir çalışıyor” arasındaki mesafeyi kapatmayacaklar. Kontrol noktası o mesafede yaşıyor ve bu mesafe geçici değil yapısal.
Bu da CEO ve öğrenci eşleşmesinin en birebir hâli. CEO, geri döndürülemez adımların nerede olduğuna ve bunlardan kimin sorumlu olduğuna önceden karar verir. Öğrenci başarısızlık kaydını güncel tutar, çünkü sınıflandırma ancak geçen ayki ölçümler kadar iyidir. İki yarım da diğeri olmadan işlemez ve hiçbir model iyileştirmesi bu işlerden birini sizin yerinize yapmaz.
Sıkça sorulan sorular
Bu yalnızca özerk ajan kullanıyorsam mı geçerli?
Hayır. Matris özerklik düzeyine değil geri alınabilirlik ve fark edilebilirliğe dayanıyor. Bir müşteri e-postasına yapıştırdığınız tek bir sohbet botu cevabı, geri alması pahalı ve hatası bariz bir görevdir; bu da denetimsiz bir şey çalışmış olsa da olmasa da onu taahhütten-önce-kapı hücresine koyar. Önemli olan ayrım, çıktının neye dokunduğudur, nasıl üretildiği değil. İlgili sınır sorusu hangi kararların devredileceği ve hangilerinin asla otomatikleştirilmeyeceği yazısında ele alınıyor.
Görevi iki kez çalıştırıp karşılaştırmak neden yeterli değil?
Çünkü tau-bench pass^8 sonucu, başarısızlıkların denemeler arasında rastgele dağılmak yerine göreve göre kümelendiğine işaret ediyor. Ajanın kötü idare ettiği bir görevin iki çalıştırması, birbirine benzeyen, kendinden emin ve yanlış iki cevap üretme eğiliminde olur. Çalıştırmalar arasındaki uyum, ancak başarısızlıklar bağımsızsa kanıttır ve ölçülen veri bağımsız olmadıklarını söylüyor.
AB Yapay Zeka Yasası’nın 14. maddesi bana uygulanır mı?
Yüksek riskli bir sistemin sağlayıcısına uygulandığı anlamda neredeyse kesinlikle hayır ve yazı böyle bir şey ima etmiyor. Burada, gözetimin neleri yapabilmesi gerektiğine dair iyi kaleme alınmış bir kontrol listesi olarak kullanılıyor; çünkü incelemeye genel geçer biçimde işaret etmek yerine beş belirli yetkinliği adlandırıyor. Yapıyı ödünç alın; uyumluluğu iddia etmeyin.
Örnekle-ve-puanla hücresinde ne kadarlık bir örneklem puanlamalıyım?
Derleme literatürü evrensel bir sayı vermiyor ve bir sayı uydurmak sahte kesinlik olurdu. Veriden çıkan tasarım kuralı büyüklükle değil tabakalamayla ilgili: tüm parti genelinde değil, görev sınıfları içinde örnekleyin; çünkü başarısızlıklar orada yoğunlaşıyor. Sınıf başına, tutarlı bir başarısızlığı tek seferlikten ayırt etmeye yetecek kadarla başlayın, sonra kendi başarısızlık kaydınıza göre ayarlayın.
Kontrol noktam sürekli hiçbir şey bulmuyorsa?
İki olasılık var ve farklı yanıtlar gerektiriyorlar. Ya o görev sınıfı gerçekten güvenilir, o hâlde onu matriste yukarı taşıyıp zamanı geri kazanın; ya da kontrol etmiyor, onaylıyorsunuz. Otomasyon yanlılığı derlemesi önce çevreyi işaret ediyor: incelemenin içinde gerçek zaman olan bir dilime yerleştirilip yerleştirilmediğini ve ajanın size yargılayacağınız kanıt yerine onaylayacağınız bir tavsiye uzatıp uzatmadığını kontrol edin.
Kaynakça
Thomas Kwa, Ben West, Joel Becker ve meslektaşları, Measuring AI Ability to Complete Long Tasks, METR, 2025; yüzde 50 ile yüzde 80 başarı oranlarındaki zaman ufuklarını karşılaştıran bölüm dahil.
Shunyu Yao, Noah Shinn, Pedram Razavi ve Karthik Narasimhan, tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains, 2024; pass^k güvenilirlik metriğini tanıtan çalışma.
Yapay zeka konusunda uyumlaştırılmış kurallar belirleyen 2024/1689 sayılı Avrupa Parlamentosu ve Konseyi Tüzüğü, insan gözetimine ilişkin 14. madde, özellikle 1, 2 ve 4. fıkralar.
Kate Goddard, Abdul Roudsari ve Jeremy C. Wyatt, Automation bias: a systematic review of frequency, effect mediators, and mitigators, Journal of the American Medical Informatics Association, cilt 19, sayı 1, 2012.
Ulusal Standartlar ve Teknoloji Enstitüsü, Artificial Intelligence Risk Management Framework 1.0, 2023 ve dört temel işlevi.
METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity, 2025 ve kurumun bu sonuca dair görüşünü gözden geçiren Şubat 2026 notu.
Amerika Birleşik Devletleri Sayım Bürosu, İş Eğilimleri ve Görünüm Anketi, Aralık 2025-Mayıs 2026 dönemini kapsayan yapay zeka kullanım tahminleri.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
