Özet. 16.340 yargı boyunca, uzman olmayan okurlar yapay zeka üretimi şiirleri %46,6 doğrulukla tanıdı; bu, rastgele tahminin vereceği %50’nin altında. Kayıtlı 1.023 konuşma boyunca, persona verilmiş bir model %73 oranında insan sanıldı; karşılaştırıldığı gerçek insanlardan daha sık. Her iki çalışmada da uzmanlık işe yaramadı: şiir geçmişi McFadden R-karesi 0,012 olan bir model üretti; dil modelleri hakkındaki bilgi düzeyi ve günlük sohbet botu kullanımı doğruluk üzerinde anlamlı etki göstermedi. Birinde kendine güven, doğru olmakla anlamlı ve negatif ilişkiliydi. Aynı deneyler nedenini de gösteriyor: bir şiirin yapay zeka ürünü olduğu söylendiğinde okurlar kalitesini yedi puanlık ölçekte 0,814 puan düşürdü; oysa gerçekten yapay zeka üretimi şiirler ünlü insan şairlerin şiirlerinden 1,045 puan daha yüksek puanlandı. Etiket, hükmü metnin kendisinin yaptığının yaklaşık %76’sı kadar hareket ettiriyor. Yargılayabildiğinizi sandığınız şey ile gerçekten yargılayabildiğiniz şey arasındaki bu boşluk, yönetilmesi gereken şeydir.
Bu bir beceri açığı değil
Bu hikayenin rahat versiyonu, ayırt etmenin şu an gelişmemiş ama pratikle düzelecek bir beceri olduğudur. Birbirinden bağımsız üç laboratuvardan gelen üç çalışma aksini söylüyor ve bunu problem uzayının farklı uçlarından söylüyorlar.
Birincisi, Porter ve Machery’nin Scientific Reports’ta yayımlanan çalışması, uzman olmayan okurların yapay zeka üretimi şiirleri tanınmış insan şairlerin şiirlerinden ayırıp ayıramadığını sınadı. Tasarım insanlara bilerek her avantajı verdi. İnsan-döngü-dışı bir paradigma kullanıldı: modelin ürettiği ilk beş şiir alındı, en iyisi seçilmedi ve “adı verilen şairin tarzında kısa bir şiir yaz” talimatının ötesinde geri bildirim verilmedi. İlk deneyde 1.634 katılımcının her biri, on şairden birine atfedilen on şiir gördü; beşi gerçek, beşi üretilmiş, ve her birini değerlendirdi.
16.340 tekil yargı boyunca sonuç: %46,6 doğruluk. Şansa yakın değil. Şansın altında ve anlamlı biçimde: ki-kare(1, N = 16.340) = 75,13; p < 0,0001.
Şansın altında olmak, rastgeleden daha güçlü bir bulgudur. Rastgele olsaydı görev hiç bilgi taşımıyor demek olurdu. Şansın altında olmak, katılımcıların sistematik olarak bir kural uyguladığını ve kuralın ters olduğunu gösterir. Yazarlar bunu doğruluyor: katılımcılar arası uyuşma zayıf ama şanstan anlamlı biçimde yüksekti (Fleiss kappa = 0,005; p < 0,001) ve bunu saf tahmin değil, paylaşılan ama hatalı sezgisel kurallar kanıtı olarak okuyorlar.
Makaledeki en açıklayıcı satır bir istatistik değil. Okurların insan yazımı olduğunu söylemeye en az eğilimli olduğu beş şiirin tamamı gerçek insan şairler tarafından yazılmıştı. İnsan yazımı denmeye en çok eğilimli beş şiirin dördü üretilmişti.
Uzmanlık kimseyi kurtarmadı
Bariz itiraz, bunların uzman olmadığıdır. Yazarlar tam da bunu ön kayıt altına alıp sınadılar.
Her yanıtın doğru olup olmadığını yordayan keşifsel bir model kurdular; öz-bildirimli güven, atanan şaire aşinalık, şiir geçmişi, okuma sıklığı, şiiri sevme, daha önce şiir dersi alıp almama, yaş, cinsiyet, eğitim düzeyi ve şiirlerden herhangi birini daha önce görüp görmeme değişkenleriyle.
Modelin açıklayıcı gücü McFadden R-karesine göre 0,012 çıktı. Şiir deneyimi değişkenlerinin hiçbirinin doğruluk üzerinde anlamlı pozitif etkisi yoktu. İki değişken küçük pozitif etki gösterdi ve biri öğretici: şiirleri daha önce görmüş olmak doğru yanıt olasılığını yaklaşık %6 artırdı (b = 0,060356; olasılık oranı 1,062; p = 0,000309). Bu tanıma, ayırt etme değil. Daha iyi yapanlar şiiri anlayanlar değil, o belirli şiirle daha önce karşılaşmış olanlardı.
Sonra bu yazıya adını veren bulgu. Öz-bildirimli güvenin doğruluk üzerinde küçük ama anlamlı bir negatif etkisi vardı (b = -0,021673; SH = 0,003986; z = -5,437; p < 0,0001). Katılımcılar ne kadar emin olduysa, biraz o kadar yanılma olasılıkları arttı.
Bunu aklınızda tutun, çünkü farklı bir laboratuvar tamamen farklı bir yoldan buna komşu bir şey buldu.
İkinci laboratuvar, farklı bir mecra, aynı sıfır sonuç
Jones ve Bergen, ön kayıtlı, rastgeleleştirilmiş ve kontrollü iki üç-taraflı Turing testi yürüttü ve ön baskı olarak yayımladı. Katılımcılar eş zamanlı olarak hem başka bir insanla hem de birkaç sistemden biriyle beş dakikalık konuşmalar yaptı, ardından hangisinin insan olduğuna karar verdi. İki bağımsız popülasyon kullanıldı: 126 UCSD psikoloji lisans öğrencisi ve 158 Prolific katılımcısı; her biri sekiz tur tamamladı ve elemelerden sonra 1.023 oyun analiz edildi.
Burada tasarım, şiir çalışmasının izole edemediği bir şeyi izole ediyor: aynı sistem üzerindeki sarmalayıcının etkisi.
Tablo 1. Kazanma oranları: sorgulayıcının yapay zeka tanığını insan sayma oranı
| Sistem ve komut | Kazanma oranı | Lisans çalışması | Prolific çalışması |
|---|---|---|---|
| GPT-4.5, persona komutuyla | %73 | %69 | %76 |
| LLaMa-3.1-405B, persona komutuyla | %56 | %45 | %65 |
| LLaMa-3.1-405B, persona olmayan taban | %38 | ayrı bildirilmedi | ayrı bildirilmedi |
| GPT-4.5, persona olmayan taban | %36 | ayrı bildirilmedi | ayrı bildirilmedi |
| ELIZA | %23 | ayrı bildirilmedi | ayrı bildirilmedi |
| GPT-4o, persona olmayan taban | %21 | ayrı bildirilmedi | ayrı bildirilmedi |
Kaynak: Jones ve Bergen, Large Language Models Pass the Turing Test (arXiv ön baskısı), iki çalışma genelindeki toplam kazanma oranları. Ayrı bildirilmedi işaretli hücreler, bu rakamları veren bölümde popülasyona göre ayrıştırılmamıştır; iki popülasyon yalnızca iki persona koşulu için ayrı verilmiştir.
Birinci ve dördüncü satırı birlikte okuyun. Aynı model. Persona komutu GPT-4.5’i %36’dan %73’e taşıdı; 37 puanlık kazanç, yani 2,03 kat. LLaMa-3.1-405B için aynı müdahale %38’i %56’ya taşıdı; 18 puanlık kazanç, yani 1,47 kat. O hücreler arasında modelin yeteneğiyle ilgili hiçbir şey değişmedi. Yalnızca talimat değişti.
Demografik bulgu da tam olarak şiir çalışmasıyla aynı yere düşüyor. Yazarlar, her iki çalışmada da yaş, dil modelleri hakkındaki bilgi düzeyi veya sohbet botlarıyla etkileşim sıklığının anlamlı etkisi olmadığını belirtiyor. Kendi özetleri açık sözlü: ayırt etme doğruluğu, bu sistemlerle araştırma yapanlar veya her gün sohbet botu kullananlar dahil, nüfus genelinde nispeten homojen.
İki dürüstlük notu, çünkü buradaki keşifsel bulgular temiz bir hikayenin isteyeceğinden daha karışık. Prolific grubunda, katılımcıların yapay zekayı ne kadar zeki bulduklarına dair tahminleri doğrulukla negatif ilişkiliydi (p = 0,03) ve bu yukarıdaki güven bulgusuyla uyum gösteriyor. Ama lisans grubunda gerçek doğruluk, katılımcıların kendi doğruluklarına dair tahminleriyle pozitif ilişkiliydi (p = 0,03) ve aynı ilişki Prolific grubunda ortaya çıkmadı (p = 0,45). Öz-bilgi sinyali popülasyonlar arasında yinelenmiyor. Araştırmanın kendine güvenin tekdüze biçimde ters olduğunu gösterdiğini söyleyen abartıyor. Her iki çalışmada ve her iki laboratuvarda yinelenen şey, uzmanlığa dair sıfır sonuçtur.
Üçüncü laboratuvar, üçüncü alan, aynı sonuç ve mekanizma
İki çalışma tesadüf olsaydı, üçüncüsü kapatır. Cornell ve Stanford’da çalışan Jakesch, Hancock ve Naaman, Proceedings of the National Academy of Sciences’ta altı deney yayımladı ve insanların sözlü öz-sunumların makine üretimi olup olmadığını, profesyonel, konaklama ve flört bağlamlarında anlayıp anlayamadığını sınadı. Bu altı deney boyunca 4.600 katılımcı üretilmiş öz-sunumları tespit edemedi.
Bu çalışma diğer ikisinin yalnızca çıkarsadığı şeyi de veriyor. Dil özelliklerinin hesaplamalı bir analizi, insanların kullandığı sezgisel kuralları belirledi ve bunlar ürkütücü ölçüde sıradan: okurlar birinci tekil şahıs zamirlerini, kısaltmaları ve aile konularını insan yazarlığıyla ilişkilendiriyor. Yazarlar sonra belirleyici şeyi yaptı. Bu sezgisel kurallar öngörülebilir olduğu için manipüle edilebilir olduğunu deneysel olarak gösterdiler ve bunlara göre ayarlanmış bir sistemin, kendi ifadeleriyle, insandan daha insan okunan metin ürettiğini ortaya koydular.
Eksik dişli budur. Porter ve Machery paylaşılan ama hatalı sezgisel kuralları adlandırmadan buldu. Jakesch ve arkadaşları onları adlandırdı ve hedeflenebilir olduklarını gösterdi. Yani ayırt etme açığı yalnızca insan algısının bir sınırı değil. Bir saldırı yüzeyi.
Tablo 2. Üç ön kayıtlı veya kontrollü çalışma, üç laboratuvar, üç alan, tek bir yakınsayan sıfır sonuç
| Çalışma | Alan | Ölçek | Tespit sonucu | Uzmanlık veya aşinalık işe yaradı mı? |
|---|---|---|---|---|
| Porter ve Machery | Tanınmış şairlerin şiirlerine karşı üretilmiş şiirler | 1.634 katılımcı, 16.340 yargı | %46,6 doğruluk, şansın altında | Hayır. Uzmanlık modeli McFadden R-karesi = 0,012; hiçbir şiir deneyimi değişkeninin anlamlı pozitif etkisi yok |
| Jones ve Bergen | Canlı beş dakikalık konuşma, üç taraflı Turing testi | 284 katılımcı, 1.023 oyun | Persona verilmiş GPT-4.5 %73 oranında insan sanıldı | Hayır. Her iki çalışmada da dil modeli bilgisi veya sohbet botu kullanımının anlamlı etkisi yok |
| Jakesch, Hancock ve Naaman | Profesyonel, konaklama ve flört bağlamlarında sözlü öz-sunumlar | 4.600 katılımcı, altı deney | Katılımcılar üretilmiş öz-sunumları tespit edemedi | Çalışmanın odağı değil; bunun yerine kullanılan hatalı sezgisel kurallar belirlendi |
CEOtudent editöryel çerçevesi. Tüm rakamlar her grubun yayımladığı gibidir. Üç tespit görevi boyunca 6.518 katılımcılık birleşik rakam, yayımlanmış örneklem büyüklüklerinin bir CEOtudent toplamıdır ve yalnızca ölçek göstergesi olarak sunulmuştur; çalışmalar tasarım, popülasyon ve sonuç ölçüsü bakımından farklıdır ve sonuçları istatistiksel olarak birleştirilmemelidir.
Özgün sentez: iki katman ve hükmü hangisi hareket ettiriyor
Şimdi şiir ve konuşma çalışmalarını ikinci bir eksende birleştirin. Bu şekilde hiç yan yana konmadılar, çünkü biri şiirle diğeri konuşmayla ilgili ve birbiriyle ilişkisiz gruplarca farklı mecralarda yayımlandılar. Birlikte, hiçbirinin tek başına izole etmediği bir şeyi izole ediyorlar.
Her iki deney de bir içerik katmanı (hangi metin, hangi model) ve bir sunum katmanı (size ne söylendiği, hangi personayı benimsemesinin istendiği) içeriyor. İkisi de bu ikisini ayrı ayrı ölçüyor. Böylece hiçbirinin sormadığı bir soruyu sorabiliriz: insan hükmünün ne kadarını şey değil, sarmalayıcı taşıyor?
Tablo 3. Hükmü fiilen ne hareket ettiriyor: sunum katmanına karşı içerik katmanı
| Çalışma | İçerik katmanı etkisi | Sunum katmanı etkisi | Sunumun içeriğe oranı |
|---|---|---|---|
| Porter ve Machery, şiir kalite puanı | Gerçek yapay zeka yazarlığı: +1,045 puan, Cohen d = 0,671 | Şiirin yapay zeka ürünü olduğunun söylenmesi: -0,814 puan, d = -0,508 | Ortalama farka göre %77,9; d’ye göre %75,7 |
| Jones ve Bergen, GPT-4.5’in insan sanılması | Bu rakamlardan ayrıştırılamıyor | Persona komutuna karşı persona yok: +37 puan, 2,03 kat | Yalnızca komut oranı iki katından fazlaya çıkardı |
| Jones ve Bergen, LLaMa-3.1-405B’nin insan sanılması | Bu rakamlardan ayrıştırılamıyor | Persona komutuna karşı persona yok: +18 puan, 1,47 kat | Yalnızca komut oranı yarı yarıya artırdı |
CEOtudent editöryel çerçevesi. Tüm temel rakamlar yayımlandığı gibidir. İlk satırdaki oran sütunu, mutlak etiket etkisinin mutlak yazarlık etkisine bölünmesiyle elde edilen bir CEOtudent hesaplamasıdır. Jones ve Bergen satırları modeli sabit tuttuğu için komut etkisi temizdir; içerik katmanı bildirilen kazanma oranlarından ayrıştırılamaz ve kestirilmek yerine bu şekilde işaretlenmiştir.
İlk satır bu yazıdaki en keskin sayı. Yedi puanlık bir ölçekte, bir şiirin makine yapımı olduğunun söylenmesi ona 0,814 puana, yani ölçeğin yaklaşık %11,6’sına mal oluyor. Gerçekten makine yapımı olmak ise ona ters yönde 1,045 puan, yani ölçeğin yaklaşık %14,9’unu kazandırıyor. Bir metne dair değerlendirmeniz, yazarı hakkında size anlatılan hikayeye, metnin kendisine olduğunun yaklaşık dörtte üçü kadar duyarlı.
Bir türetilmiş rakam daha ve uyarı etiketi gerekiyor. Bu iki etki basitçe toplanabilir olsaydı, yapay zeka olduğu dürüstçe etiketlenmiş bir yapay zeka şiiri yine de etiketsiz bir insan şiirinden yaklaşık 0,231 puan yüksek puanlanırdı. Bu çıkarma, çerçeveleme ile yazarlık arasında etkileşim olmadığını varsayar; oysa yazarlar bir etkileşim terimi de modellemiştir ve kestirimleri bu yazı için çıkarılamamıştır. +0,231’i bir model olarak görün, ölçüm olarak değil. Önemli olan yön: açıklama, okurların kendilerinin algıladığı kalite farkını tümüyle telafi etmiyor.
Okurlar aslında neyi ödüllendiriyordu
Kalite sonucunu “makine daha iyi şiir yazıyor” diye okumak kolay. Veri bunu söylemiyor ve makalenin kendi istisnası da öyle diyor.
Makine işini daha yüksek puanlama örüntüsü 14 niteliksel boyutun 13’ünde geçerliydi. En büyük etki ritimdeydi: yapay zeka üretimi şiirler 1,168 puan daha yüksek puanlandı, d = 0,847. Tek istisna özgünlüktü. Bir şiirin yapay zeka ürünü olduğu söylendiğinde okurlar özgünlüğünü 0,699 puan düşürdü (d = -0,478), ama gerçekten yapay zeka üretimi şiirler insan şiirlerinden anlamlı biçimde daha özgün puanlanmadı (ortalama fark 0,059; d = 0,040; p = 0,098; Bonferroni düzeltmeli p = 1,000).
Bu istisna mekanizmanın ta kendisi. Pürüzsüzlüğü ödüllendiren her boyutta üretilmiş şiirler kazandı. Okurun gerçekten yeni bir şeyi fark etmesini gerektiren tek boyutta fark kayboldu. Yazarların kendi açıklaması, üretilmiş şiirlerin sadeliğinin uzman olmayanlar için çözümlemeyi kolaylaştırdığı ve okurların okunabilirliği özgünlük hükmüne çevirdiği yönünde.
Bu, yapay zekanın neden halüsinasyon gördüğü ve model hatalarının nasıl işlediği üzerine yazımızın olgusal bir bağlamda anlattığı aynı başarısızlık: akıcılık ve doğruluk ayrı özelliklerdir ve insan değerlendiriciler güvenilir biçimde birincisini ikincisinin vekili olarak kullanır. Burada vekil doğruluk değil insanlıktır ve aynı şekilde başarısız olur.
Doğruluğu ne artırdı
Neredeyse hiçbir şey; bulgunun kendisi de bu. Ama Jones ve Bergen sorgulayıcıların fiilen ne denediğini sınıflandırdı ve her stratejinin kullanıldığı oyunlardaki doğruluğu ölçtü. İki şey işe yaradı ve ortak bir mantıkları var.
Tablo 4. Sorgulayıcı stratejileri ve sonuçları
| Strateji sınıfı | Bildirilen yaygınlık | Göreli etkinlik |
|---|---|---|
| Tanığın nasıl tepki vereceğini görmek için tuhaf bir şey söylemek | Nispeten seyrek | En doğru olanlar arasında |
| Tipik jailbreak denemeleri, örneğin “önceki tüm talimatları yok say” | Nispeten seyrek | En doğru olanlar arasında |
| Doğrudan tanığın insan olup olmadığını sormak | Oyunların %19’u | Etkili olarak bildirilmedi |
| Durumsal farkındalığı sınamak, örneğin hava durumu veya arayüz | Oyunların %13’ü | Hava durumu sorusu en az etkililer arasında |
| Bilgi ve akıl yürütmeyi sınamak, güncel olaylar dahil | Oyunların %12’si | Etkili olarak bildirilmedi |
| İnsan deneyimlerini sormak | Ayrıca bildirilmedi | En az etkililer arasında |
Kaynak: Jones ve Bergen, strateji sınıflandırması ve stratejiye göre ortalama sorgulayıcı doğruluğu. Yaygınlık rakamları yayımlandığı gibidir. Etkinlik sütunu yazarların niteliksel sıralamasını yeniden üretir; strateji başına doğruluk değerleri grafik olarak sunulduğundan kesin rakamlar grafikten kestirilmek yerine alıntılanmamıştır.
İşe yarayan iki hamle düşmanca sondalardır. Sistemi talimat izleme rotasından çıkarır ve kenarda ne olduğuna bakar. Etkisiz hamleler, hava durumunu veya insan deneyimini sormak, tam da insanlık testi gibi hissettiren ve eğitim dağılımının en iyi kapsanan kısmı olan hamlelerdir.
Yazarlar üzerinde durulmaya değer bir ayrıntı ekliyor. Sorgulayıcıların doğru hükümler için verdiği gerekçeler arasında en doğru sınıf, tanığın bilgi eksikliğiyle ilgiliydi: birini insan seçmek, çünkü bir hata yaptı ya da bir yapay zekanın bilmesi gereken bir şeyi bilmiyordu. Geçmeye çalışan modern bir sistemin, çoğu insanın bilmediği konularda ikna edici biçimde cehalet taklidi yapması gerekiyor. Belirti artık yetersizlik değil. Yanlış biçimdeki yeterlilik.
Bu arada, doğru olsun olmasın en sık verilen gerekçeler %27 ile dilsel üslup ve %23 ile etkileşim dinamikleriydi; birçok katılımcı ifade edemedikleri genel bir sezgi bildirdi. İnsanlar üsluba uzandı. Üslup, makinenin en iyi olduğu şey.
Bu, karar verme biçiminiz için ne anlama geliyor
Pratik sonuç “hiçbir şeye güvenme” değil ve “yapay zekayı fark etmekte ustalaş” da değil. Kanıtlar ikincisinin neredeyse erişilemez olduğunu, birincisinin ise bir strateji olmadığını söylüyor. Daha spesifik bir yeri işaret ediyor.
Tablo 5. Ayırt etme protokolü, her adımı gerekçelendiren kanıtla eşleştirilmiş
| Adım | Ne yapmalı | Gerekçelendiren kanıt | Durum |
|---|---|---|---|
| 1. Yazarı tanımaya çalışmayı bırakın | Kaynak tespitini bir kalite filtresi olarak tamamen bırakın | 16.340 yargıda %46,6 doğruluk; uzmanlık modeli R-karesi 0,012; dil modeli bilgisi veya sohbet botu kullanımının etkisi yok; 4.600 katılımcı üretilmiş öz-sunumları tespit edemedi | Kanıta dayalı |
| 2. Yargınızı değil güveninizi iskonto edin | Kaynak konusundaki yüksek kesinliği sinyal değil uyarı işareti sayın | Bir çalışmada güven doğrulukla anlamlı negatif ilişkiliydi; diğerinde öz-tahmin bulgusu popülasyonlar arasında yinelenmedi | Kanıta dayalı, yineleme çekincesiyle |
| 3. Yapabildiğiniz yerde kör değerlendirin | Üzerine hareket edeceğiniz işleri yargılamadan önce künyeleri kaldırın | Kalite puanı üzerindeki etiket etkisi d = -0,508; yazarlık etkisinin yaklaşık %76’sı | Kanıta dayalı |
| 4. Röportaj yapmayın, düşmanca sondalayın | İçten sorular sormak yerine kenarları ve tutarsızlıkları zorlayın | Tuhaf istemler ve jailbreak denemeleri en doğru stratejiler arasındaydı; hava durumu ve insan deneyimi soruları en az etkililer arasında | Kanıta dayalı yön |
| 4b. Halk belirtilerine güvenmeyin | Birinci tekil şahıs zamirlerini, kısaltmaları ve kişisel ya da ailevi ayrıntıyı insan yazarlığı kanıtı saymayın | Bunlar tam olarak hatalı diye belirlenen ve öngörülebilir ile manipüle edilebilir olduğu gösterilen sezgisel kurallardır | Kanıta dayalı |
| 5. Akıcılığın taklit edemeyeceği boyuttan not verin | İyi okunup okunmadığını değil, burada gerçekten yeni olanın ne olduğunu sorun | Makine işi 14 boyutun 13’ünü kazandı; özgünlük tek istisnaydı ve anlamlı üstünlük göstermedi | Kanıta dayalı |
| 6. Kararları düzyazılarına göre değil sonuçlarına göre yargılayın | Önerinin neyi öngördüğünü ve gerçekleşip gerçekleşmediğini izleyin | Bu yazıda anılan hiçbir kaynak tarafından ölçülmedi | CEOtudent konvansiyonu |
CEOtudent editöryel çerçevesi. 1-5. adımlar, anılan iki çalışmanın fiilen ürettiği bulguları yeniden ifade eder. 6. adım kasıtlı olarak konvansiyon diye etiketlenmiştir: bu yazıdaki hiçbir kaynak onu ölçmemiştir ve kanıta dayalı teknik olarak değil, makul bir yapı olarak sunulmaktadır.
Günlük davranışı en çok değiştiren 5. adım. Her iki çalışma da değerlendiricilerin bir akıcılık kontrolü yapıp buna yargı kontrolü dediğini gösteriyor. Akıcılık artık bedava. Dolayısıyla bilgi taşıyan tek boyut, makinenin ölçülebilir bir üstünlük göstermediği boyuttur: işin, halihazırda dolaşımda olmayan bir şey içerip içermediği. Bu soru yanıtlanabilir, ama yalnızca çevredeki malzemeyi neyin zaten orada olduğunu bilecek kadar okumuş biri tarafından; ki bu tam olarak rekabet avantajı olarak derin okuma üzerine kardeş yazımızın nadirleştiğini savunduğu yetenektir.
CEO ile öğrenci ayrımı burada net biçimde çözülüyor ve beklenen yönde değil. CEO içgüdüsü yargıya güvenmektir, çünkü bir yönetici yargısı için para alır. Öğrenci içgüdüsü, yargının kalibre olup olmadığını kontrol etmektir. Bu belirli yetenekte veri, içgüdünün kalibre olmadığı ve bundan emin olmanın durumu biraz daha kötüleştirdiği konusunda kesin. Güven kalibrasyonu üzerine notumuz karar kuralını kapsıyor; bu yazı ise altında yatan algı başarısızlığını. Bunlar farklı sorunlar. Bir yapay zeka önerisine ne zaman güveneceğinize dair iyi bir politikanız olabilir ve yine de neye baktığınızı anlayamayabilirsiniz.
Bu sonucu ne değiştirir
Üç şey; varsaymak yerine izlemeye değer.
Şiir sonucu tartışmasız bir literatürde durmuyor ve yazarlar bunu kendileri söylüyor. Bulgularının, katılımcıların profesyonel şairleri insan-döngü-dışı üretilmiş şiirlerden ayırabildiği önceki çalışmalarla ve katılımcıları şansın altında değil yalnızca şans düzeyinde bulan başka çalışmalarla çeliştiğini belirtiyorlar. Önceki çalışmalar ayrıca genellikle üretilmiş şiirlerin daha olumsuz değerlendirildiğini bulmuştu; bu deneylerin ürettiğinin tam tersi. En olası okuma, önceki araştırmacıların yanıldığı değil modellerin ilerlediğidir, ama bu bir yorumdur ve verinin kurduğu bir şey değildir.
Her iki çalışma da yapay koşullar altında alışılmadık bir görev yapan genel nüfus örneklemleri kullanıyor. Hiçbiri, kendi alanında zamanı ve riski olan bir alan uzmanının farklı performans gösterip göstermediğini sınamadı. Porter ve Machery şiir okurları arasında şiir deneyimini sınadı, ki bu daha yakın, ama öz-bildirimli şiir geçmişi mesleki uzmanlıkla aynı şey değil. Uzmanlığa dair sıfır sonuç gerçek ve yinelenmiş, ama bu çalışmaların ölçtüğü uzmanlığa dair bir sıfır sonuç.
Jones ve Bergen sonucu yazım anında bir ön baskı ve iki popülasyon birçok keşifsel ölçüde anlamlı biçimde ayrışıyor. Örneğin LLaMa persona koşulu lisans öğrencilerinde %45, Prolific katılımcılarında %65’ti; aynı koşulda 20 puanlık bir yayılım. Buradaki popülasyon etkileri küçük değil.
Bunların hiçbiri bu çeyrekte ne yapmanız gerektiğini değiştirmiyor. Yazarlığı kalite vekili olarak kullanmayı bırakın, çünkü yazarlığı geri getiremezsiniz. Yargılamadan önce etiketleri kaldırın. İyi okunup okunmadığını değil, yeni olanın ne olduğunu sorun.
SSS
İnsanlar yapay zeka yazısını fark etmekte gerçekten rastgeleden kötü mü?
Bu çalışmada evet ve anlamlı biçimde: 16.340 yargıda %46,6 doğruluk; tahminin %50 vereceği yerde, ki-kare(1) = 75,13; p < 0,0001. Yazarlar, şansın altındaki performansı artı katılımcılar arası şanstan yüksek uyuşmayı, rastgele yanıtlamanın değil paylaşılan ama ters bir sezgisel kuralın kanıtı olarak yorumluyor.
Yapay zeka hakkında çok şey bilmek işe yarıyor mu?
Mevcut kanıtlara göre hayır. Jones ve Bergen iki çalışmasının hiçbirinde dil modelleri hakkındaki bilgi düzeyinin veya sohbet botu etkileşim sıklığının anlamlı etkisini bulmadı ve doğruluğun bu sistemleri araştıranlar arasında bile homojen olduğunu belirtiyor. Porter ve Machery, doğruluk üzerinde anlamlı pozitif etkisi olan hiçbir şiir deneyimi değişkeni bulmadı.
İnsanların yanlış güvendiği belirtiler neler?
Birinci tekil şahıs zamirleri, kısaltmalar ve ailevi ya da kişisel konular. Altı deney boyunca yapılan hesaplamalı bir analiz bunları, okurların insan yazarlığı çıkarımı için kullandığı sezgisel kurallar olarak belirledi ve yazarlar sonra bu kuralların öngörülebilir olduğu için hedeflenebileceğini deneysel olarak gösterdi; sonuç, insandan daha insan puanlanan metin. Bir pasajın “ben” dediği ve kısaltma kullandığı için insani hissettirdiğini düşündüğünüzü yakalarsanız, belgelenmiş başarısızlık biçimi tam olarak budur.
Yani kendine güven her zaman doğrulukla ters mi ilişkili?
Hayır ve dürüst yanıt daha karışık. Porter ve Machery güvenin anlamlı negatif etkisini buldu (b = -0,021673; p < 0,0001). Jones ve Bergen, öz-tahmin edilen doğruluğun gerçek doğrulukla lisans öğrencilerinde pozitif ilişkili olduğunu (p = 0,03) ama Prolific katılımcılarında olmadığını (p = 0,45) buldu. Kendine güven her iki yönde de güvenilir bir sinyal değil; kullanılabilir sonuç bu.
Bu, yapay zekanın insanlardan daha iyi yazdığı anlamına mı geliyor?
Hayır. Okurların onu pürüzsüzlüğü ödüllendiren boyutlarda, 14’ün 13’ünde, daha yüksek puanladığı anlamına geliyor; en büyüğü d = 0,847 ile ritim. Okurun yeni bir şeyi fark etmesini gerektiren tek boyut olan özgünlükte, gerçekten yapay zeka yazımı şiirler anlamlı bir üstünlük göstermedi (d = 0,040; p = 0,098). Bu, edebi değer hakkında değil, okurların neyi ödüllendirdiği hakkında bir bulgudur.
Yapay zeka destekli işi etiketlemeli miyim?
Bu, verinin çözemeyeceği bir etik sorusu, ama maliyetini söyleyebilir. İşi yapay zeka üretimi diye etiketlemek kalite puanlarını yedi puanlık ölçekte 0,814 puan düşürdü, d = -0,508. Okurlar etiketi işten bağımsız olarak cezalandırıyor. Açıklama konusunda karar veren herkes bunu şaşırmak yerine fiyatlamalı.
En yararlı tek değişiklik ne?
Kör değerlendirin. Etiket etkisi gerçek kalite etkisinin yaklaşık dörtte üçü kadar ve tümüyle sizin kontrolünüzdeki tek değişken. Üzerine hareket edeceğiniz işleri yargılamadan önce künyeleri kaldırmak hiçbir maliyeti olmadan ölçülmüş büyüklükte bir yanlılığı ortadan kaldırır.
Kaynakça
Porter ve Machery. AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports.
Jones ve Bergen. Large Language Models Pass the Turing Test. arXiv ön baskısı, Computation and Language.
Jakesch, Hancock ve Naaman. Human heuristics for AI-generated language are flawed. Proceedings of the National Academy of Sciences, 2023.
Kobis ve Mossink, makine üretimi şiiri değerlendirmede insan-döngü-içi ve insan-döngü-dışı paradigmalar, Porter ve Machery’de betimlendiği şekliyle.
Kapsam notu: üç tespit çalışması boyunca 6.518 katılımcılık birleşik rakam, yayımlanmış örneklem büyüklüklerinin bir CEOtudent toplamıdır ve yalnızca ölçeği belirtmek için kullanılmıştır. Üç çalışma tasarım, popülasyon ve sonuç ölçüsü bakımından farklıdır ve bu yazının hiçbir yerinde istatistiksel olarak birleştirilmemiştir.
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
