Kısaca: Bağlam mühendisliği, yalnızca isteği nasıl ifade edeceğinize karar vermek yerine bir modelin bağlam penceresine neyin, hangi sırayla ve hangi maliyetle gireceğine karar verme pratiğidir. Bağlayıcı beceri hâline gelmesinin nedeni, kıyaslama kanıtlarının “büyük bağlam penceresi kullanılabilir bağlam penceresidir” varsayımına kesin biçimde karşı dönmesi. ICML 2025’te yayımlanan NoLiMa kıyaslaması, hepsi en az 128.000 jeton desteği iddia eden on üç modeli test etti ve on birinin yalnızca 32.000 jetonda kendi kısa bağlam temel değerinin yüzde ellisinin altına düştüğünü buldu; GPT-4o yüzde 99,3’ten yüzde 69,7’ye geriledi. IBM araştırmacıları, araç kataloğu büyüdükçe yüzde 7 ile 85 arasında, araç çıktıları uzadıkça yüzde 7 ile 91 arasında ve konuşmalar uzadıkça yüzde 13 ile 40 arasında işlev çağırma bozulması ölçtü. Uzun bağlamlara dair temel TACL çalışması, modellerin bir girdinin başından ve sonundan iyi, ortasından kötü bilgi çektiğini gösterdi. Hepsi aynı şeyi söylüyor: dikkat, doldurulacak bedava bir kap değil, tahsis ettiğiniz kıt bir kaynaktır. Bu rehber ölçülmüş bozulma tablosunu, türetilmiş bir ilan-edilen-e-karşı-bozulma oranını, beş parçalı bir bağlam bütçesi çerçevesini ve pratik bir denetimi veriyor. CEO kıt sermayeyi bilinçli tahsis eder; öğrenci bir sonraki model çıktığında yeniden ölçer.
Yaklaşık üç yıl boyunca dil modelleriyle çalışmaya dair kendimize anlattığımız hikâye, ifade üzerine bir hikâyeydi. Çıktı kötüyse istem kötüydü. Bir rol ekleyin. Örnek ekleyin. Adım adım düşünmesini isteyin. “Sen bir uzmansın” deyin. Yeteneğin modelin içinde olduğu ve istemin onu açan anahtar olduğu fikri etrafında koca bir tavsiye türü doğdu.
Bu hikâye tam olarak yanlış değildi, ama çok daha büyük bir problemin küçük bir parçası hâline geldi ve bu kaymanın belirli bir nedeni var. Modeller uzun bağlam pencerelerine kavuştu. Sonra insanlar onları doldurdu. Sonra sonuçlar, hiçbir yeniden ifade etmenin düzeltemediği biçimlerde kötüleşti ve alanın, gerçekte olup biteni anlatacak bir kelime dağarcığı geliştirmesi gerekti.
O kelime dağarcığı bağlam mühendisliği ve önemli olmasının nedeni moda bir terim olması değil. Ele aldığı hatanın ölçülmüş, yayımlanmış ve büyük olması.
Tanım, kesin biçimde
İstem mühendisliği şunu sorar: isteği nasıl ifade edersem model doğru şeyi yapar?
Bağlam mühendisliği farklı ve kesinlikle daha geniş bir soru sorar: modelin bunu iyi yapabilmesi için penceresinde bulunması gereken en küçük yüksek sinyalli bilgi kümesi nedir ve tam olarak onu, başka hiçbir şeyi değil, oraya nasıl koyarım?
Ayrımı en kolay, her birinin neyi kontrol ettiğinde görürsünüz. İstem mühendisliği pencerenin tek bir bileşenini, yani talimatı kontrol eder. Bağlam mühendisliği pencerenin tamamını kontrol eder ve gerçek bir sistemde o pencerede en az beş rakip sakin bulunur: sistem talimatları, araç ve işlev tanımları, getirilen belgeler veya bilgi, konuşma geçmişi ve önceki araç çağrılarıyla eylemlerin birikmiş çıktısı.
Bu yeniden çerçeveleme önemli, çünkü talimat bu beşlinin genellikle bir büyüklük mertebesi kadar en küçüğüdür ve çoğu insanın dokunduğu tek şeydir. Sisteminiz başarısız oluyorsa ve siz hâlâ istemin ifadesini düzenliyorsanız, bir yuvarlama hatasını eniyiliyorsunuz demektir.
Bağlam mühendisliği, istem mühendisliğini geçersiz kılma anlamında onun yerini almaz. Onu kapsar. İfade, tıpkı fiyatlandırmanın bir işletmeyi yürütmek içindeki bir kaldıraç olması gibi, daha büyük bir tahsis probleminin içindeki bir kaldıraçtır. İstem mühendisliğinin neden tek başına yetmediğini çalışmış olan herkes bu şekli tanıyacaktır: işin tamamı sanılan beceri, bir yığının tek bir katmanı çıkar.
Pencere neden etiketinde yazan şey değil?
İşte bu kaymayı zorlayan kanıt ve dikkatle okumaya değer, çünkü sayılar genel tartışmanın ima ettiğinden daha ağır.
İlk sonuç temel niteliğinde. Dil modellerinin uzun bağlamları nasıl kullandığına dair Hesaplamalı Dilbilim Derneği İşlemleri’nde yayımlanan araştırma, çok belgeli soru-cevap ve anahtar-değer getirimi boyunca tutarlı bir U biçimli başarım eğrisi buldu. Başarım, ilgili bilgi girdinin başında veya sonunda göründüğünde en yüksekti ve model onu ortada bulmak zorunda kaldığında belirgin biçimde düştü. Pencere içindeki konum nötr değildir. Bir şeyi nereye koyduğunuz, modelin onu kullanıp kullanamayacağını değiştirir.
İkinci sonuç, varsayılanlarınızı değiştirmesi gereken sonuç. ICML 2025’te yayımlanan NoLiMa kıyaslaması, standart samanlıkta iğne testindeki bir açığı kapatmak için tasarlandı. Klasik testte gizlenen olgu genellikle soruyla bariz kelime örtüşmesi taşır, dolayısıyla bir model bağlam üzerinde gerçekten akıl yürütmeden, düz eşleştirmeyle başarılı olabilir. NoLiMa, soruları ve hedef olguları en az sözcüksel örtüşmeyle kurgulayarak bu koltuk değneğini kaldırdı ve modeli ilişkiyi çıkarsamaya zorladı.
Hepsi en az 128.000 jeton desteği ilan eden on üç model üzerindeki sonuçlar: başarım 1.000 jetonun altında güçlüydü ve on üç modelin on biri 32.000 jetona gelindiğinde kendi kısa bağlam temel değerinin yüzde ellisinin altına düştü. Daha güçlü performans gösterenlerden GPT-4o, temel değerdeki yüzde 99,3 doğruluktan uzatılmış uzunlukta yüzde 69,7’ye geriledi.
Üçüncü sonuç bunu getirimden, profesyonel kullanımın çoğunun artık içerdiği ajan iş akışlarına taşıyor. IBM araştırmacıları, uzun bağlam modellerinin bağlam büyüdükçe işlev çağırmayı ne kadar iyi yaptığını ölçmek için LongFuncEval’i tanıttılar ve üç ayrı bozulma eğrisi bildirdiler: araç kataloğu büyüdükçe yüzde 7 ile 85 arasında başarım düşüşü, araç yanıtları uzadıkça cevap getiriminde yüzde 7 ile 91 arasında bozulma ve çok turlu konuşmalar uzadıkça yüzde 13 ile 40 arasında bozulma.
Tablo 1: Ölçülmüş uzun bağlam bozulması (doğrulanmış kaynaklar)
| Çalışma | Ne ölçtü | Ölçülen bozulma |
|---|---|---|
| Lost in the Middle, Transactions of the ACL | İlgili bilginin bağlam içindeki konumu | U biçimli eğri: girdinin başında ve sonunda en güçlü, ortada belirgin biçimde bozulmuş |
| NoLiMa, ICML 2025 | Sözcüksel örtüşme olmadan çağrışımsal getirim, hepsi 128K ve üzeri iddia eden 13 model | 13 modelin 11’i 32.000 jetonda kısa bağlam temel değerinin yüzde 50’sinin altında; GPT-4o yüzde 99,3’ten 69,7’ye |
| LongFuncEval, IBM Research | Bağlam büyüdükçe işlev çağırma | Araç kataloğu büyüdükçe yüzde 7-85 düşüş; araç çıktıları uzadıkça cevap getiriminde yüzde 7-91 düşüş; konuşmalar uzadıkça yüzde 13-40 düşüş |
Üç bağımsız araştırma grubu, üç farklı görev ailesi, tek bir tutarlı sonuç. Jeton kabul etme kapasitesi ile onları kullanma kapasitesi ayrı özelliklerdir ve aradaki boşluk, gerçek dünyadaki hataların çoğunun yaşadığı yerdir.
İlan edilen sayılar gerçekte ne ediyor?
Pazarlama sayısı ile çalışma sayısı aynı değil ve oranı açıkça ortaya koymak faydalı. Aşağıdaki hesap bir ölçüm değil, CEOtudent türetimi bir orandır: NoLiMa’nın çoğu modelin temel değerinin yarısının altına düştüğünü gözlemlediği noktayı alır ve her modelin ilan ettiği pencerenin bir oranı olarak ifade eder.
Tablo 2: İlan edilen pencereye karşı gözlemlenen yarılanma noktası (CEOtudent editöryel çerçevesi, NoLiMa’dan türetilmiştir)
| İlan edilen bağlam penceresi | Test edilen çoğu modelde gözlemlenen NoLiMa yarılanma noktası | Yarılanma noktasının ilan edilen pencereye oranı |
|---|---|---|
| 128.000 jeton | 32.000 jeton | yüzde 25,0 |
| 200.000 jeton | 32.000 jeton | yüzde 16,0 |
| 1.000.000 jeton | 32.000 jeton | yüzde 3,2 |
Sayıları okumadan önce yöntemi okuyun. 32.000 jeton rakamı, NoLiMa’daki on üç modelden on birinin, zor olacak şekilde tasarlanmış bir çağrışımsal getirim görevinde kendi kısa bağlam temel değerinin yarısının altına düştüğü noktadır. Evrensel bir uçurum değildir, her görev türüne aktarılmaz ve bu testte 32.000 jetonda başarısız olan bir model, çok daha ötede hâlâ faydalı düz eşleştirme işi yapabilir. Oranın ortaya koyduğu şey, bir sağlayıcı pencere boyutu duyurduğunda uygulamanız gereken indirimin yönü ve kabaca büyüklüğüdür. İlan edilen bir milyon jetonluk pencereyi bir milyon kullanılabilir jeton saymak küçük bir hata değil, en zor görev sınıfında bir büyüklük mertebesi hatasıdır.
Davranışsal çıkarım basit ve biraz sezgiye aykırı: zorlanan bir sisteme daha fazla bağlam eklemek genellikle yanlış hamledir. Etiketin ima ettiğinden çok daha erken gelen bir eşiğin ötesinde, ek jetonlar bilgilendirmez, seyreltir.
Beş parçalı bağlam bütçesi
Dikkat kıtsa, penceredeki her şey onu harcıyor demektir. Bu harcamayı denetlemek için kullandığımız çerçeve aşağıda. Her satır penceredeki bir sakini, sürüklediği belirli belgelenmiş hatayı ve onu ele alan mühendislik hamlesini adlandırıyor.
Tablo 3: Bağlam bütçesi (CEOtudent editöryel çerçevesi)
| Penceredeki sakin | Problemdeki tipik payı | Sürüklediği belgelenmiş hata | Hamle |
|---|---|---|---|
| Sistem talimatları | Jeton olarak küçük, etki olarak büyük | İsteğinizi sessizce geçersiz kılan çelişkili veya bayat kurallar | Kısa tutun, geçersiz kuralları kaldırın, önceliği açıkça belirtin |
| Araç ve işlev tanımları | Yetenek ekledikçe sessizce büyür | LongFuncEval: katalog büyüdükçe yüzde 7-85 bozulma | Tüm kataloğu değil, yalnızca bu göreve ilgili araçları açın |
| Getirilen belgeler | Genellikle en büyük sakin | Lost in the Middle: bağlamın ortasına gömülen malzeme kötü getiriliyor | Daha az getirin, daha sıkı sıralayın, belirleyici malzemeyi başa veya sona koyun |
| Konuşma geçmişi | Siz müdahale edene dek tek yönlü büyür | LongFuncEval: turlar biriktikçe yüzde 13-40 bozulma | Konuşmaları sonsuza dek uzatmak yerine bilinçli olarak özetleyip yeniden başlatın |
| Birikmiş araç çıktısı | Görünmez olan; ajan iş akışlarında en hızlı büyüyen | LongFuncEval: araç yanıtları uzadıkça yüzde 7-91 bozulma | Araç dönüşlerini pencereye yeniden girmeden önce kısaltıp özetleyin |
Beşinci satır, çoğu insanın farkında olmadan kaybettiği yerdir. Ajan tabanlı bir iş akışında her araç çağrısı bir şey döndürür ve o şey sonraki her tur için pencerede kalır. Bir avuç ayrıntılı yanıt, bütçenin görev tanımının tamamından daha fazlasını tüketebilir ve arayüzdeki hiçbir şey bunun olduğunu size söylemez. Yapay zeka sistemlerine çok adımlı iş devrediyorsanız, ölçüme almanız gereken en değerli şey budur ve yapay zeka ajanlarına iş devretmeden önce anlaşılması gerekenler rehberimizdeki kavramlarla doğrudan eşleşir.
Bu hafta yapabileceğiniz pratik bir denetim
Başlamak için altyapıya ihtiyacınız yok. Pencerede ne olduğunu ve yerini hak edip etmediğini sorma alışkanlığına ihtiyacınız var.
Birinci soru: içeride gerçekte ne var? Çoğu insan bunu kendi iş akışları için cevaplayamaz. Düzenli olarak çalıştırdığınız bir görev için beş sakini listeleyin ve her birinin payını tahmin edin. Tahminin kaba olması önemli değil; getirilen belgelerin veya araç geçmişinin baskın olduğunu keşfetmek genellikle içgörünün tamamıdır.
İkinci soru: pencere onda biri kadar olsa neyi çıkarırdım? Zorlayıcı işlev budur. Zorunluluktan değil alışkanlıktan orada duran malzemeyi güvenilir biçimde saptar. Çoğu çalışan kurulumda penceredekilerin büyük bir kısmı, biri öyle olması gerektiğine karar verdiği için değil, kimse kaldırmadığı için oradadır.
Üçüncü soru: belirleyici bilgi nerede duruyor? TACL çalışmasında belgelenen U biçimli eğri göz önüne alındığında, uzun bir girdinin ortasına gömülen malzemenin kullanılma olasılığı en düşüktür. Cevabın bağlı olduğu şeyi öne ya da sona taşıyın ve çıktının değişip değişmediğine bakın. Sıklıkla değişir ve bu, yayımlanmış bir etkinin ucuz, kendi kendinize yaptığınız bir tekrarıdır.
Dördüncü soru: bu hata bir ifade problemi mi, bağlam problemi mi? Tanı basit. Model, sizin verdiğiniz olgular hakkında yanlış olan kendinden emin bir cevap üretiyorsa bu bir bağlam problemidir: malzeme oradaydı ama kullanılmadı ya da orada olduğunu varsaydığınızda yoktu. Model doğru olguları yanlış biçimde üretiyorsa bu bir ifade problemidir. İkisi dışarıdan aynı görünür, tamamen farklı çözümleri vardır ve hata bağlamdayken isteme uzanmak bu işteki en yaygın boşa giden saattir.
Beşinci soru: en son ne zaman yeniden ölçtüm? Bu yazıdaki her sayı belirli bir model kuşağına bağlıdır. NoLiMa sonuçları 2025’te test edilen modelleri anlatır. LongFuncEval eğrileri makale yazıldığında mevcut sistemleri anlatır. Her yeni kuşak bu sınırları genelde doğru yönde oynatır ve hiçbiri ilan edilen ile kullanılabilir kapasite arasındaki boşluğu henüz kapatmadı. Kontrol etme alışkanlığı edinmek, herhangi bir eşiği ezberlemekten daha kalıcıdır ki bu, yapay zeka çıktısını değerlendirme becerisi hakkında yaptığımız savunun aynısıdır.
Bu neden gerçek bir beceri, yeniden markalama değil?
Tüm bunlara makul bir itiraz var: “bağlam mühendisliği” eski adı ciddiyetsiz gelmeye başladığı için icat edilmiş, daha etkileyici adlı bir istem mühendisliğidir.
İtiraz belirli bir sınavda çöküyor. İki disiplin, neyi düzeltip düzeltemedikleriyle ayrılıyor ve sınır keskin. Bir talimatın hiçbir yeniden ifadesi, 60.000 jetonluk bir girdinin ölü ortasına yerleştirilmiş ama getirilmiş bir olguyu onarmaz. Hiçbir rol yapma ya da adım adım çerçeveleme, kırk araç tanımı yüklüyken dördü ilgiliyken başarısız olan bir işlev çağrısını kurtarmaz. Bunlar pencerenin bileşimindeki yapısal hatalardır ve yalnızca o bileşimi değiştirerek ele alınabilirler.
Bu, yeniden markalama değil gerçek bir disiplin olmanın işaretidir: kendi hata biçimleri, kendi tanıları ve kendi çözümleri vardır ve hiçbirine içinden çıktığı pratikten ulaşılamaz.
Akademik literatür de aynı kararı çoktan verdi. Temmuz 2025’te, 1.400’den fazla araştırma makalesinin sistematik analizinin ardından yayımlanan büyük dil modelleri için bağlam mühendisliği taraması, onu açıkça istem tasarımının ötesine geçen resmî bir disiplin olarak ele alıyor ve üç temel bileşene ayırıyor: bağlam getirimi ve üretimi, bağlam işleme ve bağlam yönetimi. Bu üçü yukarıdaki pratik bütçeyle neredeyse birebir örtüşüyor ki bu, çerçevenin bir başlık için icat edilmiş bir şeyi değil gerçek bir şeyi anlattığına dair güven verici bir işaret.
Bunun kimin için olduğu konusunda dürüst olmakta da fayda var. Yapay zeka kullanımınız tek seferlik sohbet isteklerinden ibaretse, istem ifadesi gerçekten kaldıracınızın çoğudur ve bağlam mühendisliği büyük ölçüde akademiktir. Kalıcı bir şey inşa ettiğiniz an, yani belge getiren, araç çağıran ya da çok tur boyunca çalışan bir iş akışı kurduğunuzda denge sert biçimde değişir ve bunu duyurmadan yapar. Dil modellerinin gerçekte nasıl çalıştığını anlamak nedenini açık kılar: pencere, bir istek süresince modelin bütün dünyasıdır ve içindeki her şey aynı sonlu dikkat için yarışır.
CEO ve öğrenci
CEO çerçevesi bunu hemen sezgisel kılan çerçevedir. Bağlam bir bütçedir. Sert bir tavanı vardır, içine koyduğunuz şeyin marjinal değeri tavanın ima ettiğinden çok daha hızlı düşer ve eklediğiniz her şey başka bir şeyi dışarı iter. Hiç kimse, sırf mevcut olduğu için her birim sermayeyi harcayarak bir işletme yürütmez. Bir bağlam penceresini doldurmak tam olarak buna benzer.
Öğrenci çerçevesi bütçenin ihtiyaç duyduğu disiplini sağlar. Burada alıntılanan her eşik, hareket eden bir sistemin anlık görüntüsüdür. Yayımlanmış bir sayıya doğru tepki onu ezberlemek değil, onu üreten testi öğrenmektir; böylece bir sonraki model kuşağı geldiğinde yeni sınırın nerede olduğunu tahmin etmek yerine öğrenebilirsiniz. NoLiMa, biri standart testin bir açığı olduğunu fark edip daha zorunu inşa ettiği için var. Ölçümün gerçekten iddia ettiği şeyi ölçüp ölçmediğini kontrol etme içgüdüsü, aktarılabilir olan kısımdır.
Önümüzdeki birkaç yılda bu sistemlerle en iyi işi çıkaracak olanlar, en iyi ifade edilmiş istemlere sahip olanlar olmayacak. Herhangi bir anda pencerede ne olduğunu ve neden olduğunu bilenler olacak.
Sıkça sorulan sorular
Bağlam mühendisliği ile istem mühendisliği arasındaki fark tek cümlede nedir?
İstem mühendisliği talimatı eniyiler; bağlam mühendisliği modelin penceresindeki her şeyi eniyiler ve talimat bunun genellikle en küçük parçasıdır.
Daha büyük bir bağlam penceresi sorunu çözer mi?
Güvenilir biçimde hayır. NoLiMa kıyaslaması, hepsi en az 128.000 jeton desteği iddia eden on üç modeli test etti ve on birinin 32.000 jetonda kısa bağlam temel değerinin yarısının altında olduğunu buldu. Jeton kabul etme kapasitesi, onları kullanma kapasitesiyle aynı özellik değildir.
İstem mühendisliği öldü mü?
Hayır. Disiplinin tamamı değil, bir bileşeni. İfade tek turlu sohbet görevlerinde hâlâ önemlidir ve model doğru olguları yanlış biçimde ürettiğinde ilk doğru tanı olmaya devam eder.
Yapabileceğim en hızlı iyileştirme nedir?
Penceredekini azaltın ve belirleyici malzemeyi başa ya da sona taşıyın. TACL çalışmasında belgelenen U biçimli konumsal etkiyi kendi görevlerinizde birkaç dakikada tekrarlamak kolaydır ve sonuç genellikle insanları şaşırtır.
Ajan iş akışları neden sohbetten daha hızlı bozuluyor?
Çünkü sohbetin taşımadığı iki sakini biriktiriyorlar: araç tanımları ve araç çıktıları. IBM’in LongFuncEval ölçümleri, yalnızca konuşma uzunluğundan gelen yüzde 13-40’ın üstüne, katalog büyüdükçe yüzde 7-85 ve araç yanıtları uzadıkça yüzde 7-91 bozulma koyuyor.
Bunu uygulamak için özel araçlara ihtiyacım var mı?
Hayır. Bu yazıdaki beş denetim sorusu, gönderdiğiniz şeye dikkat etmekten başka bir şey gerektirmiyor. Ölçekte araçlar yardımcı olur, ama en büyük tekil kazanç, yani zorunluluktan değil alışkanlıktan pencerede duran malzemeyi kaldırmak, herkese hemen açıktır.
Kaynakça
- Liu, Lin, Hewitt, Paranjape, Bevilacqua, Petroni ve Liang, Lost in the Middle: How Language Models Use Long Contexts, Transactions of the Association for Computational Linguistics
- Modarressi, Deilamsalehy, Dernoncourt, Bui, Rossi, Yoon ve Schütze, NoLiMa: Long-Context Evaluation Beyond Literal Matching, International Conference on Machine Learning, 2025
- Kate, Pedapati, Basu, Rizk, Chenthamarakshan, Chaudhury, Agarwal ve Abdelaziz, LongFuncEval: Measuring the Effectiveness of Long Context Models for Function Calling, IBM Research, 2025
- Mei, Yao, Ge, Wang, Bi, Cai ve meslektaşları, A Survey of Context Engineering for Large Language Models, Temmuz 2025
Bu içerik, derinlemesine bir araştırmanın ardından yapay zeka desteğiyle derlenmiş ve CEOtudent editör ekibi tarafından yazılıp yayına hazırlanmıştır.
This post is also available in:
