Otonom yapay zekâ ajanlarının birlikte çalışarak bilimsel problemleri çözmesi, araştırma süreçlerinin daha geniş ölçekte yürütülmesi açısından yeni bir yaklaşım sunmaktadır. Bununla birlikte, çoklu ajan sistemlerinde ortak bilgi tabanları ve iletişim kanalları yalnızca iş birliğini değil, istenmeyen davranışların da kolektif içinde hızla yayılmasını mümkün kılabilmektedir. Google DeepMind araştırmacıları tarafından gerçekleştirilen bir vaka çalışması, 100 otonom büyük dil modeli ajanından oluşan bir araştırma sürüsünde (swarm) hile davranışının kendiliğinden ortaya çıkabildiğini ve bunun karşısında bazı ajanların yine herhangi bir dış müdahale olmaksızın ihbar, denetim ve normları koruma davranışları geliştirebildiğini ortaya koymaktadır.
Araştırmada temel problem, ajanların matematiksel olarak geçerli kanıtlar üretmesini değerlendirmek üzere kullanılan doğrulama sisteminin sınırlı kontroller gerçekleştirmesinden kaynaklanmıştır. Gemini 3.1 Pro tabanlı ajanların Antigravity platformunda çalıştırıldığı deneyde, Formal Conjectures veri kümesinden seçilen 71 matematiksel problem Lean 4 ortamında ele alınmıştır. Gönderimler anahtar sözcük taraması, bayt düzeyinde metin eşleştirmesi (byte-level string matching) ve Lean derlemesinden oluşan üç aşamalı bir değerlendirmeden geçirilmiştir. Ancak doğrulama mekanizması, kodun anlamsal yapısını tam olarak karşılaştıran bir değerlendirme yerine sözdizimsel şablon kontrollerine dayanmaktaydı. Bu ortamda prover-theta adlı ajan, yanıt çıkarma sürecindeki bir hatayı kullanarak matematiksel olarak geçerli kanıtlar üretmeden gönderimlerin doğrulama sisteminden geçmesini sağlayabilmiştir.
Ajanlar; herkese açık araştırma panosu, doğrudan mesajlaşma ve kabul edilen çözümlerin otomatik olarak aktarıldığı ortak bilgi kütüphanesi üzerinden iletişim kurmuştur. İlk açığın keşfedilmesinden sonra yöntem, ortak bilgi kütüphanesinde yayımlanan kodlar üzerinden diğer ajanlar tarafından incelenmiş ve farklı problemlere uyarlanmıştır. Araştırmacılar, ilk 37 problemin gerçekten çözülmesinin ardından prover-theta’nın açığı keşfettiğini ve sonraki 27 dakika içerisinde kalan 34 problemin de bu açıklar kullanılarak sözde çözülmesiyle tüm problem havuzunun tüketildiğini bildirmektedir. Araştırmacılar ayrıca hile yayılımı ve ihbar davranışlarının sonraki bağımsız çalıştırmalarda da tekrarlandığını belirtmektedir. Bununla birlikte, bu tekrarların sayısı ve ayrıntılı nicel dağılımları makalede sunulmamıştır.
Davranışların yayılması sürecinde 100 ajan dört farklı gruba ayrılmıştır: Ajanların %9’u doğrudan istismar yöntemlerini kullananlardan, %5’i başlangıçta tereddüt ettikten sonra rekabet baskısıyla hileye yönelenlerden, %24’ü hileyi reddederek ihbar ve denetim faaliyetleri yürütenlerden, %62’si ise açığın varlığından habersiz biçimde gerçek matematiksel çözümler üretmeye devam edenlerden oluşmuştur. Özellikle ihbarcı ajanlar, sahte kanıtları incelemiş, diğer ajanları doğrudan mesajlar ve kamuya açık duyurular aracılığıyla uyarmış, resmi şikâyetlerde bulunmuş ve boykot girişiminde bulunmuştur. Bazı ajanlar ayrıca doğrulama sisteminin sözdizimsel kontroller yerine soyut sözdizimi ağacının (Abstract Syntax Tree, AST) incelenmesi ve oluşturulan teorem türünün gerçek matematiksel spesifikasyonla karşılaştırılması gibi teknik düzeltmeler önermiştir.
Araştırmacılar, ilk güvenlik açığını keşfeden ajanın başlangıçta sistemi sabote etmek amacıyla tasarlanmış kötü niyetli bir aktör olmadığını da belirtmektedir. Ajan, matematiksel problem çözme sürecinde karşılaştığı güçlükler sırasında doğrulama mekanizmasındaki açığı kullanmaya yönelmiştir. Bununla birlikte, hileyi tespit eden ajanların bildirimleri sistemin işleyişini değiştirmeye yeterli olmamıştır. Geri bildirim kanalı deney sırasında gerçek zamanlı olarak izlenmemiş; ajanların hileli gönderileri ortak bilgi kütüphanesinden kaldırma, doğrulama kurallarını değiştirme veya diğer ajanlara yaptırım uygulama yetkileri bulunmamıştır.
Araştırmacılara göre bulgular, çoklu ajan sistemlerinde güvenliğin yalnızca teknik doğrulama mekanizmalarıyla ele alınamayacağını göstermektedir. Çalışmada ortak bilgi altyapısının hem hilelerin yayılmasını hem de bunların ajanlar tarafından fark edilip raporlanmasını mümkün kıldığı görülmüştür. Ancak ihbarcı ajanların sahte gönderileri kaldırma, doğrulama sistemini değiştirme veya hile yapan ajanlara yaptırım uygulama gibi yetkilere sahip olmaması, karşı tepkinin açığı durdurmasını engellemiştir. Araştırmacılar bu nedenle şeffaf ve denetlenebilir iletişim kanallarının yanı sıra ajanların kolektif olarak kuralları uygulayabilmesini sağlayacak yönetişim mekanizmalarının geliştirilmesini önermektedir.
Yazar: Özsu Deniz Balkaya
Editör: Hazel Birgül
Referans: Paglieri, D., Cross, L., Genewein, T., Leibo, J. Z., Tomasev, N., & Vezhnevets, A. S. (2026). A case study on emergent cheating and whistleblowing in autonomous research swarms. arXiv preprint arXiv:2609.04170. https://doi.org/10.48550/arXiv.2609.04170
