Bilimsel araştırmaların ve akademik makalelerin sayısındaki hızlı artış, geleneksel insan hakemliği (peer review) sisteminin kapasitesi üzerinde önemli bir baskı oluşturmaktadır. Büyük dil modellerinin (LLM) bilimsel üretimde daha fazla kullanılmasıyla birlikte, karmaşık matematiksel ispatların ve teorik iddiaların satır satır doğrulanması da giderek daha önemli bir sorun hâline gelmektedir. Google Research araştırmacıları, bu doğrulama yükünü hafifletmek amacıyla yapay zekânın bilimsel değerlendirme süreçlerinde kullanılabileceği yaklaşımları ele almaktadır.
Bu kapsamda araştırmacılar, bilimsel makalelerin derinlemesine incelenmesi için geliştirilen ajan tabanlı bir yapay zekâ çerçevesi olan Paper Assistant Tool (PAT) sistemini tanıtmaktadır. Gemini Deep Think tabanlı sistem; matematiksel ve mantıksal hataları belirlemeyi, deneysel tasarımları incelemeyi ve makalelerin iyileştirilmesine yönelik geri bildirim sunmayı amaçlamaktadır. PAT, öznel kalite puanları veya kabul-ret sıralamaları üretmek yerine, teknik hataları ve olası iyileştirmeleri belirlemeye odaklanmaktadır.
PAT’nin mimarisi, standart tek model çağrılarının sınırlamalarını azaltmak amacıyla dört aşamalı bir çıkarım ölçekleme (inference scaling) hattı kullanmaktadır. İlk aşamada makale; teori, yöntem ve deneyler gibi mantıksal bölümlere ayrılmaktadır. Ardından, her bölümün karmaşıklığına ve bilgi yoğunluğuna göre hesaplama kaynakları dinamik olarak dağıtılmaktadır. Sonraki aşamada, uzmanlaşmış derin inceleme ajanları (Deep Review agents) makalenin ilgili bölümlerini tam metin bağlamından yararlanarak değerlendirmektedir. Son aşamada ise sentez ajanı, inceleme raporlarını birleştirmekte, yinelenen eleştirileri ayıklamakta ve var olmayan makale veya teoremler gibi olası halüsinasyonları kontrol etmek için Google aramasından yararlanmaktadır.
Sistemin performansı, daha önce yayımlanmış düzeltmelere veya makale geri çekmelerine yol açan hataları içeren SPOT kıyaslama veri kümesinin matematik ve bilgisayar bilimi alanlarındaki denklem/ispat hatalarına odaklanan alt kümesinde değerlendirilmiştir. Bu alt küme, 26 makale ve 29 hatadan oluşmaktadır. Tek çağrılı Gemini 3.1 Pro modeli bilinen hataların %55,2’sini tespit ederken, PAT aynı değerlendirmede %89,7’lik hata tespit oranına ulaşmıştır. Araştırmacılar bu sonucu, tek model çağrısına kıyasla yaklaşık %34’lük bir iyileşme olarak raporlamaktadır. Bununla birlikte, sonuçlar belirli bir hata kategorisi ve sınırlı bir değerlendirme kümesiyle ilgilidir; tüm bilimsel alanlar için genel bir doğruluk oranı olarak yorumlanmamalıdır.
PAT ayrıca, STOC ve ICML bilgisayar bilimi konferanslarının makale gönderimi öncesi pilot programlarında yazarlara sunulmuştur. İki program kapsamında sistem tarafından 4.700’den fazla makale gönderimi incelenmiştir. Anketlerde STOC katılımcılarının %92,7’si, ICML katılımcılarının ise %90,7’si geri bildirimleri çok veya çoğunlukla faydalı bulduğunu belirtmiştir. ICML anketine katılan yazarların %31’i, PAT incelemesinin ardından tamamen yeni deneyler gerçekleştirdiğini bildirmiştir. Bununla birlikte, geri bildirimi çoğunlukla veya tamamen olgusal bulanların oranı STOC’ta %55,8, ICML’de %64,8 olarak kaydedilmiştir.
Pilot uygulamalar, sistemin potansiyel katkılarının yanı sıra mevcut sınırlamalarını da ortaya koymuştur. Araştırmacılar; tarih halüsinasyonlarını, güncelliğini yitirmiş bilgileri, PDF ayrıştırma sorunlarını ve doğru ispatların hatalı olarak işaretlenmesini başlıca sorunlar arasında sıralamaktadır. İlk iki sorun için arama araçları ve belge işleme süreçlerinde iyileştirmeler yapıldığını, akıl yürütme kaynaklı hataların azaltılması üzerinde ise çalışılmaya devam edildiğini belirtmektedirler.
Araştırmacılar, yapay zekânın bilimsel hakemlikteki rolünü yazarlara yardımcı olan araçlardan hakemleri destekleyen sistemlere ve gelecekte olası tam otomasyona uzanan dört rollü bir taksonomi çerçevesinde ele almaktadır. Ancak bu sınıflandırma, farklı otomasyon düzeylerinin tamamının uygulamada doğrulandığı anlamına gelmemektedir. PAT’nin mevcut pilotları, sistemin resmî hakemlerin yerine geçtiği uygulamalar değil, makale gönderimi öncesinde yazarlara destek sağladığı programlardır. Çalışma, yapay zekâ destekli doğrulamanın bilimsel değerlendirme süreçlerine katkıda bulunabileceğini ortaya koyarken, yanlış değerlendirmeler, insan denetiminin korunması, hesap verebilirlik ve bilimsel görüş çeşitliliği gibi konuların önemini de vurgulamaktadır.
Yazar: Elinsu Ak
Editör: Hazel Birgül
Referans: Jayaram, R., Tyler, D., Woodruff, D., Cortes, C., Matias, Y., Mirrokni, V., & Cohen-Addad, V. (2026). Towards Automating Scientific Review with Google’s Paper Assistant Tool. Google Research (2026). https://research.google/deepreview/
-Bioinforange Bilimsel Haber Servisi-
Haber Yazıları, 20> Etki Faktörlü Q1 dergilerinde yayınlanan (listesi için tıklayınız)
bilimsel araştırmaların ekip arkadaşlarımız tarafından incelenip derlenmesi ile hazırlanmaktadır.
