CRITIC
Eleştiriyi dış araç sonucuna bağla, sonra cevabı düzelt.
- Kullanım
- AraştırmaKodAjanlar
- Kurulum
- Araç döngüsü
- Gerekir
- araç çalıştırma
- Bitti sayılır
- The answer was checked with an external tool result (tests, execution or search) and corrected against that result. (İngilizce)
- Lisans
- CC BY 4.0 · Kartın açık kaynağı
Nedir?
CRITIC, ilk cevabı araçlarla kontrol ettirip gelen geri bildirime göre düzeltir. Araç; arama, kod yürütme veya göreve uygun başka bir dış kontrol olabilir. Yalnız “kendini eleştir” demek yöntemin araç destekli kısmını karşılamaz.
Ne zaman işe yarar?
Bir cevabın doğruluğunu dışarıdan kontrol edebileceğiniz hesap, kod veya kaynaklı bilgi işlerinde.
Örnekler
Aşağıdaki durumlar ve yanıtlar kurgusal öğretim örnekleridir; çalıştırılmış model, araç veya benchmark sonuçları değildir.
Basit
Durum
İlk cevapta bir toplama hatası var.
Prompt
Prompt
İnsan denetleyici olsun. Soru: 4 kutuda 5'er kalemden 3 kalem alındı; kaç kaldı? İlk cevap adayı: 18.
Kontrol çağrısı: Cevabı doğrulamak için hesaplayıcıya verilecek tek ifadeyi yaz; araç sonucunu tahmin edip gerçekmiş gibi sunma.
Uygulama calculator("4*5-3") çalıştırsın; gerçek dönüşü kontrol çağrısına eklesin.
Düzeltme çağrısı soruyu, ilk cevabı ve gerçek araç sonucunu alsın; yanlış alanı ve düzeltilmiş cevabı kısaca yazsın. Bir araç kontrolü ve bir revizyonda dur.Örnek çıktı
Temsili araç sonucu 17; revizyon: “18 yanlıştı. 4 × 5 − 3 = 17 kalem.”
Ne elde ettik?
Düzeltme modelin ikinci tahminine değil, hesap kontrolüne bağlandı.
Orta
Durum
Bir kaynaklı cevap yanlış günü söylüyor.
Prompt
Prompt
Soru: Kurgusal Kent Müzesi pazartesi açık mı? İlk aday: "Evet, her gün açık."
Denetleyici yalnız resmi saat kaydını okuyan araca izin versin; en fazla 2 okuma. Temsili dönüş D1: "Pazartesi kapalı; salı-pazar 10.00–18.00", güncelleme 1 Eylül 2026.
Eleştiri çağrısı ilk iddiayı D1 ile karşılaştırsın; hangi kısmın çeliştiğini yazsın. Revizyon çağrısı bu eleştiriyi ve D1'i alıp cevabı düzeltsin.
Araç başarısızsa "kontrol edildi" deme; doğrulanamadığını söyle ve dur. Geçerli sonuçta bir revizyon yeterli.Örnek çıktı
“Her gün açık ifadesi D1 ile çelişiyor. 1 Eylül tarihli kayda göre pazartesi kapalı.”
Ne elde ettik?
Kaynak kontrolü, eleştirinin somut dayanağı oldu.
İleri
Durum
Kod düzeltmesinin yeni bir sınır hatası üretip üretmediği kontrol edilecek.
Prompt
Prompt
Görev: 500 ve üzeri ücretsiz, altı 50 TL kargo. İlk kod total > 500 ? 0 : 50.
Denetleyici yalnız izole test aracı sunsun; dış dosyaya yazma yok. Test girdileri 499,500,501; beklenen 50,0,0. Gerçek test dönüşlerini sakla.
Eleştiri çağrısı başarısız girdiyi ve nedenini kısa yazsın. Revizyon çağrısı en küçük kod değişimini üretsin. Aynı testler yeni aday üzerinde gerçekten yeniden çalışsın.
En fazla 2 test turu/1 revizyon. İkinci tur başarısızsa yeni başarı iddiası yerine kalan hatayı raporla. Test yoksa sadece öneri de.Örnek çıktı
Temsili ilk sonuç 50,50,0; >= revizyonu sonrası beklenen 50,0,0. Bunlar bu kartta çalıştırılmış model/araç kayıtları değildir.
Ne elde ettik?
Düzeltmenin işe yaradığı da ayrı araç kontrolüne bağlandı.
Nerede durmalı?
Aracın kendisi, kaynak seçimi veya test kapsamı yanlış olabilir. CRITIC, Self-Refine’dan dış geri bildirim kullanımıyla ayrılır. Chain-of-Verification doğrulama soruları kurar; CRITIC araç destekli eleştiri ve revizyon döngüsünü öne çıkarır.
Yakın yöntemler ve farkları
Kaynaklar
CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing (yeni sekme) — Gou, Zhibin; Shao, Zhihong; Gong, Yeyun; Shen, Yelong; Yang, Yujiu; Duan, Nan; Chen, Weizhu. 2023-05-19; okunan sürüm 2024-02-21. İlk model çıktısının araç etkileşimlerinden gelen geri bildirimle eleştirilip düzeltilmesini tanımlar; araçsız öz eleştiriyle eş tutulmaz. Kanıt düzeyi: özgün makalenin ilgili gövde bölümleri.
Görselin üretim bilgisi
Google Gemini ile üretilen özgün illüstrasyon · 1024 × 572
Generate an image: Create an original physically believable volumetric mineral sculpture photographed as a museum installation, horizontal 16:9. Deep anthracite void, porcelain mineral whites, restrained ice-blue and amber accents, fine structural particles, tactile surfaces, soft volumetric light, realistic depth and deliberate negative space. A mineral sculpture touches a separate brass physical measuring instrument; its measured fracture is repaired with a small amber seam, an external check visibly distinct. No text, letters, numerals, logo, watermark, user interface, fake charts, identifiable people, or imitation of a particular artist. Depict the specified mechanism clearly; avoid generic clouds. One coherent original illustration.