Blog · MONA etkisi
Aynı model. Aynı belgeler. %82 daha az token.
53 şehrin uzun iklim sözleşmesi hakkında altı soruyu Claude Opus 5'e iki kez sorduk: bir kez dosyaları kendi başına okuyarak, bir kez de koleksiyon MONA ile indekslenmiş hâlde Harmona üzerinden. Aynı model, aynı belgeler, aynı sorular. MONA ile yanıtlar çok daha kısa sürede, çok daha az tokenle geldi ve doğruluğunu korudu.
Soru başına token
%82daha az
MONA ile 489K, MONA'sız 2,66M. Her bir soruda daha az.
Soru başına süre
8×daha hızlı
MONA ile 73 saniye. MONA'sız neredeyse on dakika.
Yanıta giden adım
%57daha az
Soru başına MONA ile 12,5 model çağrısı, MONA'sız 29.
Liste kesinliği
%93
Her hedefli soru doğru. Tuzak soru doğru biçimde reddedildi.
Neyi test ettik
Koleksiyon, AB'nin iklim nötr şehirler misyonu kapsamındaki 53 İklim Şehir Sözleşmesi'nden oluşuyor: şehir başına bir uzun PDF, toplam 757 MB. Önemli rakamlar tabloların ve düz metnin içinde; şehirden şehre farklı birimlerde ve farklı başlıklar altında. Her ekibin sahip olduğu ama kimsenin baştan sona okumadığı türden bir klasör.
Altı soru sorduk. Hiçbiri dosya adından ya da genel bilgiden yanıtlanamıyor. Yanıt yalnızca belgelerin içinde.
Koleksiyon genelinde · 3
Hangi şehirler 2.000 ktCO₂e üzerinde taban emisyon değeri bildiriyor? Hangileri %90 ve üzeri azaltım taahhüt ediyor? Hangileri 2010 öncesi bir referans yılı kullanıyor? Yanıt bir liste ve doğru olması için 53 belgenin tamamına bakmak gerekiyor.
Tek belge · 2
Tek bir şehrin taban emisyon değeri ve koleksiyondaki en yüksek taban emisyon değerine sahip şehir.
Tuzak · 1
Koleksiyonda sözleşmesi olmayan bir şehrin taban emisyon değeri. Tek doğru yanıt, bunu söylemek.
İki soru sorma yolu
MONA ile Harmona
53 sözleşme Harmona'ya yüklendi ve MONA tarafından bir kez indekslendi. Claude Opus 5 indekslenmiş koleksiyondan yanıtlıyor.
Tek başına Claude
Aynı model, Anthropic'in kendi ajanında, aynı 53 dosyayı doğrudan diskten okuyor. Arada Harmona yok.
Sonuçlar
Soru başına token
Modelin yanıtı üretmek için işlediği her token. Düşük olan iyi.
Tablo olarak görün
| Soru | MONA ile | MONA'sız | Tasarruf |
|---|---|---|---|
| Taban emisyon değeri 2.000 ktCO₂e üzerinde olan şehirler | 1,52M | 7,68M | %80 |
| %90 ve üzeri azaltım taahhüt eden şehirler | 446K | 2,82M | %84 |
| Referans yılı 2010 öncesi olan şehirler | 569K | 2,64M | %78 |
| Tek bir şehrin taban emisyon değeri | 50K | 453K | %89 |
| En yüksek taban emisyon değerine sahip şehir | 263K | 2,24M | %88 |
| Sözleşmesi olmayan bir şehir | 79K | 160K | %51 |
Soru başına süre ve adım
Altı sorunun tamamında. Düşük olan iyi.
Soru başına medyan saniye
Soru başına model çağrısı
Tablo olarak görün
| Sistem | Medyan saniye | Model çağrısı | Ortalama token |
|---|---|---|---|
| MONA ile Harmona | 73 | 12,5 | 488.534 |
| Tek başına Claude | 575 | 29,2 | 2.664.136 |
Ve yanıtlar doğruluğunu korudu
İkisi de her hedefli soruyu doğru yanıtladı: tek şehrin değerini ve koleksiyondaki en yüksek taban emisyon değerini. İkisi de tuzağı fark edip belgenin orada olmadığını söyledi. Yanıtın bir şehir listesi olduğu üç koleksiyon geneli soruda MONA'nın listeleri %93 kesinlikteydi ve her dosyayı tek tek okuyan Claude'un birkaç puan yakınında kaldı.
En zorunda, 53 belgenin içine saklanmış üç uygun şehirde, ikisi birebir aynı yanıtı verdi. Harmona bu yanıta tokenlerin altıda biriyle ve sürenin beşte birinde ulaştı.
MONA rakamları neden değiştiriyor
MONA olmadan model her soru için dosyaları yeniden açıyor ve okuduğu her şeyi her adımda yanında taşıyor. En büyük tarama 74 adım ve 7,7 milyon token sürdü.
Tasarruf, tek şehirlik sorgudan en büyük taramaya kadar altı sorunun her birinde görüldü: tokenlerin yarısı ile dokuzda biri arasında, ortalamada %82 daha az.
Ekibiniz için anlamı
Klasör için değil, sorular için ödeyin.
MONA belgelerinizi kurumsal bilgi tabanına bir kez indeksler. Sonraki her soru, dosyaları yeniden okumanın küçük bir bölümüne mal olur.
On dakikada değil, bir dakikada yanıt.
Soru başına medyan 73 saniye. MONA'sız en yavaş soru 24 dakika sürdü.
Kullanabileceğiniz listeler.
%93 kesinlik, MONA'nın döndürdüğü listelerin bir rapora girmeden önce çok az düzeltme gerektirmesi demek.
Belge yoksa dürüst.
Sözleşmesi olmayan bir şehir sorulduğunda Harmona bunu söyledi ve şehrin yalnızca geçerken anıldığı yeri gösterdi.
MONA etkisini kendi belgelerinizde görün
Belgelerinizi bağlayın, MONA onları kurumsal bilgi tabanınıza indekslesin ve ekibinizin ertelediği soruları sorun.
Bizimle konuşunBu test hakkında
- İki tarafta da Claude Opus 5. Fark, MONA'nın belgeleri önceden indekslemiş olup olmaması.
- Dosyalar Harmona'ya yüklendi ve MONA tarafından indekslendi. Anthropic'in kendi ajanı aynı dosyaları doğrudan diskten okudu.
- Yanıtlar, her değerin kaynak belgeden birebir alıntıyla desteklendiği bir cevap anahtarına göre puanlandı. Üç liste sorusunda doğruluk puanı (her doğru şehri bulmayı ödüllendiren ve yanlış şehir saymayı cezalandıran F1) Harmona için %84, Claude için %88 oldu. Dört puanlık fark, aynı soru yeniden sorulduğunda gördüğümüz değişkenliğin içinde.