Araştırmacılar AI-ajentlerin değerlendirilmesi için Vibe Patenting bencmark'ini sundu

Araştırmacılar Vibe Patenting adlı, AI ajanlarının patent belgeleri oluşturma kalitesini değerlendirmek için özel bir test platformunu sundu. Sistem, "hakem-LLM" yöntemini kullanır ve patent taslaklarını analiz ederek metinlerin iyileştirilmesi için yapılandırılmış geri bildirim sağlar.

Test sırasında, iteratif geri bildirimin daha az güçlü modellerin pahalı ve yüksek performanslı sistemlerle karşılaştırılabilir sonuçlar elde etmesini sağladığı tespit edildi. Araştırmacılar, yönlendirici düzeltmeler olmadan kalitenin hızlı bir şekilde "düzleşmeye" ulaştığını, ancak LLM hakemi içeren ajan işlemlerinin sürekli bir performans artışı sağladığını belirtti.

Sonuçların geçerliliğini test etmek için yazarlar, AI değerlendirmelerini bağımsız bir profesyonel patent avukatının analizıyla karşılaştırdı. Otomatik metriklerin, uzman görüşüyle önemli ancak spesifik kriterlere bağlı bir korelasyon gösterdiği tespit edildi, bu da modellerin özel yasal standartlara göre ayarlanmasına ihtiyaç duyulduğunu gösteriyor.

Çalışma, LLM'lerin karmaşık profesyonel görevler için hakem olarak kullanılmasıyla ilgili hem potansiyeli hem de sınırlamaları vurgulamaktadır. Araştırma, arXiv lisansı altında mevcuttur ve geliştiricilere, belgeleme için kesinlik ve yapı gereksinimlerinin olduğu koşullarda ajanları test etmek için bir metodoloji sağlar.