OpenAI представила бенчмарк LifeVal для оценки бытовых задач ИИ

Компания OpenAI анонсировала новый бенчмарк LifeVal. Инструмент предназначен для измерения способности искусственного интеллекта помогать людям в решении повседневных задач.

Тестовый набор охватывает широкий спектр бытовых сценариев. В их числе поиск услуг по уходу за детьми, управление личными финансами и заполнение сложной государственной документации.

Новый бенчмарк позволяет оценивать практическую применимость языковых моделей в реальной жизни за пределами лабораторных тестов. Это поможет разработчикам лучше понимать готовность ассистентов к рутинной поддержке пользователей.