Известные специалисты Google Research, Сайрус Раштчиан и Да-Ченг Чуань, представили инновационный подход к оценке систем генерации ответов на основе извлечения (RAG). Суть данного метода заключается в определении уровня достаточности контекста, который используется при взаимодействии языковых моделей с внешней информацией. Это открытие обусловлено необходимостью минимизации частоты «галлюцинаций», то есть ошибок в ответах, вызванных недостаточным контекстом.
Системы RAG обогащают возможности больших языковых моделей (LLM), предоставляя им актуальную информацию из различных источников, таких как веб-страницы или базы данных. Однако, как показывает практика, если контекст не соответствует запросу или его недостаточно, это может привести к выдаче неверной информации.
В своей работе под заголовком «Sufficient Context: A New Lens on Retrieval Augmented Generation Systems», представленном на конференции ICLR 2025, авторы исследуют концепцию достаточного контекста для языковых моделей и предлагают метод автоматической оценки пар «запрос-контекст», который позволяет с высокой точностью (93%) классифицировать случаи, когда контекст является достаточным или недостаточным.
Используя свои методы, исследователи смогли проанализировать производительность различных языковых моделей, что в дальнейшем позволит улучшить системы RAG. В частности, предложены рекомендации такие, как проверка достаточности контекста перед генерацией ответа и переоценка извлеченных фрагментов информации. Эти новшества имеют потенциал значительно повысить точность ответов и сократить количество заблуждений, вызванных недостатком информации.
Данная работа открывает новые горизонты для применения систем RAG в различных областях, где точность и надежность информации имеют критическое значение.