Исследование: как привязать языковые модели к человеческим ценностям

Недавнее исследование, проведенное Атоосой Касирзадех и Иасоном Габриэлем, поднимает важные вопросы о взаимодействии человека и искусственного интеллекта в контексте общения. В статье анализируется, каким образом языковые модели могут быть более эффективно интегрированы в коммуникацию, принимая во внимание разнообразие человеческих ценностей.

Язык — это ключевая человеческая особенность, служащая основным средством передачи информации, включая мысли, намерения и чувства. Современные достижения в области искусственного интеллекта привели к созданию разговорных агентов, способных общаться с людьми более тонко и нюансированно. Однако несмотря на высокие показатели языковых моделей, таких как InstructGPT и Gopher, они также продемонстрировали потенциальные риски, включая производство токсичной или дискриминаторной речи, а также недостоверной информации.

На фоне этих рисков авторы работы подчеркивают необходимость переосмысления подходов к «выравниванию» этих моделей с человеческими ценностями. В документе приводится пример использования прагматики, традиции в лингвистике и философии, которая утверждает, что цель разговора и его контекст критически важны для успешного общения.

Конкретные примеры применения разговорных агентов в научной исследовательской деятельности предполагают, что такие системы должны подтверждать свои утверждения достаточными эмпирическими данными. В контексте публичных политических дискуссий агенты должны подчеркивать демократические ценности, такие как терпимость и уважение, что усложняет их разработку.

Таким образом, выводы исследования подчеркивают, что разработка разговорных агентов требует учета различных черт и стандарта правдивости в зависимости от контекста использования, что может привести к более глубокому и уважительному общению между людьми и технологиями.