Команда исследователей, включая Анку Драган, Рохина Шаха, Фора Флинна и Шейна Легга, представила свои взгляды на безопасность и ответственность в разработке искусственного общего интеллекта (AGI). В новом документе под названием «Подход к технической безопасности и защите AGI» акцентируется внимание на необходимости проактивного планирования для минимизации потенциальных рисков, связанных с этой передовой технологией.
AGI, который обладает способностями, сравнимыми с человеческими в большинстве когнитивных задач, может стать реальностью в ближайшие годы. Учитывая возможности AGI, включая автономное понимание, планирование и выполнение действий, важность продуманного подхода к его разработке возрастает.
Исследователи подчеркивают, что AGI может принести значительные социальные преимущества, например, в области здравоохранения, образования и научных исследований. Тем не менее, с развитием технологий также приходят новые вызовы, включая возможность злоупотребления системами AGI и несоответствия между целями AI и человеческими намерениями.
В документе выделены четыре основные области риска: злоупотребление, несоответствие, аварии и структурные риски. Команда предлагает ряд мер предосторожности, включая ограничение доступа к опасным функциям и создание более прозрачных методов принятия решений для систем AGI. Подход включает в себя использование специальной системы мониторинга, которая должна обеспечивать контроль за действиями, не соответствующими установленным целям.
Дополнительно, Авторы подчеркивают важность сотрудничества с широким кругом заинтересованных сторон, включая экспертов, правительственные структуры и некоммерческие организации. Они стремятся работать над созданием международного консенсуса по вопросам безопасности AGI и обеспечению ответственности в области искусственного интеллекта.
Запуск нового курса по безопасности AGI для студентов и исследователей закономерно дополняет усилия команды по созданию безопасной и ответственной среды для развития искусственного интеллекта. Команда нацелена на долгосрочное сотрудничество с исследовательским сообществом, чтобы обеспечить необходимую безопасность в дальнейшем развитии AGI.