С 28 ноября по 9 декабря 2022 года в Новом Орлеане, США, проходит тридцать шестая Международная конференция по нейронным информационным системам (NeurIPS 2022), крупнейшее событие в мире искусственного интеллекта и машинного обучения. DeepMind выступает на мероприятии в качестве алмазного спонсора, демонстрируя 47 научных работ, среди которых 35 результатов совместных исследований.
Одной из центральных тем конференции стали большие модели, обученные на огромных объемах данных, которые продемонстрировали выдающиеся результаты в генерации языка, текста, аудио и изображений. В частности, команда DeepMind представила языковую модель Chinchilla, состоящую из 70 миллиардов параметров, которая превосходит многие более крупные модели, такие как Gopher. Обновленные законы масштабирования больших моделей показали, что ранее обученные модели часто были избыточными по размерам, что стало основой для создания более эффективных и компактных вариантов.
Помимо этого, представлена модель Flamingo, способная обрабатывать изображения, видео и текстовые данные. Эта модель устанавливает новые стандарты в области обучения с малым количеством примеров для разнообразных открытых многомодальных задач.
Кроме того, участники конференции обсудят важность свойств данных для повышения эффективности трансформеров и представят новые подходы к обучению с подкреплением, которые показывают многообещающие результаты в сложных задачах.
DeepMind также активно работает над разработкой этичных и прозрачных систем ИИ, включая предложенные методы диагностики и исправления проблем с честностью моделей при изменениях распределений. Эти усилия нацелены на более безопасную интеграцию технологий машинного обучения в здравоохранение.
На конференции представлены ключевые исследования и инновации, которые могут существенно изменить подходы к разработке и применению ИИ в различных сферах.