Исследовательская команда, включая Вирорику Патраукеан, Лукаса Смаиру и других, представила Пробный Тест Перцепции — новый мультимодальный бенчмарк, который поможет оценить способности моделирования восприятия на основе реальных видео, аудио и текстовых данных. Это важный шаг в развитии искусственного интеллекта, поскольку такие бенчмарки играют ключевую роль в определении исследовательских целей и измерении прогресса.
В последние десятилетия многие прорывы в области ИИ, включая AlexNet в компьютерном зрении и AlphaFold в сворачивании белков, были тесно связаны с использованием бенчмарк-датасетов. Целью нового теста является помощь исследователям в создании более универсальных моделей восприятия, которые важны для робототехники, автономных автомобилей и медицинской визуализации.
Существующие бенчмарки, такие как Kinetics и Audioset, охватывают лишь отдельные аспекты восприятия. Новый тест включает 11,609 видео, снятых с участием более 100 человек, которые охватывают шесть различных типов задач, позволяя оценивать навыки моделирования и понимания. Одной из ключевых особенностей является оценка моделей по нескольким измерениям и их сопоставление по различным задачам.
Бенчмарк будет доступен для широкой аудитории, что создаст возможности для дальнейшего исследования и разработки новых методов в области ИИ. Сервер для оценки результатов и таблица лидеров будут запущены в ближайшее время. В рамках European Conference on Computer Vision, прошедшей 23 октября 2022 года в Тель-Авиве, также состоялся семинар по вопросам общих моделей восприятия.