Международные технологические компании и общественные организации объединяют усилия для продвижения американского жестового языка (ASL) и разработки доступных искусственных интеллектов. NVIDIA, Американское общество глухих детей и креативное агентство Hello Monday запустили платформу Signs — интерактивный веб-сервис, предназначенный для обучения ASL и создания высококачественной базы данных видеоматериалов с подписями.
Цель проекта состоит в том, чтобы собрать и верифицировать около 400 000 видеоклипов с 1 000 словами на жестовом языке, что поможет развивать ИИ-приложения, преодолевающие коммуникационные барьеры между глухими и слышащими. В данных участвуют носители языка и профессиональные переводчики, что обеспечивает высокую точность и качество видеодиктанара. Доступные для общественности, эти данные послужат基础 для создания цифровых ассистентов, платформ видеоконференций и других технологий, поддерживающих коммуникативные потребности глухих.
Платформа уже предоставляет возможности обучения базовым жестам — порядка 100 слов, — а в будущем планируется расширение функциональности за счет отслеживания мимики и движений головы, а также учета региональных особенностей, сленга и нюансов. Важной частью проекта является привлечение пользователей, которые могут вносить свои записи, что позволит постоянно обновлять и совершенствовать базу данных.
Работа над проектом включает также сотрудничество с исследовательским центром Рочестерского института технологий, что способствует улучшению пользовательского опыта и расширению возможностей платформы. В ближайшее время dataset, использующийся в Signs, станет доступен всем желающим и послужит основой для создания более продвинутых ИИ-решений, способных обеспечить полноценное взаимодействие между глухими и слышащими.
На конференции NVIDIA GTC, которая пройдет в марте в Сан-Хосе, запланированы живые демонстрации платформы Signs и возможность для участников протестировать ее функциональность, а разработчики планируют дополнительно интегрировать в платформу поддержку невербальных сигналов и вариаций языка.