Команда, занимающаяся интерпретацией языковых моделей, анонсировала запуск Gemma Scope — нового набора инструментов, который позволит исследователям глубже понять внутренние механизмы языковых моделей Gemma 2. Этот инструмент представляет собой коллекцию открытых разреженных автоэнкодеров (SAE), которые помогут в исследовании и анализе моделей Gemma 2 9B и 2B.
В последние годы изучение механизмов интерпретации стало важной задачей для исследователей, работающих с искусственным интеллектом. Актуальная проблема заключается в том, что внутренние процессы работы языковых моделей зачастую остаются загадкой, даже для разработчиков этих систем. Новый инструмент Gemma Scope представляет собой «микроскоп», позволяющий увидеть, как именно языковые модели обрабатывают информацию и реагируют на запросы.
Разработчики Gemma Scope также открывают код инструмента Mishax, который способствовал значительной работе в области интерпретации, предоставляя возможность другим исследователям углубиться в эту тематику. С релизом Gemma Scope команда надеется на продвижение более амбициозных исследований, которые помогут создать более надежные нейронные сети и защитить пользователей от возможных манипуляций со стороны автономных AI-систем.
В общей сложности было создано более 400 разреженных автоэнкодеров, которые смогут помочь в анализе сложных алгоритмов в больших моделях, определяя развитие и взаимодействие различных признаков на всех уровнях. Этот набор инструментов специально спроектирован для улучшения акцентирования на динамике характеристик языковых моделей и их взаимодействии.
Представленный набор инструментов является результатом совместной работы группы исследователей и инженеров, работающих над данной областью. Разработка такого масштаба потребовала значительных вычислительных ресурсов и времени, однако открытие Gemma Scope открывает новые горизонты для исследователей, стремящихся улучшить интерпретацию современных AI моделей и справиться с вызовами, которые они представляют.