Исследователи Марк’Aурелио Ранзато и Амаль Раннен-Трики представили новый подход к изучению переноса знаний в рамках своего исследования, озаглавленного NEVIS’22: Поток из 100 задач, извлеченных из 30 лет исследований в области компьютерного зрения. Работа акцентирует внимание на проблемах, связанных с эффективностью и производительностью крупных моделей глубокого обучения (DL), которые, несмотря на свои выдающиеся достижения, могут оказаться ресурсоемкими.
Одной из основных проблем, выявленных в исследовании, является то, что при развертывании крупных моделей их знания по одной задаче редко используются для выполнения последующих задач. Кроме того, новые данные или вычислительные мощности часто требуют полного переобучения моделей, что является затратным и длительным процессом. Исследователи задаются вопросом, возможно ли улучшить соотношение между эффективностью и производительностью моделей DL, повышая их скорость и устойчивость.
NEVIS’22 представляет собой контрольный поток данных, включающий 106 задач, извлеченных из публикаций, случайным образом выбранных из онлайн-протоколов основных конференций по компьютерному зрению за последние три десятилетия. Задачи организованы хронологически, что предоставляет возможность исследователям исследовать, как модели могут накапливать знания и более эффективно адаптироваться к новым задачам. Это включает в себя методику, используемую для обучения и оценки моделей, которая сосредоточена на соотношении между частотой ошибок и вычислительными затратами.
Начальные эксперименты показали, что модели, которые достигают лучшего баланса, используют общую структуру задач и применяют формы переноса знаний. Это открывает новые перспективы для улучшения общих представлений масштабных моделей и поднимает совершенно новую проблему в области разработки эффективных моделей «никогда не заканчивающегося» обучения.
Данное исследование, помимо предоставления нового проверочного потока, предлагает исследователям возможность внедрить и протестировать новые методы обучения, нацеленные на более эффективное использование знаний, уже имеющихся в моделях.