Разнообразие токенизаторов в моделях искусственного интеллекта вызывает всё больше вопросов относительно их влияния на процесс обработки текста. В новом исследовании было отмечено, что токенизаторы OpenAI и Anthropic используют различные подходы, что приводит к значительным различиям в количестве генерируемых токенов для одинаковых текстов.
В статье рассматриваются две передовые модели – ChatGPT от OpenAI и Claude 3.5 Sonnet от Anthropic. Несмотря на сопоставимые цены на токены, эксперименты показывают, что модели Anthropic могут оказаться на 20-30% дороже моделей GPT из-за особенностей токенизации.
По состоянию на июнь 2024 года, стоимость токенов для обеих моделей остается конкурентоспособной. Тем не менее, несмотря на то что стоимость входных токенов для Claude 3.5 Sonnet на 40% ниже, увеличение общего количества токенов, генерируемых этой моделью, приводит к более высоким затратам в практическом использовании.
Токенизаторы Anthropic чаще разбивают входные данные на большее количество токенов по сравнению с OpenAI, что особенно заметно для более структурированных или технических текстов. Например, при анализе интеллектуальных документов и кода было замечено, что для математических уравнений токенизация увеличивается на 21%, а для кода на 30% по сравнению с GPT-4o. Это приводит к тому, что фактическое использование доступного пространства токенов может быть снижено, что ставит под сомнение эффективность ранее объявленных размеров контекстных окон.
Кроме того, подход Articul8, новой компании, разработавшей специализированные модели для производственных цепочек, подчеркивает важность поиска решений для сложных задач, которые требуют глубокой доменной экспертизы. Использование их платформы уже приносит ощутимые результаты, такие как интеллектуальный помощник для анализа инцидентов в производственных процессах.