Неэффективный токенизатор Anthropic усложняет ценообразование ИИ

Согласно статье издания The Register, токенизатор компании Anthropic, используемый в её моделях ИИ, оказался чрезвычайно расточительным, что создаёт проблемы при сравнении цен с конкурентами. Исследование компании Artificial Analysis показало, что для простой математической задачи Claude 3.5 Sonnet потребовалось на 300% больше токенов, чем OpenAI GPT-4o. Поскольку провайдеры ИИ взимают плату за токен, это приводит к значительному удорожанию. Неэффективность объясняется тем, что токенизатор Anthropic излишне подробно разбивает числа, выделяя подстроки, в то время как конкуренты кодируют числа как целые токены. В тестах на других языках разница также была заметна: для русского текста токенизатор Anthropic использовал на 40% больше токенов, чем GPT-4o, а для китайского — на 67%. Для латинского алфавита разница была минимальной. Исследователь рекомендует провайдерам указывать не только цену за токен, но и типичное количество токенов для разных типов задач, чтобы клиенты могли объективно оценить затраты.