Что такое токены в ChatGPT и других нейросетях

Лимиты сообщений, стоимость API, размер контекстного окна — за всем этим стоит одна единица измерения: токен. Разбираем, что это такое и почему русскоязычным пользователям она обходится дороже.

Что такое токен простыми словами

Токен — это минимальная единица текста, с которой работает языковая модель, — не буква и не слово, а что-то среднее. Модель не оперирует целыми словами: она разбивает текст на токены и предсказывает каждый следующий «кирпичик» на основе предыдущих. Токеном может быть целое короткое слово, часть длинного слова или даже один символ — зависит от языка и конкретного слова.

Как считаются токены

Точный подсчёт токенов зависит от алгоритма токенизации конкретной модели, но есть ориентир: для английского текста один токен — это примерно 4 символа или 0,75 слова. То есть фраза из 75 английских слов уместится примерно в 100 токенов.

Почему русский язык «съедает» токены быстрее

Здесь и кроется главная особенность: та же фраза из 75 слов на русском языке потребует уже 120–150 токенов. Причина в том, что большинство популярных моделей изначально обучались преимущественно на английских текстах, и их алгоритм токенизации не всегда распознаёт русское слово целиком — часто разбивает его по частям или слогам. Например, английское «contract» — это один токен, а русское «программирование» — уже три-четыре. В IT-сообществе это называют «языковым налогом»: при равном объёме смысла русский текст обходится примерно в два раза дороже английского.

Почему это важно на практике

Токены напрямую влияют на три вещи: сколько текста поместится в контекстное окно за один запрос, сколько стоит запрос через платный API (тарификация идёт именно по токенам) и насколько быстро модель обработает ваш запрос. Пишете на русском — упираетесь в лимиты быстрее, чем пользователь с тем же объёмом текста на английском.

Какие модели эффективнее работают с русским

Не все модели одинаково страдают от «языкового налога» — есть модели с токенизаторами, специально оптимизированными под кириллицу: например, GigaChat и некоторые версии Qwen обрабатывают русский текст почти так же эффективно, как английский, без заметной переплаты токенов.

Как ускорить процесс с ruGPT

Если регулярно упираетесь в лимиты токенов на русском языке, полезно иметь под рукой несколько моделей и сравнивать, какая эффективнее справляется именно с вашим объёмом текста. ruGPT даёт доступ к ChatGPT, Claude, Gemini и другим топовым моделям в одном интерфейсе по единой подписке.