Лестница цен на обучение LLM: от $30 до $1 млрд
DeepSeek
OpenAI
Meta
Google/DeepMind
xAI
ByteDance
Статья разбирает реальные стоимости обучения языковых моделей с нуля, от домашних экспериментов на RTX 5090 до фронтирных моделей. Цифры отличаются на семь порядков: на каждом ярусе за деньги покупают разное, а за словами «обучить LLM» скрываются принципиально разные задачи — претрейн, пост-трейн и дообучение.
В статье на Хабре анализируется стоимость обучения LLM с нуля — от $30 на одной RTX 5090 до более $1 млрд для фронтирных моделей. Приводится формула C ≈ 6·N·D для оценки вычислений, где N — число параметров, D — число токенов. Рассматриваются пять ярусов: домашний (1 GPU, $30–700), нода (8×H100, $50–1000), малый кластер (сотни GPU, $0,5–3 млн), большой кластер (тысячи GPU, $6–20 млн) и фронтир (16K–100K+ GPU, $40 млн – $1 млрд+). Подчёркивается, что базовая модель после претрейна — это «Т9», а ассистентом её делает пост-трейн (SFT и RLHF), который составляет менее 2% вычислений. Например, InstructGPT 1,3B предпочитали голой GPT-3 175B. DeepSeek R1 обошёлся в ~$294 тыс. поверх V3 (база ~$5,6 млн). Карпатый показал nanochat за $100 — полный пайплайн на арендованной ноде за 4 часа.
- Сокращения
- FLOP = Floating Point Operations — операции с плавающей точкой
- MFU = Model FLOPs Utilization — утилизация модели в FLOP
- GPU = Graphics Processing Unit — графический процессор
- RLHF = Reinforcement Learning from Human Feedback — обучение с подкреплением на основе человеческой обратной связи
- SFT = Supervised Fine-Tuning — контролируемая донастройка
- RAG = Retrieval-Augmented Generation — генерация с дополнением через поиск
- RLVR = Reinforcement Learning with Verifiable Rewards — обучение с подкреплением с проверяемыми наградами
- AIME = American Invitational Mathematics Examination — Американская пригласительная математическая олимпиада
- BF16 = Brain Floating Point 16-bit — 16-битный формат с плавающей точкой Brain Float
- FP32 = Floating Point 32-bit — 32-битный формат с плавающей точкой
- FP4 = Floating Point 4-bit — 4-битный формат с плавающей точкой
- TDP = Thermal Design Power — термальный дизайн-пакет (максимальное тепловыделение)
- MoE = Mixture of Experts — смесь экспертов
- CBRN — не встречено в резюме (исключение)
Источник: Habr — хаб ИИ —
оригинал