DeepSeek представила SPCT — новый метод масштабирования инференса для улучшения моделей вознаграждения и намекнула на R2

Компания DeepSeek, известный игрок в области больших языковых моделей, опубликовала исследовательскую статью, в которой описала новую технику для улучшения масштабируемости общих моделей вознаграждения на этапе инференса. Одновременно компания намекнула на скорый выход своей модели следующего поколения — R2. Статья под названием «Inference-Time Scaling for Generalist Reward Modeling» представляет метод SPCT (Self-Principled Critique Tuning), который позволяет GRM динамически генерировать принципы и критику для оптимизации вознаграждения. Метод включает два этапа: rejection fine-tuning для холодного старта и rule-based online RL для дальнейшей оптимизации. Для эффективного масштабирования используется параллельная выборка: DeepSeek-GRM генерирует несколько наборов принципов и критики, а итоговое вознаграждение выбирается голосованием с помощью мета-модели вознаграждения. Эксперименты показали, что SPCT значительно улучшает качество и масштабируемость GRM, превосходя существующие методы. Учитывая акцент DeepSeek на чистом обучении с подкреплением для улучшения рассуждений, ожидается, что R2 будет включать наработки из этого исследования. Работа опубликована на arXiv.