#дистилляция моделей

И инструменты ·30 июл 2026

Как создать синтетический датасет для файнтюна: избегаем шаблонности и максимизируем разнообразие рассуждений

Разработчик предлагает пайплайн для генерации данных на обучение рассуждениям: абстрактные задачи создаются учительской моделью или процедурно, переводятся в естественный язык, решаются формальными верификаторами, и только проверенные примеры попадают в датасет. Цель — избежать главной проблемы синтетики (однообразные шаблоны) и создать качественный корпус для дистилляции в малые открытые модели.

0 93

М модели ·26 июл 2026

Стоит ли дообучать LLM в 2025 году?

В 2023 году кастомные дообученные модели (fine-tuning) показывали впечатляющие результаты в специализированных задачах. Но к 2025-му общие модели (GPT-4, Claude и др.) догнали и опередили их благодаря огромным контекстным окнам, reasoning-способностям и технологиям вроде RAG. Автор разбирает, когда дообучение всё ещё имеет смысл, а когда — пустая трата времени.

0 75