ainews
Создать
Войти
Разработчик с нуля обучил языковую модель на 1,1 млрд параметров на 20 млрд токенов из fineweb-edu, потратив около $200 через vast.ai. Использовал архитектуру на базе Gemma3, дообучил через LoRA на openhermes для чата. Качество уступает промышленным моделям, но проект показал реальную стоимость и процесс создания собственной LLM.
Статья предлагает практическую систему выбора между prompt-инжинирингом, RAG и дообучением LLM-моделей. Автор объясняет, что дообучение меняет поведение модели, RAG — расширяет доступные факты, а промптинг управляет обоими подходами. Главный тезис: fine-tuning — это про форму, а не факты.
Энтузиаст из Reddit обучил 32-миллиардную LoRA для FLUX.2 на потребительской видеокарте AMD с 24 ГБ памяти под нативным ROCm на Windows — на грани возможного. Пришлось преодолеть 14 багов: от крашей при загрузке 64 ГБ весов до мистических замедлений в 10 раз, которые лечились запуском второго процесса с GEMM-вычислениями. В итоге — 9–10 секунд на итерацию при разрешении 448×448.
В 2023 году кастомные дообученные модели (fine-tuning) показывали впечатляющие результаты в специализированных задачах. Но к 2025-му общие модели (GPT-4, Claude и др.) догнали и опередили их благодаря огромным контекстным окнам, reasoning-способностям и технологиям вроде RAG. Автор разбирает, когда дообучение всё ещё имеет смысл, а когда — пустая трата времени.
Amazon представила метод Self-Distilled Reasoning (SDR) для дообучения моделей Nova 2, который позволяет сохранить способность к рассуждениям даже при обучении на данных без промежуточных цепочек мыслей. SDR использует собственные reasoning-токены базовой модели, предотвращая «катастрофическое забывание» и улучшая точность на целевых задачах без необходимости дорогой ручной разметки.
