ainews
Обвинения в «дистилляции» AI-моделей раздуты: почему это не кража, а норма индустрии
Каждый раз, когда выходит сильная открытая AI-модель, её обвиняют в «дистилляции» из GPT-4 или Claude. Автор разбирает, почему это миф: настоящая дистилляция требует доступа к внутренним вероятностям модели (logits), которых нет в публичных API. То, что называют «дистилляцией», — просто обучение на синтетических данных, что делают все лаборатории, включая OpenAI и Anthropic. Обвинения особенно часто летят в сторону китайских лабораторий, хотя их модели показывают реальные архитектурные улучшения.
0
75
