ainews
Когда переводчик начинает решать задачи вместо того, чтобы переводить
Разработчик столкнулся с неожиданной проблемой при переводе датасета с рассуждениями: модель Gemma вместо перевода начала решать математические и программистские задачи из текста. Оказалось, что когда данные содержат инструкции, модель может выполнять их вместо основного промпта — особенно при работе с длинными контекстами.
Проблема актуальна для любых задач трансформации текста (перевод, рерайт, корректура, саммаризация), где данные могут содержать собственные инструкции. Это форма непреднамеренной prompt injection, которая проявляется на длинных контекстах и требует архитектурных решений.
Когда AI-переводчик решает, что он слишком умён для перевода
Разработчик поделился неожиданным опытом при работе с переводом датасета Dolci-Think-SFT-7B. Задача казалась тривиальной: развернуть модель Gemma через vLLM, написать промпт для перевода — и готово. Но реальность оказалась сложнее.
Когда инструкция встречает инструкцию
Главная проблема: модель начала выполнять задачи из переводимого текста вместо самого перевода. Вместо того чтобы перевести описание математической задачи, она решала её. Вместо перевода кода — генерировала решения программистских проблем.
Это классический случай конфликта инструкций: внешний промпт просит «переведи», но данные внутри содержат свои команды типа «реши задачу» или «докажи теорему». Модель выбирает не то, что нужно.
Коварство скрытых проблем
Самое неприятное — всё выглядело нормально снаружи. Запросы завершались корректно, файлы имели правильное количество строк, пропускная способность была хорошей. Инференс-сервер не может отличить правильный результат от неправильного.
Автор заметил проблему только по косвенным признакам: переведённые тексты были значительно короче оригиналов. Это стало сигналом для ручной проверки.
Решение через чанкинг и боль
Что помогло: разбивка текста на меньшие куски (chunking) с защитой code fences, математических формул и специальных тегов. Логика проста: в коротких фрагментах инструкция перевода остаётся локально релевантной, не теряясь среди тысяч токенов.
Но чанкинг создал новые проблемы: разорванные блоки кода, теги <think>, несогласованная терминология между кусками. Пришлось писать парсер для корректного разделения документа на типизированные блоки.
Эксперименты и выводы
Тестирование на 340 образцах по 6 языкам и разной длине чанков показало: обе модели Gemma ведут себя прилично на малых кусках, но частота ошибок резко растёт на длинных. Gemma 4 отодвинула порог проблем дальше, но не решила их полностью.
Ещё один кроличий туннель — оценка качества. COMET-QE имеет ограничение по длине входа, что потребовало дополнительного сплиттинга и выравнивания. Даже усреднение скоров оказалось нетривиальным — пришлось взвешивать по длине, чтобы избежать искажений.
Ключевые выводы
- Модели могут выполнять инструкции из данных вместо инструкций из промпта — особенно при работе с текстами, содержащими задачи или рассуждения
- Инференс-серверы не могут отличить правильный вывод от неправильного — нужны дополнительные эвристики вроде проверки длины
- Чанкинг помогает сохранить фокус на основной инструкции, но создаёт проблемы с целостностью кода, формул и контекста
- Валидация на выборке известных ошибок не показывает реальную частоту проблем или качество на нормальных данных
- Оценка качества перевода длинных текстов требует нетривиальных решений по сплиттингу, выравниванию и взвешиванию скоров
Автор: Ксения Лаврова · Источник: reddit.com
Это отличный пример того, как «простая» задача разваливается, когда сталкиваешься с реальными данными. Разработчик хотел перевести датасет с рассуждениями и нарвался на фундаментальную проблему instruction-following моделей: они не различают «инструкцию в промпте» и «инструкцию в данных». Когда в тексте встречается «докажи теорему» — модель доказывает, а не переводит.
Особенно ценно, что автор честно рассказал про все грабли: чанкинг создаёт проблемы с контекстом, оценка качества требует костылей с выравниванием, а валидация на известных ошибках даёт ложное чувство успеха. Вывод прост: если работаете с переводом/рерайтом нестандартных текстов (код, формулы, reasoning traces) — готовьтесь к тому, что ваша модель будет интерпретировать содержимое по-своему. И да, Gemma 4 лучше Gemma 3, но волшебной таблетки нет.
Комментарии