Как Photoroom собирала данные для PRX: честный разбор стратегии без прикрас
Команда Photoroom рассказала, как готовила данные для обучения 7B-модели PRX. Главное: разнообразие важнее красоты, длинные описания лучше коротких, а правильный микс форматов (Lance + MDS) экономит месяцы работы. Никакой магии — прагматика, измерения и выводы из ошибок.
Это редкий честный разбор данных для обучения генеративной модели от команды, которая реально запустила продукт. Конкретные компромиссы, цифры и ошибки — то, чего не найти в маркетинговых постах.
Данные для PRX: стратегия без прикрас
Команда Photoroom опубликовала четвёртую часть серии о создании PRX — на этот раз про самую неблагодарную, но критически важную часть: подготовку данных.
Разнообразие бьёт качество
Главный принцип: на этапе предобучения важнее охват и разнообразие, чем эстетика каждой картинки. Модель учится понимать, как выглядит мир — объекты, сцены, композиция, освещение. Излишняя фильтрация по красоте сужает распределение и лишает модель визуальных концепций, которые не восстановить позже.
Полировка результата — задача файнтюнинга на маленьких, жёстко отобранных датасетах. Предобучение — про широту, файнтюнинг — про вкус.
Длинные подписи решают
Команда эмпирически убедилась (см. Part 2): длинные, точные описания всего содержимого картинки работают лучше коротких. Если описание честное, то скриншоты, логотипы, текст в кадре перестают быть «шумом» — модель учится воспринимать их как управляемые атрибуты, а не воспроизводить бесконтрольно.
Точные подписи превращают «мусор» в то, что можно запромптить — или исключить промптом.
Форматы: Lance + MDS
Photoroom использует связку двух форматов: - Lance для сборки и исследования датасета (колоночный формат с дешёвым поиском, индексами, миллиардами строк) - MDS (Mosaic Data Shards) для стриминга в распределённом обучении (работает напрямую из S3/GCS, легко миксуется)
MDS жёсткий — изменить структуру = переписать весь датасет. Lance гибкий — идеален для фичей и фильтрации. Вместе закрывают весь пайплайн.
Практические решения
Текстовые латенты: переключились с T5Gemma на Qwen3-VL и отказались от предвычисления — вычисляют латенты налету. Цена: ~3–4% throughput (1 лишний день из 30). Выигрыш: датасет в разы меньше (влезает на SSD кластера), свобода менять энкодер без перезаписи терабайтов.
JPEG вместо PNG: качество 92, проверили на реальных циклах decode/encode. Реальные фото уже сжаты JPEG несколько раз, вопрос в том, вредит ли ещё одна итерация. Ответ: нет, если делать правильно.
Итог
Никакого волшебства — только измерения, прагматика и честные выводы. Команда не строила «идеальный датасет с нуля», а собрала солидную отправную точку быстро, опираясь на готовую курацию и инструменты. Для 7B-модели этого хватило.
Ключевые выводы
- На предобучении разнообразие датасета важнее эстетики отдельных изображений — узкая фильтрация лишает модель концепций
- Длинные, точные подписи превращают «шум» (логотипы, текст) в управляемые атрибуты вместо случайных артефактов
- Связка Lance (для сборки) + MDS (для стриминга) экономит месяцы на переписывании датасетов
- Вычисление текстовых латентов налету вместо предвычисления стоит 3–4% throughput, но даёт гибкость и сжатие
- JPEG quality 92 безопасен для реальных изображений, уже прошедших несколько циклов сжатия
Автор: Артём Ковалёв · Источник: HuggingFace Blog
Это действительно редкая штука — пост, где команда не пиарит модель, а честно разбирает unglamorous часть: данные. И это ценно.
Особенно крута мысль про разнообразие vs эстетику: на предобучении модель учится понимать *мир*, а не генерировать обложки журналов. Файнтюнинг потом всё отполирует, а вот если на старте отфильтровать «скучные» картинки — модель не узнает целые классы объектов и сцен. Логично, но неочевидно.
Длинные подписи — это тоже инсайт. Если точно описать всё в кадре (включая логотипы, текст), модель учится их контролировать через промпт. Без точных описаний это просто шум, который вылезет случайно. Но тут вопрос: кто писал эти длинные подписи? Судя по тексту, VLM (vision-language model) — значит, качество напрямую зависит от того, насколько хорош сам капшионер. Об этом в посте ни слова, а это слабое место.
Комментарии