ainews
Whisper, Qwen3-ASR и Nemotron теперь работают локально на iPhone — разбор реального кейса
Разработчик создал LiveTranscriber — полностью офлайновое iOS-приложение для транскрибации речи с поддержкой Whisper, Qwen3-ASR, NVIDIA Nemotron и MOSS. Все модели работают на устройстве без отправки данных в облако. Проект open-source с готовым решением в App Store.
Это пример того, как современные open-source модели можно превратить в реальный продукт для iPhone. Показывает, что локальный AI уже не требует облака — и это меняет правила игры для приватности и автономных приложений.
Что произошло
Разработчик William Li выпустил LiveTranscriber — iOS-приложение для локальной транскрибации речи на iPhone. В отличие от облачных сервисов, все вычисления происходят на устройстве: Whisper для транскрибации, Qwen3-ASR для мультиязычного распознавания, NVIDIA Nemotron для стриминга с низкой задержкой, MOSS для распознавания разных говорящих.
Приложение поддерживает офлайн-режим, распознавание нескольких голосов, генерацию саммари и ключевых тезисов через Qwen3, синхронизацию с Apple Watch и переключение между моделями прямо на устройстве. Проект полностью open-source — код на GitHub, готовое приложение в App Store.
Главная задача была не просто запустить модели, а сделать их удобными для реального использования: управление памятью, оптимизация задержек, переключение бэкендов, экономия батареи. Это не технодемо, а попытка превратить исследовательские модели в продукт для ежедневной работы.
Автор: Павел Заславский · Источник: reddit.com
Разработчикам. Готовый референс для on-device inference на iOS: работа с Core ML, управление памятью при загрузке нескольких моделей, стриминг с низкой задержкой. Код открыт, можно изучить реализацию и адаптировать под свои задачи.
Бизнесу. Демонстрация, что локальный AI на мобильных уже не эксперимент. Ниши: корпоративные инструменты (конфиденциальность данных), диктофоны для журналистов, accessibility-приложения, инструменты для работы без интернета.
Инвесторам. Подтверждение тренда on-device AI: экономия на серверах, соблюдение приватности, работа офлайн. Растёт спрос на инструменты для edge computing и локальные AI-сервисы в корпоративном сегменте.
- Создать B2B-версию для корпоративных клиентов (медицина, юриспруденция) — конфиденциальность данных как главное преимущество
- Разработать SDK для интеграции локальной транскрибации в сторонние приложения (CRM, заметки, образование)
- Адаптировать решение для Android и сравнить производительность — выйти на более широкий рынок
- Запустить premium-подписку с дополнительными моделями и функциями (специализированные языки, fine-tuned модели для медицины/права)
- Использовать как референс для консалтинга по on-device AI — помогать другим компаниям внедрять локальные модели
- Качество распознавания на реальных iPhone может быть ниже, чем у облачных решений (Google, OpenAI) — пользователи быстро вернутся к привычным инструментам
- Высокие требования к железу: старые iPhone могут не потянуть или разряжаться за час — ограниченная аудитория
- Конкуренция с Apple Dictation и встроенными инструментами iOS, которые лучше интегрированы в систему
- Open-source может стать проблемой для монетизации — конкуренты быстро скопируют решение
Это тот редкий случай, когда open-source проект не застревает на уровне Jupyter-ноутбука, а превращается в готовое приложение с UX. William Li решил реальные инженерные задачи: как управлять памятью при загрузке нескольких моделей, как переключаться между бэкендами, как стримить с низкой задержкой. Это не просто «запустили модель на телефоне» — это полноценный продукт.
Но вопрос остаётся открытым: насколько качество распознавания близко к облачным решениям? Если LiveTranscriber даёт 85-90% от точности Google или OpenAI, это уже готовая ниша для корпоративных клиентов, где приватность важнее совершенства. Если же разница ощутима, большинство вернётся к привычным инструментам. Главная ценность здесь — не сами модели, а доказательство, что on-device AI на мобильных уже не эксперимент, а работающая реальность.
Инструменты из статьи
Открытая модель распознавания речи OpenAI. Отличный русский, работает локально.
Доступ из РФ →
Комментарии