ainews
Google показала AMIE (Video) — AI-врача, который в реальном времени проводит видеоконсультации на уровне экспертов
Google Research представила AMIE (Video) — AI-систему на основе Gemini и Project Astra, которая проводит клинические консультации по видеосвязи в реальном времени. В рандомизированном исследовании с 300 живыми сессиями и 30 врачами-терапевтами система показала экспертный уровень: считывает невербальные сигналы, направляет пациента через физический осмотр и рассуждает диагностически. Используется трёхагентная архитектура, где один агент поддерживает беседу, второй анализирует аудио и видео, третий проводит глубокое клиническое рассуждение — всё параллельно, без задержек в диалоге.
Это первая AI-система, которая проводит клинические видеоконсультации на уровне врача — технологический барьер преодолён. Если регуляторы одобрят, миллионы людей в регионах без врачей получат доступ к экспертной диагностике, а врачи смогут сфокусироваться на сложных случаях.
Что сделали
Google Research выпустила новую версию AMIE — AI-системы для клинической диагностики, теперь работающую через видео в режиме реального времени. AMIE (Video) построена на Gemini и Project Astra. Система проводит синхронные видеоконсультации: воспринимает невербальные клинические сигналы (походка, дыхание, признаки боли), руководит виртуальным физическим осмотром и рассуждает диагностически — всё прямо в разговоре.
Архитектура и тестирование
Основная проблема: AI должен отвечать мгновенно (как человек в разговоре), но параллельно проводить глубокий анализ видео, аудио и симптомов — на это нужно время. Google решили задачу через трёхагентную асинхронную архитектуру. Агент разговора поддерживает беседу с естественной скоростью. Агент восприятия непрерывно обрабатывает видео- и аудиопотоки (дыхание, визуальные признаки). Агент рассуждения выполняет клиническую логику в фоне. Агенты работают параллельно — пациент не чувствует пауз.
Для оценки создали таксономию аудио-визуальных клинических компетенций (невербальные сигналы, физический осмотр, латеральность симптомов) и автоматизированный набор тестов. Затем провели рандомизированное исследование: 100 сценариев, 300 живых консультаций с актёрами-пациентами, оценка 30 врачами-терапевтами. AMIE (Video) показала экспертный уровень — первая такая демонстрация для AI в видеоконсультациях.
Ранее AMIE работала только с текстом — пациенты описывали симптомы письменно, система не видела и не слышала. Видеоверсия устраняет этот разрыв: теперь AI видит походку, слышит кашель, замечает одышку — как живой врач на приёме.
Автор: Никита Громов · Источник: research.google
Разработчикам. Трёхагентная асинхронная архитектура — готовый паттерн для real-time multimodal AI: один агент держит latency разговора низкой, второй обрабатывает тяжёлые потоки (видео, аудио), третий думает в фоне. Интеграция Gemini и Project Astra даёт out-of-the-box восприятие и reasoning. Автоматизированная evaluation suite по таксономии компетенций — масштабируемый подход к валидации медицинских AI до живых тестов.
Бизнесу. AI-консультант уровня врача открывает рынок телемедицины в регионах без специалистов и снижает нагрузку на клиники. Партнёрства с Beth Israel Deaconess и Included Health (nationwide study) показывают путь к интеграции в практику. Ключевые вертикали: онкология, кардиология, офтальмология — уже есть specialist-level evaluations. Модель physician-centered oversight позволяет внедрять AI как ассистента, а не замену, снижая регуляторные риски.
Инвесторам. Healthtech AI с экспертным уровнем в видеоконсультациях — мультимиллиардный рынок. Google строит full-stack: от research (AMIE) до клинических испытаний с топовыми клиниками. Трёхагентная архитектура решает проблему latency vs reasoning — технологический барьер для конкурентов. Рост спроса на telehealth после пандемии + дефицит врачей = сильный tailwind. Риск: регулирование медицинских AI и вопрос liability.
- AI-ассистент для врачей первичного звена в телемедицине: сервис-надстройка над Zoom/Teams для автоматической диагностической поддержки в реальном времени
- Платформа для удалённого скрининга в развивающихся рынках и сельских регионах — подписка для клиник без узких специалистов
- Инструмент для обучения медстудентов: симуляция консультаций с AI-пациентом, который реагирует визуально и вербально, мгновенная обратная связь по компетенциям
- API для integration в EMR-системы (Epic, Cerner): автоматическое извлечение клинических находок из видеоконсультаций в структурированные записи
- Специализированные вертикали (онкология, кардио, офтальмология): AI второе мнение для редких диагнозов — B2B для страховых и больниц
- Регуляторные барьеры: FDA, EMA требуют долгих клинических испытаний для медицинских AI, выход на рынок через 3-5 лет, если вообще одобрят автономное использование
- Проблема liability: кто отвечает за ошибку AI-диагноза — разработчик, клиника, врач? Юридическая неопределённость тормозит внедрение
- Переоценка возможностей: исследование с актёрами-пациентами в controlled setting — это не реальная клиника с нестандартными случаями, редкими болезнями и сложными коморбидностями
- Проблема доверия пациентов: многие не захотят консультироваться с AI, особенно в серьёзных случаях — культурный барьер
Это действительно впечатляющий технологический шаг — трёхагентная архитектура элегантно решает проблему, которая мучила всех, кто пытался делать real-time AI с глубоким reasoning. Один агент держит разговор живым, второй анализирует видео и аудио, третий думает в фоне — просто и работает. Для разработчиков это готовый паттерн, который можно тащить в education, customer support, коучинг.
Но в медицине всё сложнее. Исследование проведено с актёрами-пациентами в контролируемых сценариях — это не реальная клиника, где приходят с редкими болезнями, неожиданными комбинациями симптомов и кучей коморбидностей. Регуляторы потребуют годы испытаний на настоящих пациентах, прежде чем одобрят такое для самостоятельного использования. Плюс вопрос liability: если AI ошибётся, кто отвечает? Юристы и страховые будут тормозить внедрение. Google явно делает долгую ставку — партнёрства с Beth Israel и Included Health, nationwide study — но до массового применения ещё далеко. Пока это исследовательский прорыв, а не продукт.
Комментарии