ainews
Kinney Drugs отключила AI-ассистента после сотен жалоб: неверные дозы и пропущенные рецепты
Американская аптечная сеть Kinney Drugs свернула AI-помощника Burt после жалоб на некорректные звонки, ошибки в дозировках и пропущенные уведомления о рецептах. Компания вернулась к классической тоновой системе для входящих звонков, оставив AI только для исходящих SMS с согласия клиентов. Президент компании признал провал пользовательского опыта, но настаивает на соблюдении HIPAA.
Это первый крупный публичный откат AI в аптечной рознице. Показывает, что даже простые сценарии (звонки о рецептах) могут стать катастрофой, если AI недостаточно обучен или плохо интегрирован. Для индустрии — сигнал притормозить и усилить контроль качества.
Что произошло
В мае 2024 года американская аптечная сеть Kinney Drugs запустила AI-ассистента Burt (названного в честь основателя компании) для обработки звонков о рецептах и повторных заказах. Эксперимент быстро провалился: клиенты жаловались на бессвязные диалоги, неправильные дозировки в уведомлениях и пропущенные важные звонки о готовых лекарствах.
Президент компании Джон Маррафа публично признал провал: «Соблюдение приватности и безопасности не означает, что мы правильно выстроили опыт использования. Мы облажались, и мы это признаём».
Теперь Kinney возвращается к классической тоновой системе для входящих звонков. Burt остаётся только для исходящих SMS-уведомлений о готовых рецептах — но только тем, кто явно согласился их получать.
Компания уверяет, что AI соответствует HIPAA (стандарту защиты медицинских данных в США), не использует open-source модели и не обучается на пользовательских данных. Но это не спасло от катастрофы в UX и доверии клиентов.
Автор: Дмитрий Орлов · Источник: hnrss.org
Разработчикам. Кейс показывает, что даже HIPAA-compliant AI может провалиться на базовом UX. Проблема не в безопасности, а в качестве инференса и обработке edge-cases в реальных диалогах. Важно тестировать не только compliance, но и сценарии с медицинскими терминами, переспросами, нестандартными запросами — иначе модель начинает галлюцинировать на критичных данных.
Бизнесу. Автоматизация поддержки в healthcare оказалась минным полем: ошибка AI в дозировке или пропущенный рецепт — прямой юридический и репутационный риск. Урок: в медицине и финансах нельзя запускать AI без страховочной сетки (human-in-the-loop, жёсткая валидация, fallback на оператора). Дешевле вернуться к тоновому меню, чем терять клиентов и судиться.
Инвесторам. Инцидент подчёркивает разрыв между compliance и реальной готовностью AI к высокорискованным вертикалям. Healthcare AI пока не дозрел для полной автономии в критичных задачах — рынок ждёт гибридные решения (AI + human oversight). Стартапы, обещающие «автопилот для медицины», должны доказать не только сертификацию, но и качество работы под нагрузкой.
- Разработка AI-ассистентов с обязательной «красной кнопкой» — переводом на оператора при неуверенности модели (confidence score < порог)
- Сервисы тестирования и мониторинга качества AI в healthcare: симуляция edge-cases, аудит галлюцинаций, dashboard для отслеживания ошибок в реальном времени
- Гибридные call-центры для медицины: AI отвечает на типовые запросы, человек подключается к сложным и критичным (триаж задач с помощью ML)
- Аудит и доработка существующих медицинских AI-систем: многие компании уже внедрили AI и сидят на бомбе замедленного действия — можно предложить пост-аудит и фикс
- Страховые продукты для AI-внедрений в healthcare: покрытие репутационных и юридических рисков при сбоях автоматизации
- Репутационный откат: неудачи таких внедрений усиливают недоверие к AI в медицине и замедляют adoption даже качественных решений
- Регуляторное ужесточение: после подобных инцидентов регуляторы могут ввести более жёсткие требования к pre-market тестированию AI в healthcare, что увеличит время и стоимость запуска
- Юридические иски: если из-за ошибки AI пациент получил неправильную дозу или не забрал вовремя лекарство — компания может столкнуться с судебными исками
- Переоценка готовности LLM: многие компании внедряют ChatGPT-подобные решения в критичные процессы без должной доработки — волна откатов неизбежна
Kinney Drugs наступила на классические грабли: запустила AI в критичный процесс без страховки и достаточного тестирования. Да, Burt соответствует HIPAA, но это не значит, что он умеет нормально разговаривать с людьми. Результат предсказуем: клиенты жалуются, компания извиняется и откатывается к технологиям 90-х. Ирония в том, что тоновое меню — более надёжное решение для аптеки, чем сырой AI.
Для индустрии это важный сигнал: healthcare AI пока не готов к полной автономии. Нужны гибридные системы, где AI фильтрует простые запросы, а человек подхватывает сложные. Иначе каждая вторая компания рискует повторить путь Kinney — от хайпа к публичному признанию провала. И да, клиенты в медицине не прощают ошибок: один неправильный звонок о дозировке — и репутация летит в трубу.
Комментарии