Как AI за один день нашёл сотни багов в компиляторах — и почему это тревожит
Инженер с 10-летним опытом в компиляторах запустил AI-агентов (ChatGPT 5.5, Claude Opus 4.7) на поиск багов в LLVM, NVIDIA ptxas и AMD. За несколько дней нашли ~80 багов в закрытом NVIDIA ptxas, десятки в AMD AMDGPU. Claude читал код напрямую и находил баг каждые 4 минуты — в 10+ раз быстрее фаззера. Потратил $10 000+ за день. Обновление: новый Opus 4.8 с «ultracode» в 5 раз эффективнее фильтрует мелочи и ищет серьёзные баги.
Это переломный момент: поиск критических багов в инфраструктуре (компиляторы GPU, на которых строится весь AI-стек) больше не требует недель ручной работы — достаточно API-бюджета и правильного промпта. Если сейчас один человек за день находит сотни багов в NVIDIA/AMD за $10К, завтра это может делать кто угодно — или использовать для поиска эксплойтов.
Когда AI начинает видеть баги лучше людей
Инженер с десятилетним опытом в компиляторах (Google, Waymo, OpenAI) решил проверить, сколько багов живёт в популярных компиляторах. В январе 2026 он с помощью Codex написал фаззер для LLVM — программу, генерирующую случайные тесты и проверяющую, не сломал ли компилятор логику. За несколько недель нашёл 5 багов в instcombine (оптимизационный проход LLVM), после чего процесс замедлился.
Внезапный прорыв
В мае повторил эксперимент с закрытым компилятором NVIDIA ptxas. Ожидал меньшего результата (нельзя быстро править код, нет инструментации), но ChatGPT 5.5 изменил правила игры: за 3 дня нашли 40 багов, через неделю — около 80. Инженер вообще не смотрел в код — просто ставил LLM задачи через /goal и уходил спать. Модель сама выбирала инструкции для теста, минимизировала воспроизводящие примеры (иногда час+), модифицировала фаззер, чтобы не топтаться на одном баге.
С AMDGPU backend (AMD, open-source) результат аналогичный. Claude Opus 4.7 и ChatGPT 5.5 показали примерно одинаковое качество.
«А что если просто попросить AI читать код?»
Когда фаззер замедлился (находил баг раз в несколько часов), автор задался вопросом: зачем городить фаззер, если можно запустить агентов напрямую? Запустил 50 параллельных Claude-агентов на чтение кода LLVM.
Результат: баг каждые 4 минуты. В разы быстрее фаззера. За один день потратил более $10 000 на API — и нашёл сотни потенциальных багов, включая серьёзные miscompile (когда компилятор неправильно преобразует программу).
Update: новое поколение ещё эффективнее
На следующий день после публикации Anthropic выпустила Opus 4.8 с режимом «ultracode» в Claude Code. Предварительные тесты показывают: связка убирает мусор (мелкие баги) гораздо лучше, а стоимость поиска одного средне-серьёзного бага упала примерно в 5 раз (с большой погрешностью).
Баги в открытом доступе
Все найденные баги (точнее, найденные Codex и Claude) лежат в репозитории FuzzX на GitHub. AMD уже пофиксила 5 багов, благодаря open-source их можно применить мгновенно. С закрытым NVIDIA ptxas сложнее — остаётся только надеяться на реакцию вендора.
Выводы
Автор признаётся: самое тревожное — не количество багов, а насколько легко это стало. Не нужны глубокие знания фаззинга, достаточно правильно поставить задачу LLM. Если сейчас за $10К можно найти сотни багов за день, что будет через год? И кто ещё уже этим занимается?
Ключевые выводы
- ChatGPT 5.5 и Claude Opus 4.7 позволили «vibe-code» фаззер без написания кода: инженер просто ставил задачи, модель сама писала тесты, минимизировала воспроизводящие примеры, модифицировала фаззер
- За 3 дня нашли ~40 багов в закрытом NVIDIA ptxas, за неделю ~80. С AMD AMDGPU (open-source) темп аналогичный — вопреки ожиданиям, что закрытый код сложнее фаззить
- Прямое чтение кода AI-агентами оказалось в 10+ раз эффективнее фаззера: баг каждые 4 минуты vs. несколько часов. Потратили $10К+ за день
- Anthropic Opus 4.8 + «ultracode» (релиз на следующий день после статьи) снижает стоимость поиска серьёзных багов примерно в 5 раз, лучше фильтрует мелочи
- Open-source (AMD) позволяет мгновенно применять фиксы и даже править самому; с закрытым (NVIDIA) остаётся ждать реакции вендора
Автор: Елена Верещагина · Источник: newsletter.semianalysis.com
Это один из тех моментов, когда понимаешь: игра изменилась. Человек с 10-летним опытом в компиляторах **вообще не смотрел в код** — просто ставил задачу LLM на ночь и утром получал десятки багов. Причём не абстрактных, а miscompile в production-компиляторах NVIDIA и AMD, на которых работает половина AI-индустрии. За три дня нашли больше, чем за недели классического фаззинга. И это январь-май 2026 — GPT-5.5 и Opus 4.7. Новый Opus 4.8 уже в 5 раз эффективнее.
Что настораживает: барьер входа рухнул. Раньше нужна была экспертиза в фаззинге, компиляторах, архитектуре GPU. Теперь — API-ключ и умение формулировать задачу. Автор потратил $10К за день и был *удивлён результатом*. Значит, кто-то с бюджетом может делать это систематически — искать не баги для фикса, а эксплойты для атак. Open-source (AMD, LLVM) хотя бы можно быстро пофиксить, но с закрытым NVIDIA ptxas остаётся только сообщить и ждать. И да, все найденные баги лежат в открытом GitHub — добро пожаловать в новую реальность, где безопасность инфраструктуры проверяется AI быстрее, чем люди успевают осознать масштаб.
Комментарии