Генеративный ИИ — инженерная катастрофа с глобальными последствиями
Технологические компании скупают 70% мировых запасов высокопроизводительной памяти для LLM-моделей, вызывая дефицит и скачок цен на жёсткие диски (до +130%), ноутбуки (до +50%) и базовые компьютеры, которые могут исчезнуть к 2028 году. Проблема в том, что генеративный ИИ масштабируется катастрофически плохо — каждый новый пользователь и параметр модели увеличивает затраты ресурсов квадратично, а не логарифмически, как любая нормальная технология.
Гонка за размером LLM создаёт глобальный дефицит компьютерной техники и делает её недоступной для массового потребителя и малого бизнеса. Если подход не изменится, доступные компьютеры могут исчезнуть, а цены на технологию продолжат расти — при том что рентабельность самих ИИ-компаний остаётся под вопросом.
Дефицит памяти и взлёт цен
Tech-гиганты скупают до 70% мировых запасов высокопроизводительной компьютерной памяти для обучения и работы больших языковых моделей. Следствие — глобальный дефицит и скачок цен: жёсткие диски подорожали с $350 до $800 за два года (и теперь закончились), ноутбуки — до 50%, а доступные компьютеры начального уровня могут полностью исчезнуть с рынка к 2028 году. Дефицит ожидается ещё несколько лет.
Компании планируют увеличить ёмкость дата-центров в США в 8 раз за ближайшие годы. Потребление электричества уже настолько велико, что некоторые фирмы переоборудуют реактивные двигатели для питания серверов.
Технология, которая не масштабируется
Проблема не в массовости внедрения — стриминг, смартфоны, IoT росли так же быстро, но без таких последствий. Дело в том, что генеративный ИИ не масштабируется: обычные технологии дешевеют с ростом числа пользователей (логарифмическое масштабирование), LLM — дорожают (квадратичное).
В компьютерных науках студентов учат избегать квадратичного масштабирования — это грубая инженерная ошибка. Но ИИ-индустрия идёт по пути brute force: модели выросли с 175 млрд параметров в 2020 году до >1 трлн сегодня. Чем больше модель, тем меньше улучшение от каждого нового параметра — приходится наращивать размер всё быстрее просто для поддержания прогресса.
Экономика пузыря
Илья Суцкевер (сооснователь OpenAI) объяснил подход «в лоб» тем, что это наименее рискованный способ вложить ресурсы, когда у тебя триллионная оценка. Организация Epoch AI опубликовала график экспоненциального роста затрат на обработку токенов — чем больше пользователей, тем дороже каждый следующий.
Исследователи не смогли назвать другого ПО, которое масштабировалось бы так плохо. Даже за пределами софта трудно найти аналог — принцип экономии на масштабе сделал доступными лампочки, автомобили, одежду. По инженерным и экономическим меркам, генеративный ИИ может быть худшей из когда-либо внедрённых технологий.
Ключевые выводы
- LLM скупают 70% мировых запасов высокопроизводительной памяти, вызывая дефицит и скачок цен на компьютерную технику до 50%
- Генеративный ИИ масштабируется квадратично, а не логарифмически — каждый новый пользователь/параметр дорожает, а не дешевеет
- Модели выросли с 175 млрд до >1 трлн параметров, но отдача от роста падает — приходится наращивать размер всё быстрее
- Дата-центры США планируется увеличить в 8 раз за несколько лет, некоторые компании используют реактивные двигатели для питания
- По инженерным меркам генеративный ИИ — грубейшая ошибка проектирования, которую студентов учат избегать на первом курсе
Автор: Дмитрий Орлов · Источник: hnrss.org
Это текст из расследования The Atlantic, и цифры там жёсткие: жёсткие диски за два года выросли с $350 до $800 и исчезли из продажи, ноутбуки подорожали до 50%, дата-центры планируют расширить в 8 раз. Но самое страшное — не масштаб, а то, что это **системная инженерная ошибка**. Любой студент компьютерных наук знает: квадратичное масштабирование — это провал проектирования, а LLM работают именно так. Чем больше пользователей — тем дороже каждый следующий, вместо того чтобы дешеветь, как в нормальных технологиях.
И вот что пугает: ИИ-компании знают об этом, но продолжают гнать размер моделей вверх, потому что это «низкорисковый» способ осваивать триллионные инвестиции. Илья Суцкевер из OpenAI так прямо и сказал. То есть мы сознательно идём по самому затратному и неэффективному пути, потому что переделывать архитектуру — это риск для оценок компаний. А расплачивается за это весь остальной мир: дефицитом комплектующих, взлётом цен и перспективой исчезновения доступных компьютеров. Это не технологический прорыв — это пузырь, раздутый на инженерном провале.
Комментарии