ainews
Как собрать домашний AI-сервер из e-waste: AMD V620 и куча хлама вместо облачных API
Разработчик собрал AI-сервер для запуска LLM-моделей из дешёвого е-waste: 4x AMD V620 (серверные GPU без вентиляторов по цене металлолома), старая материнка X299, самый провальный процессор Intel за 20 лет и 3D-печатные кулеры. Цель — не зависеть от чужих облачных сервисов и научиться работать с железом напрямую.
Показывает, как можно обойти зависимость от дорогих облачных AI-сервисов и собрать рабочее решение из дешёвого железа. Важно для тех, кто хочет контроль над инфраструктурой и не боится экспериментов.
Автор блога описывает сборку домашнего AI-сервера для запуска больших языковых моделей. Вместо подключения к облачным сервисам вроде ChatGPT или Claude он решил собрать железо из дешёвого e-waste.
Основа — четыре серверные видеокарты AMD V620. Это карты 2022 года, которые AMD делала для облачного гейминга (идея провалилась из-за лагов). У них по 32 ГБ VRAM, нет видеовыходов, нет вентиляторов, и софт AMD для AI — отстой. Зато они стоят копейки на eBay.
Материнка — X299 2017 года (старая игровая), процессор — Intel Core i9-10900X (автор называет его худшим CPU Intel за 20 лет: переупакованный Skylake, жрёт ток, но дешёвый). RAM и SSD — с полки. Блок питания 1600 Вт с eBay.
Проблема: серверные GPU ждут мощного обдува. Автор напечатал на 3D-принтере кастомные кожухи под 80-мм вентиляторы на 10 000 об/мин (очень громко). Первая загрузка не прошла — час настройки BIOS, чтобы материнка 2017 года поняла, как работать с таким объёмом VRAM (включил Resizable BAR и MMIO High Size).
Концепция: не доверять облачным сервисам, которые могут исчезнуть или подорожать. Хочешь контроль — собирай сам, даже если из хлама.
Автор: Павел Заславский · Источник: hnrss.org
Разработчикам. Можно поднять локальный инференс LLM на дешёвом железе (4x V620 = ~128 ГБ VRAM за цену одной RTX 4090), но придётся мучиться с AMD ROCm и костылями. Альтернатива аренде GPU в облаке для экспериментов с open-source моделями.
Бизнесу. Тренд на self-hosted AI растёт: компании не хотят зависеть от OpenAI/Anthropic (риск отключения, утечек данных). Появляется рынок дешёвых GPU для on-premise решений, но софт и поддержка — слабое место.
Инвесторам. Рынок устаревших дата-центровых GPU (AMD V620, старые NVIDIA Tesla) может выстрелить как бюджетный сегмент для AI. AMD проигрывает NVIDIA в софте, но если ROCm подтянут — доля вырастет. Спрос на локальные AI-решения для малого бизнеса и энтузиастов растёт.
- E-waste GPU-маркетплейс: площадка для покупки/продажи старых серверных карт (V620, Tesla M40) с гайдами по настройке для AI
- Конструкторы AI-серверов: готовые киты (железо + софт + документация) для сборки домашних LLM-серверов из дешёвых комплектующих
- 3D-модели для охлаждения: продажа кастомных кожухов под серверные GPU без вентиляторов (Etsy, Printables, платные STL)
- Консалтинг по self-hosted AI: помощь малому бизнесу в развёртывании локальных моделей на старом железе вместо облачных API
- AMD ROCm-тюнинг: сервис оптимизации AMD-карт для AI (драйверы, патчи, гайды) — слабое место экосистемы
- AMD ROCm — это боль: софт сырой, поддержка моделей хуже, чем у NVIDIA CUDA. Можно потратить недели на настройку и не запустить нормально
- Энергопотребление и шум: 1600 Вт + вентиляторы на 10 000 об/мин = дорого в эксплуатации и невозможно держать дома без гаража
- Производительность V620 для AI — под вопросом: карты делали для гейминга, а не для трансформеров. Может быть медленнее, чем кажется на бумаге
- Поддержка железа 2017 года: материнки X299 не рассчитаны на такой объём VRAM, костыли в BIOS могут вызвать нестабильность
Это классный пример того, как энтузиасты обходят монополию облачных провайдеров. Идея правильная: если хочешь контроль над AI — собирай сам, благо железо есть (AMD завалила рынок провальными V620). Но давайте честно: это для тех, кто кайфует от процесса, а не от результата. Софт AMD — это страдание, шум — на уровне дата-центра, а время на настройку — десятки часов. Для продакшена это не вариант, но как proof-of-concept и способ научиться работать с железом напрямую — отличная история. Плюс, показывает, что рынок self-hosted AI реально есть, но он пока для хардкорщиков. Стартапам есть где развернуться: готовые решения, софт, поддержка.
Комментарии