Разработчик столкнулся с проблемой утери KV-кэша в LM Studio при работе с локальными LLM-моделями — система заново обрабатывала 70K токенов контекста, теряя минуты на каждый запрос. Это привело к поиску альтернативы и переходу на omlx — открытый LLM-сервер для Apple Silicon на базе MLX.
Разработчик столкнулся с экстремальным падением производительности: модель трекинга точек на A100 обрабатывает видео за 0.5 секунды, на T4 — за 85 секунд (в 170 раз медленнее). GPU загружен на 99%, модель точно на GPU, обе карты проверены на разных машинах. Архитектура использует 4D корреляционные объёмы и трансформеры на чистом FP32.
Популярный IT-форум Lobste.rs завершил миграцию с MariaDB на SQLite после планирования с 2018 года. Результат: снижение нагрузки на CPU и память, более отзывчивый сайт и двукратное сокращение расходов на VPS. Вся Rails-платформа теперь работает на одном сервере с базой в 3.8 ГБ.
