ainews
Как создавать эмбеддинги бесплатно и навсегда
Автор объясняет, почему облачные API для эмбеддингов (OpenAI, Cohere, Google) никогда не будут бесплатными в масштабе, и предлагает альтернативу: запуск open-source моделей на собственном железе. Приводит конкретные модели, код для быстрого старта и варианты самостоятельного хостинга векторных баз.
Практическое руководство для разработчиков RAG-систем, поисковых сервисов и рекомендательных движков, которые хотят избежать vendor lock-in и непредсказуемых счетов. Автор даёт готовые к использованию примеры кода и сравнительную таблицу моделей.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- «Бесплатные тиры» облачных провайдеров — это маркетинг, а не долгосрочное решение: при росте нагрузки счета растут автоматически
- Модели вроде BAAI/bge-large-en-v1.5, e5-large-v2 или nomic-embed-text можно запустить локально за 5 строк кода на Python — без API-ключей и лимитов
- Для «API-like» доступа можно обернуть модель через Ollama и получить REST-эндпоинт на localhost
- В связке с самохостимыми векторными БД (ChromaDB, Qdrant, Milvus) получается полный RAG/поисковый пайплайн с нулевыми рекуррентными затратами
Юлия Тарасова
Medium #llm
Читать оригинал
Инструменты из статьи
Ollamaбез VPN
Локальный запуск открытых LLM (Llama, Qwen, GLM) на своём железе. Бесплатно...
Доступ из РФ →
Комментарии