Как сделать AI-помощника по своим документам (приватно)
Задавать вопросы своей базе знаний: договоры, конспекты, регламенты — без утечки данных
Шаг 1. Выбор пути
Быстро и просто: NotebookLM (данные уходят в Google). Приватно: локальная модель — дальше про этот путь.
Шаг 2. LM Studio + модель
Установите LM Studio, скачайте Qwen 14B (лучший русский среди открытых). Нужно 16+ ГБ RAM.
Шаг 3. Подключите документы
Встроенный RAG: перетащите PDF/DOCX в чат — модель отвечает по ним со ссылками на фрагменты.
Шаг 4. Проверка качества
Задайте 10 вопросов, ответы на которые знаете. Если модель галлюцинирует — уменьшите размер чанков или возьмите модель крупнее.
Отвечай ТОЛЬКО на основе приложенных документов. Если ответа в них нет — так и скажи. Всегда указывай, из какого документа взят ответ.
Шаг 5. Регулярное пополнение
Папка «в базу знаний»: раз в неделю добавляйте новые документы.
Ожидаемый результат: Личный ChatGPT по вашим документам, работающий офлайн. Ни один байт не покидает компьютер.