Council 1.2: слепое рецензирование ответов AI между моделями
Council — CLI-инструмент, который отправляет вопрос сразу нескольким AI-моделям, затем каждая модель анонимно критикует ответы других. Версия 1.2 добавила «гостевое место»: можно вставить ответ из любого источника (ChatGPT, коллега, что угодно), и он попадёт на слепое рецензирование наравне с остальными. Работает с облачными и локальными моделями, без регистрации и телеметрии.
Позволяет быстро получить второе мнение от нескольких AI одновременно и выявить консенсус/разногласия без ручного труда. Особенно полезно, если хочется проверить ответ ChatGPT силами Claude и локальных моделей, не выдавая источник и не полагаясь на авторитет бренда.
Council 1.2: анонимное жюри AI-моделей
Council — open-source CLI-утилита, которая превращает несколько AI-моделей в жюри: один вопрос отправляется всем участникам, затем каждая модель анонимно рецензирует ответы остальных. Имена моделей скрыты, поэтому авторитет GPT или Claude не влияет на оценку. На выходе — числовой показатель (0–100), показывающий разброс мнений и выявляющий выбросы.
Что нового в версии 1.2
Главная фича — гостевое место. Теперь можно вставить готовый ответ из любого источника: ChatGPT, Gemini, текст от коллеги или собственную заметку. Этот ответ присоединяется к раунду анонимно, и все модели оценивают его наравне с остальными. Результат учитывается в итоговом счёте.
Инструмент работает даже с одной моделью — не нужна коллекция API-ключей, чтобы получить базовую оценку.
Поддержка моделей
- Облачные: Claude, GPT, Gemini, DeepSeek, Grok, Mistral, Perplexity, OpenRouter.
- Локальные: Ollama, встроенные модели Apple, любой OpenAI-совместимый сервер (llama.cpp, LM Studio, vLLM).
Можно создавать гибридные панели: платная модель + бесплатная, облако + локальный inference. Или запускать жюри полностью локально: тогда наружу уходит только вставленный ответ, остальное — внутри машины.
CLI и автоматизация
Пример команды:
council "отгружать сейчас или подождать?" --seats claude,gpt,ollama --guest answer.txt --json --fail-above 40
Флаг --fail-above 40 возвращает ненулевой код выхода, если модели разошлись сильнее порога. Это можно встраивать в CI/CD как автоматическую проверку консенсуса.
Детали
- Лицензия: MIT.
- Телеметрия: отсутствует.
- Регистрация: не требуется.
Инструмент доступен на GitHub, работает из коробки с любым набором ключей или без них.
Ключевые выводы
- Council 1.2 позволяет вставить ответ из внешнего источника и получить анонимную оценку от панели AI-моделей — удобно для проверки output'а коллег или других инструментов.
- Инструмент работает как с облачными, так и с локальными моделями, можно создавать гибридные панели или вообще не выходить в интернет.
- Флаг `--fail-above` превращает утилиту в автоматический sanity-check для CI/CD: если модели слишком расходятся, скрипт падает с ошибкой.
- Анонимность убирает bias: GPT-4 и локальная Mistral оцениваются на равных, без скидок на бренд.
- MIT-лицензия, отсутствие телеметрии и регистрации — классика для инструментов, ориентированных на privacy и локальное использование.
Автор: Анна Мельникова · Источник: reddit.com
**По сути, это automated peer review для AI**: вопрос уходит сразу нескольким моделям, потом каждая судит чужие ответы вслепую. Добавили «гостевое место» — можно вставить текст откуда угодно (хоть из ChatGPT, хоть от коллеги), и он попадёт на рецензирование наравне с остальными. Никто не знает, кто автор — авторитет бренда не работает.
Практическая ценность в том, что это **честная проверка консенсуса**: если модели сильно расходятся, может, стоит не доверять одному ответу. Плюс можно встроить в CI/CD как автоматический sanity-check. Единственный минус — нужны API-ключи для нескольких моделей, иначе панель будет узкой (хотя работает и с одной, но тогда это просто самокритика). Для тех, кто постоянно сверяет output разных AI, вещь реально удобная.
Инструменты из статьи
Универсальный AI-ассистент OpenAI: тексты, код, анализ, изображения, голос.
Доступ из РФ →AI-ассистент Anthropic. Сильнейший в работе с кодом, длинными документами и...
Доступ из РФ →AI-поиск с источниками: отвечает на вопросы со ссылками на первоисточники.
Доступ из РФ →
Комментарии