ainews
Карточки моделей, систем и отчёты об оценке: три разные задачи
Статья объясняет, почему карточки моделей (model cards), карточки систем (system cards) и отчёты об оценке — это три разных типа документов с разными целями. Их путаница создаёт категориальную ошибку: утверждения об одном объекте (модели, системе или тесте) подкрепляются доказательствами о другом.
Обязателен для команд, принимающих решения о внедрении AI-систем, аудиторов и разработчиков политик: показывает, как избежать подмены понятий при оценке безопасности и соответствия требованиям.
Это аннотация к авторской статье. Мы не публикуем и не пересказываем чужие тексты целиком — полная версия у автора.
О чём статья
- Карточка модели описывает саму ML-модель (версию, назначение, ограничения), но не может объяснить, как поведёт себя приложение, построенное на её основе
- Карточка системы охватывает целостную AI-систему — набор компонентов (модели, маршрутизаторы, инструменты, фильтры), их взаимодействие и условия развёртывания
- Отчёт об оценке документирует конкретное исследование: что именно тестировалось, как, какие результаты и насколько они воспроизводимы
- Термин «system card» пока не стандартизирован: разные организации вкладывают в него разный смысл, что затрудняет сравнение
Ольга Ким
Medium #llm
Читать оригинал
Комментарии