Могут ли LLM создавать реальные дата-пайплайны? Многоуровневый бенчмарк для AI-ETL
Авторы проверили 7 популярных LLM на способность генерировать конфигурации ETL-пайплайнов для Apache SeaTunnel. Оказалось, что успешная генерация конфигурации и прохождение статической валидации не гарантируют запуск в продакшене — модели часто создают файлы, которые «выглядят правильно», но не выполняются на реальных данных.
0
68