pollux_sage_letter_draft
Черновик письма коллегам-разработчикам Pollux и SAGE
Статус: черновик, ждёт валидации Альбертом
Коллеги, добрый день!
Спасибо большое за доступ к Pollux и SAGE — мы развернули оба инструмента и потестировали на наших задачах. Делимся результатами.
Pollux
Серьёзная работа — 66 критериев, масштабная экспертная разметка. Мы поняли суть инструмента так: Pollux — это фреймворк для оценки качества русскоязычных LLM, ориентированный в первую очередь на провайдеров моделей. Мы сами модели не дообучаем и не провайдим, поэтому оценочный пайплайн нам не нужен. Но если бы на базе Pollux появился публичный лидерборд (типа HuggingFace Space) с актуальным рейтингом — мы бы его использовали для выбора моделей под наших агентов-писателей текста. Сейчас результаты только в статье и датасете на HF, а нам нужен живой инструмент.
SAGE
Мы проверяли две гипотезы.
Гипотеза 1: корректировка текстов, которые генерируют наши агенты (научные отчёты, обзоры). Скормили SAGE научный отчёт (~400 строк, LaTeX-формулы, цитаты, терминология). Результат — 42 “ошибки”, из которых ~34 ложные:
- Ломает фамилии: Лоясиевич→Лясковича, Дрори→Дерри, Экандля→Эйлера
- Подменяет термины: неконвексной→некомплексной, нижние оценки→низкие оценки, редукции→индукции
- После зачистки формул остаются обрывки (
Dev,,), которые модель пытается “починить”
Настоящих ошибок — ноль, текст чистый. SAGE обучен на бытовом языке и не знает научную лексику.
Гипотеза 2: корректировка обычных (не научных) текстов. На простых предложениях SAGE работает хорошо — уверенно ловит опечатки. Но и тут остаётся проблема с именами собственными и формулами — модель “исправляет” незнакомые имена на более частотные.
Наше наблюдение: тексты, которые генерируют наши LLM-агенты, как правило написаны без орфографических ошибок. Реальная боль — не орфография, а неточные англицизмы (неконвексная задача, бесактивная рабочая память и т.п.), с которыми SAGE не помогает (и сам их вносит). Работа с именами собственными тоже требует отдельной проработки — до продуктового использования эту проблему нужно решать.
Если вам интересно, мы могли бы собрать набор наших реальных артефактов для тестирования. И ещё вопрос — есть ли у вас кейсы внедрения SAGE в продакшн? Было бы полезно узнать, как вы сами это применяете и как решаете проблему с именами/терминами.
Спасибо ещё раз за инструменты и за работу!