Исторические данные 2025 года

Цепочки рассуждений, паттерны принятий решения экспертами

Оценка качества работы Reviewer4
* Корреляция ответов reviewer 4 с ответами экспертов
* Для оценки качества работы добавить к кореляции с оценками экспертов
rho(Оценки_экспертов, динамика_Impact)
vs
rho( Оценки_экспертов + reviewer4, динамика_Impact)

IMPACT_SCORE
набор объективных наукометрических показателей из баз данных (Scopus, Google Scholar, OpenCitations, OpenAlex)

Данные заявок

Reviewer4

Сейчас есть v1, v2.
Лучше работает gpt-5-mini v1

Для построения v3

На основе изучения ответов экспертов сформулируем обобщенный паттерн

пример паттерна:
изучить заявку -> загуглить несколько релевантных статей автора и несколько релевантных статей не автора в исследуемой области) ПОИСК СТАТЕЙ -> gpt-5-mini (мб агентно несколько раз)-> JSON

Заявка (Категория, Сопроводительное письмо, Статья1, Статья2, Статья3)

data = zayavka2txt(Заявка)

rel_papers = relepaper(СТАТЬИ)
rel_papers_txt = pdf2txt (rel_papers)
СТАТЬИ_scores = llm_paper_scorer(СТАТЬИ, rel_papers_txt)
data.append(СТАТЬИ_scores)

scores = llm_output(data)

JSON с оценками по критериям

Ближайшие TODO

• Стравить данные ответов reviewers1-2-3 в LLM и получить general_scheme reviewer4 на основе + сделать норм diving (Альберт оценивает это к четвергу)
• После выделения основного пайплайна согласуем его в чатике
• Реализация выбранного пайплайна (лучше бы он был несложный, чтобы можно было быстрее собрать)
• После его фиксирования поднимаем прототип end-2-end. Сайт, куда можно будет внести заявку(заявки) в выбранном нами (согласованном с УИИ) формате данных, получить scores.
• После этого фокус на измерении качества работы reviewer4. Сейчас корелляция с мокрыми нейросетками.
  Проблема: в таком подходе лучшее, чего можно добиться - повторить экспертов. Более амбициозная задача: чтобы можно было флексануть - сказать, что наша система работает лучше(если не лучше, то хотя бы быстрее, бесплатнее), чем эксперты.
• Даня к четвергу предлагает первую версию измерения объективных наукометрических показателей (пользуемся тем, что можно быстро достать - цитирования, h-индекс, FWCI