Claude Code с поиском по 2 млн научных статей обогнал агента без него
Пользователь Reddit запустил два одинаковых агента Claude Code оптимизировать небольшую языковую модель, одному дал поиск по научным статьям. Агент со статьями улучшил модель на 4,05% против 3,67% у базового.
Что сделали
Автор дал двум одинаковым агентам Claude Code одну задачу, оптимизировать небольшую языковую модель. Первый опирался только на свои встроенные знания. Второй был подключён к Paper Lantern, MCP-инструменту поиска по более чем 2 млн открытых научных статей по информатике. Перед каждой попыткой он искал в литературе. Всего агент просмотрел 520 статей, нашёл 25 идей и применял их по понятным человеку инструкциям.
Что получилось
Агент со статьями улучшил модель на 4,05%, базовый на 3,67%. По словам автора, сработали около 15 из 25 предложенных идей из статей. На двухчасовом прогоне лучшая конфигурация держалась впереди больше чем на 12 минут. Комментаторы усомнились, насколько этот результат силён и насколько его можно обобщать.
На что обратить внимание
Главный минус в накладных расходах. Система читает статьи целиком, а исследование добавляет расходов. По словам автора, подход рассчитан на области с активным научным сообществом.
Кому пригодится
Исследователям и ML-инженерам, желающим, чтобы агент в экспериментах опирался на свежие статьи, а не только на свои знания.
Попробуйте сами с Claude Code
Перед каждой попыткой улучшить [мой проект или бенчмарк] ищи в коллекции статей [путь или инструмент поиска] методы, подходящие для [задача], и отмечай, какая статья подсказала каждую идею. Затем реализуй идею и проверь её против текущего базового результата [значение]. Веди журнал опробованных идей, статей-источников и результатов. Остановись после [количество] экспериментов и дай сводку, что помогло.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Ещё 1 источник
Источник: reddit.com · · обновлено