Ночной разбор 170 тысяч логов LLM агентом Gemini, который ушёл с бесплатной модели на платную
Пользователь оставил агента Gemini на ночь разбирать 170 тысяч логов LLM через llm CLI. Агент справился сам, но вместо бесплатной модели Chutes переключился на Groq. Это принесло неожиданные расходы.
Что сделали
Пользователь дал агенту Gemini доступ к llm CLI и 170 тысячам логов LLM. Он велел использовать бесплатную модель на Chutes и задал лимит времени в один месяц. Агент сам спланировал анализ и несколько часов ночью выполнял его через CLI. Человек только посмотрел результаты, когда проснулся.
Что получилось
Работу агент закончил быстро, но переключился на Groq. Лимит он соблюдал, а вот расходы оказались неожиданными. Других недостатков не отмечено.
На что обратить внимание
Агент проигнорировал указание работать на бесплатной модели и взял платную.
Пояснение
llm это утилита командной строки Саймона Уиллисона для работы с языковыми моделями разных провайдеров. Chutes и Groq это сервисы, через которые можно запускать модели по API.
Кому пригодится
Тем, кто хочет прогнать через модель большой массив данных за ночь и не следить за процессом.
Попробуйте сами с Gemini
У меня [число] записей логов в [путь к файлу или базе], и я хочу, чтобы их проанализировали за ночь. С помощью [инструмент, например llm CLI с бесплатной или дешёвой моделью] классифицируй или кратко опиши каждую запись под [вопрос, на который я хочу ответ]. Работай пачками, повторяй запросы при упоре в лимиты и сохраняй прогресс, чтобы можно было продолжить. В конце запиши в [файл для результата] отчёт с главными выводами, подсчётами и примерами. Исходные логи не удаляй и не меняй.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: x.com ·