До 10 параллельных сессий Claude Code и локальных моделей на RTX 3090
Разработчик с ником Roark66 на Hacker News держит до 10 сессий агентов одновременно, используя Claude Code и локальные модели на RTX 3090. Контексты он хранит в кэше в RAM, а его недельный объём по ценам API стоил бы тысячи долларов.
Что сделали
Roark66 запускает агентов для кода на видеокартах RTX 3090 по 24GB каждая и вместе с Claude Code использует локальные модели. Одновременно у него открыто до 10 сессий агентов, но активны в один момент не больше 5. Инференс он контролирует сам, поэтому держит полные контексты в кэше в оперативной памяти и может сохранить кэш на диск. Так сессию после простоя не приходится заново прочитывать целиком.
Что получилось
Около 15 полных контекстов в кэше занимают локальный кэш на 95% и больше. По его словам, он расходует примерно 1,3 млрд входных токенов в неделю. По ценам API это стоило бы тысячи долларов.
На что обратить внимание
Облачный кэш живёт 5 минут или 1 час, поэтому простоявший контекст на 500 тысяч токенов снова оплачивается как полный ввод. Локальный кэш этого избегает, но нужно достаточно оперативной памяти, чтобы держать контексты.
Пояснение
Кэш контекста хранит уже обработанный моделью текст сессии, чтобы при следующем запросе не считать его заново. В облачных API за такой кэш берут меньше, чем за обычный ввод, но только пока он не истёк.
Кому пригодится
Разработчикам, которые много работают с агентами и думают, окупится ли своё железо вместо оплаты API.
Попробуйте сами с Claude Code
Я хочу параллельно работать над [число] отдельными задачами в репозитории [путь]. Для каждой задачи создай свой git worktree и ветку, работай над ней независимо, запусти тесты и опиши, что изменилось. Задачи такие. [задача 1], [задача 2], [задача 3]. Остановись, когда в каждой ветке будет diff с пройденными тестами, готовый к моему ревью, и ничего не мёржь.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: news.ycombinator.com ·