Ночная отладка с Codex по тесту, который воспроизводит баг
Автор комментария на Hacker News оставляет Codex CLI на несколько часов ночью разбираться с багом, который сам не может объяснить. Агент расставляет отладочный вывод и проверяет гипотезы по тесту, воспроизводящему ошибку.
Что сделали
Когда автор не может объяснить баг, он запускает Codex на несколько часов на ночь. Главное условие в детерминированном юнит-тесте, который воспроизводит баг через основной вход в приложение. Дальше агент сам делает нудную работу. Он добавляет отладочный вывод по всему коду и проверяет гипотезы о причине.
Что получилось
Цифр и конкретных результатов в источнике нет. Автор называет это идеальным применением агента и говорит, что делает так постоянно, но не уточняет, как часто агент действительно находит баг.
На что обратить внимание
Сначала напишите детерминированный тест, который воспроизводит баг и заходит в приложение через основной вход. Подход работает, только если у агента есть повторяемый сигнал «прошло или упало», по которому он проверяет гипотезы.
Пояснение
Детерминированный тест при одинаковых условиях всегда даёт один и тот же результат. Основной вход (front door) значит, что тест обращается к приложению так же, как настоящий пользователь, а не вызывает внутреннюю функцию напрямую.
Кому пригодится
Разработчикам, которые бьются над необъяснимыми багами и не хотят часами расставлять логи вручную.
Попробуйте сами с Codex
В [проект] есть баг, который воспроизводится тестом [название теста или путь]. Выдвигай гипотезы о причине, добавляй временный отладочный вывод, запускай тест и проверяй гипотезы, пока не найдёшь первопричину. Остановись, когда сможешь объяснить причину с доказательствами из вывода, затем перечисли добавленный отладочный вывод и удали его. Предложи исправление, но не применяй его, не спросив меня.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: news.ycombinator.com ·