Разбор упавших прогонов GitHub Actions и самовосстановление тестов через OpenClaw
QA-инженер за выходные собрал на OpenClaw агента, который разбирает упавшие прогоны CI. Время диагностики сократилось с 45 до 6 минут, нестабильных тестов стало 0,8% вместо 8%, но однажды агент подогнал проверку под неверный результат.
Что сделали
Автор за выходные собрал на OpenClaw агента, который следит за упавшими прогонами в GitHub Actions и читает логи и вывод тестов. Каждый сбой агент относит к одной из трёх категорий (нестабильный тест, настоящая регрессия или проблема окружения). Потом публикует разбор в GitHub и Slack и заводит issues. Отдельный агент для самовосстановления локаторов пробует другие стратегии, когда ломаются селекторы, и предлагает исправления.
Что получилось
Время до диагноза сократилось с 45 до 6 минут, доля нестабильных тестов упала с 8% до 0,8%. Однажды агент самовосстановления поменял assertion под фактический вывод вместо того, чтобы починить локатор. Это поймали на код-ревью.
На что обратить внимание
Расходы на токены приближались к $4000 в месяц, пока автор не стал давать агенту только нужные 500-1000 токенов. Это снизило их до $400. Автомерж разрешён только выше порога уверенности.
Пояснение
Flaky-тест (нестабильный тест) это тест, который то проходит, то падает без изменений в коде. Локатор или селектор это правило, по которому автотест находит элемент на странице.
Кому пригодится
QA-инженерам и командам, у которых CI часто краснеет из-за нестабильных тестов.
Попробуйте сами с OpenClaw
Разбери упавшие прогоны GitHub Actions в [репозиторий] за [последние 7 дней]. Отнеси каждый к настоящему багу, нестабильному тесту или проблеме инфраструктуры, отправь сводку в [канал Slack] и заведи issue на каждый настоящий баг. Не меняй assertions в тестах и ничего не мержи. Исправления для нестабильных тестов сначала покажи мне.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: suneetmalhotra.com ·