Property-based тестирование роями агентов нашло около 100 багов в uv, Codex и Prometheus
Автор поста в Bluesky прогнал рои агентов с property-based тестированием по коду своего работодателя и нашёл около 30 багов. Затем тот же подход нашёл около 100 багов в открытых проектах вроде uv, Codex и Prometheus, и многие исправления уже приняты.
Что сделали
Автор выступил на работе с докладом о своём побочном проекте, property-based тестировании роями агентов. В коде работодателя этот подход нашёл около 30 багов. Чтобы написать пост в блоге не о них, автор направил тот же подход на открытые проекты, в том числе uv, codex и prometheus. Как именно всё устроено, в посте не описано.
Что получилось
Автор сообщает примерно о 100 багах в открытых проектах и пишет, что многие исправления уже смёржены. Разбивки по проектам нет.
На что обратить внимание
Пост это короткий анонс без стоимости, настройки и инструментов. Сам метод стоит искать в статье, которую автор обещал написать.
Пояснение
Property-based тестирование проверяет не отдельные примеры, а свойства кода. Генератор подставляет множество случайных входных данных и ищет случай, где свойство нарушается. uv это менеджер пакетов для Python, Prometheus это система мониторинга.
Кому пригодится
Разработчикам и тестировщикам, которые хотят искать баги с помощью агентов, а не только писать тесты руками.
Попробуйте сами с Codex
Посмотри [мой репозиторий или модуль] и напиши property-based тесты на [Hypothesis, fast-check или фреймворк для моего языка] для его основных функций, например парсеров, сериализаторов и преобразований данных. Запусти их и каждый падающий случай сократи до минимального воспроизведения и скажи, похоже ли это на настоящий баг. Остановись, когда передашь мне список подтверждённых багов с шагами воспроизведения и предложенными исправлениями, и не меняй мой исходный код без спроса.
Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗
Источник: bsky.app ·