Агентные кейсы
Безопасность, наука и железо

Поиск уязвимостей бизнес-логики и PR с исправлениями от Devin Security

Cognition описывает, как параллельные агенты Devin разбирают кодовую базу, ищут ошибки бизнес-логики и обходы авторизации, подтверждают их в песочнице и открывают PR с исправлениями. Цифры взяты из бенчмарка самого разработчика.

Сделано сDevin

Что сделали

Параллельные агенты берут каждый свой кусок кодовой базы и ищут по нескольким файлам ошибки бизнес-логики, цепочки обхода авторизации и пути атаки между сервисами. Затем Devin собирает находки в полные сценарии атаки и воспроизводит каждый в изолированной песочнице. Когда уязвимость подтверждена, он пишет патч и открывает PR на ревью. Профили сканирования можно сгенерировать из существующих документов с моделью угроз.

Что получилось

На собственном бенчмарке Cognition из 50 уязвимостей Devin Security показал полноту (recall) 72% при стоимости $90.23 за прогон. У Claude Security вышло 68% за $131.87. Бенчмарк провёл сам разработчик, независимой проверки нет.

На что обратить внимание

Первое полное сканирование задаёт базу. Дальше проверяется только изменённый код, поэтому стоимость со временем падает. Глубину и цену регулирует размер пачки на профиль.

Пояснение

Полнота (recall) показывает, какую долю известных уязвимостей из тестового набора нашёл инструмент.

Кому пригодится

Командам разработки и безопасности, которые ищут логические уязвимости, а не только типовые ошибки.

Попробуйте сами с Devin

Проверь мою кодовую базу [название репозитория] на ошибки бизнес-логики и обходы аутентификации или авторизации. Раздели её на части и разбери каждую, затем попробуй подтвердить каждую подозрительную проблему в песочнице, а не на проде. В конце дай ранжированный список подтверждённых находок и открой по каждой черновой pull request с исправлением. Ничего не мержи и не трогай работающие системы.

Нужна помощь с запуском? Вступайте в сообщество AI Pack ↗

Ещё 1 источник

Читать оригинал ↗

Источник: cognition.com · · обновлено

Похожие кейсы

Поиск причин ошибок в Swift с ChatGPT вместо Stack Overflow

Разработчик на Swift рассказал на Hacker News, что отправляет в ChatGPT симптомы ошибки и нужный код. Примерно за полминуты он получает хорошую отправную точку, но весь код проверяет сам и дословно пока ничего не взял.

Свой агент разбирает дампы падений Windows через MCP-сервер ForensicDbg

ForensicDbg это отладчик дампов падений Windows с MCP-сервером, через который свой агент получает уже разобранные данные о сбое. В примере на сайте агент нашёл пропущенную проверку на null и предложил защиту, замеров нет.

Свой агент

Поиск и починка нестабильных тестов в CI по ночам с Claude Code

Автор поручил Claude Code следить за CI, находить самые нестабильные тесты и по ночам предлагать исправления. За несколько недель пайплайн стал короче на 20 минут, доля успешных прогонов выросла на 35%, хотя часть исправлений пришлось выбросить.