Некоторые выводы об использовании Browser Use агента из Comet в роли пентест-помощника. Почему его лучше не использовать и в чём всё-таки есть польза.
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
😁4❤1👍1🤣1
tgoop.com/pwnai/1056
Create:
Last Update:
Last Update:
Некоторые выводы об использовании Browser Use агента из Comet в роли пентест-помощника. Почему его лучше не использовать и в чём всё-таки есть польза.
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
После предыдущего поста меня заинтересовал вопрос: можно ли заменить пентестера агентом, который сам пройдёт полный цикл — от разведки до отчёта? Спешу огорчить: мои тесты на простом полигоне (не баг-баунти, позже поймёте почему) вовсе не впечатлили. Взял классический OWASP DVWA, потому что проверять сайт без подсказок — это очень долго, да и без контекста потратить можно кучу часов.
Copilot из Comet начал анализировать ресурс, по заголовкам определил уязвимости и принялся генерировать пейлоады, брутить страницы и эксплуатировать дыры - меняя уровни сложности. Из десяти задач решил пять — остальное, видимо, посчитал как "beneath his dignity" – ниже его достоинства. Cloudflare не заметил этого агента, а вот уже Pastebin, куда агент загружал отчёт не пускал его в паблик: слова «атака» и «эксплойт» находились там в красной книге запрещённых слов. Пришлось руками написать, чтобы он обфусцировал отчёт и попробовал снова. Зато сам факт, что он собрал отчёт и скинул его наружу, даёт надежду - полезность есть, но минимальная.
Основная проблема: агент не умеет запускать реальные инструменты. Так что ни против xbow, ни против живого пентестера он не выстоит. К тому же данные, на которых он обучен – не экспертным сообществом собраны, да и закрыты от нас - неизвестно вообще какая там модель под капотом ассистента (мб это модель, сделанная самим перплексити), но это, конечно, недолго останется тайной. Да и работает всё это с такой скоростью, будто агент сначала почитал мануал по кибербезопасности за стаканчиком капучино, где вместо кофе – горячее молоко.
Зато рекон он делает на удивление прилично: смотрит DNS, эндпоинты, даже фаззит структуру сайта - как я два года назад делал в своём скрипте. Думаю, в будущем появятся расширения, которые помогут ему взаимодействовать с браузером для пентеста. Да и исследований будет много по этой теме. Но пока это что-то между «ну ладно» и «не вздумай использовать в бою» - примерно 3 балла из 10 по шкале xbow. Удобно что он ещё и скрипты может генерить - запульнули одни js, он увидел что в нём ошибка и переписал его и запустил вновь.
Ну вы и сами видели наверное статьи где бенчмарчат ллмки на offensive capabilities, честно говоря тут тоже ничего не следовало ожидать.
P.S. Кстати, можно попросить его нарисовать графики для отчёта и сказать менеджерам: «Вас взломал Perplexity». Если конечно вы не устанете ждать.
P.P.S - зато эти браузеры хорошо уязвимы к промпт-инъекциям
BY PWN AI
Share with your friend now:
tgoop.com/pwnai/1056