tgoop.com/zen_dat/1097
Last Update:
OpenAI откладывает запуск AI-агентов из-за уязвимости к атакам
OpenAI, ведущая компания в области искусственного интеллекта, задерживает выпуск своих AI-агентов из-за опасений, связанных с уязвимостью к так называемым “внедрениям команд” (prompt injections). Эти атаки позволяют злоумышленникам обмануть модель ИИ, заставляя её выполнять нежелательные действия.
AI-агенты — это модели, способные взаимодействовать с окружающей средой, например, с рабочим столом компьютера, и автономно выполнять задачи без вмешательства человека. Однако их способность к самостоятельным действиям делает их особенно уязвимыми к подобным атакам.
Например, если пользователь поручает AI-агенту совершить покупку в интернете, тот может случайно попасть на вредоносный сайт, который даст ему инструкции, противоречащие первоначальным задачам, такие как доступ к электронной почте пользователя или кража финансовой информации.
OpenAI стремится усилить меры безопасности своих моделей перед их публичным запуском, чтобы предотвратить возможные риски, связанные с автономными действиями AI-агентов. Ожидается, что компания представит свои разработки в этой области в ближайшее время.
BY ПОСЛЕЗАВТРА
Share with your friend now:
tgoop.com/zen_dat/1097