Давно у нас не было на обзоре интересных бумаг. Но вот как можно приоритезировать, а самое главное учесть перечень рисков, связанных с AI-агентами?
На этот вопрос нам пытаются дать ответ Enkrypt AI, они представили свою таксономию рисков связанными с AI-агентами. Она включает в себя маппинг и перечень угроз, которые сопоставлены с OWASP, ISO AI, EU AI ACT, MITRE и NIST.
21 категория рисков, и большой перечень сценариев. (рис 1)
Сами риски поделены на 7 ключевых доменов:
Governance – Нарушение политики и Reward Hacking.
Agent Output Quality – Галлюцинации и предвзятость.
Tool Misuse - Цепочка поставок, небезопасное использование API интеграций а также неконтролируемое обращение к ресурсам.
Privacy – утечка и эксфильтрация важной и ценной информации.
Reliability & Observability – отравление памяти и то что называется «непрозрачным принятием решений»
Agent Behaviour – Манипуляции человеком
Access Control & Permissions – Повышение привилегий и кража кредов!
Помимо самой таксономии и маппинга – дано понимание как посчитать приоритет рисков (рис.2)
Например, у нас есть агент для трейдинга, логично сказать, что ему нужно фокусироваться на двух характеристиках: Governance и Behavior, опять же согласно матрице. Риски, связанные с этими факторами, будут на высоте для него.
В фреймворке также показаны пример кода, как можно исправить какой-либо риск – но их строчками сложно что-то защитить в реальном мире, на самом деле – поэтому это как мишура. Кстати, фреймворк не напичкан ссылками на решения, компании, создавшей его.
почитать
На этот вопрос нам пытаются дать ответ Enkrypt AI, они представили свою таксономию рисков связанными с AI-агентами. Она включает в себя маппинг и перечень угроз, которые сопоставлены с OWASP, ISO AI, EU AI ACT, MITRE и NIST.
21 категория рисков, и большой перечень сценариев. (рис 1)
Сами риски поделены на 7 ключевых доменов:
Governance – Нарушение политики и Reward Hacking.
Agent Output Quality – Галлюцинации и предвзятость.
Tool Misuse - Цепочка поставок, небезопасное использование API интеграций а также неконтролируемое обращение к ресурсам.
Privacy – утечка и эксфильтрация важной и ценной информации.
Reliability & Observability – отравление памяти и то что называется «непрозрачным принятием решений»
Agent Behaviour – Манипуляции человеком
Access Control & Permissions – Повышение привилегий и кража кредов!
Помимо самой таксономии и маппинга – дано понимание как посчитать приоритет рисков (рис.2)
Например, у нас есть агент для трейдинга, логично сказать, что ему нужно фокусироваться на двух характеристиках: Governance и Behavior, опять же согласно матрице. Риски, связанные с этими факторами, будут на высоте для него.
В фреймворке также показаны пример кода, как можно исправить какой-либо риск – но их строчками сложно что-то защитить в реальном мире, на самом деле – поэтому это как мишура. Кстати, фреймворк не напичкан ссылками на решения, компании, создавшей его.
почитать
🔥3❤2
tgoop.com/pwnai/980
Create:
Last Update:
Last Update:
Давно у нас не было на обзоре интересных бумаг. Но вот как можно приоритезировать, а самое главное учесть перечень рисков, связанных с AI-агентами?
На этот вопрос нам пытаются дать ответ Enkrypt AI, они представили свою таксономию рисков связанными с AI-агентами. Она включает в себя маппинг и перечень угроз, которые сопоставлены с OWASP, ISO AI, EU AI ACT, MITRE и NIST.
21 категория рисков, и большой перечень сценариев. (рис 1)
Сами риски поделены на 7 ключевых доменов:
Governance – Нарушение политики и Reward Hacking.
Agent Output Quality – Галлюцинации и предвзятость.
Tool Misuse - Цепочка поставок, небезопасное использование API интеграций а также неконтролируемое обращение к ресурсам.
Privacy – утечка и эксфильтрация важной и ценной информации.
Reliability & Observability – отравление памяти и то что называется «непрозрачным принятием решений»
Agent Behaviour – Манипуляции человеком
Access Control & Permissions – Повышение привилегий и кража кредов!
Помимо самой таксономии и маппинга – дано понимание как посчитать приоритет рисков (рис.2)
Например, у нас есть агент для трейдинга, логично сказать, что ему нужно фокусироваться на двух характеристиках: Governance и Behavior, опять же согласно матрице. Риски, связанные с этими факторами, будут на высоте для него.
В фреймворке также показаны пример кода, как можно исправить какой-либо риск – но их строчками сложно что-то защитить в реальном мире, на самом деле – поэтому это как мишура. Кстати, фреймворк не напичкан ссылками на решения, компании, создавшей его.
почитать
На этот вопрос нам пытаются дать ответ Enkrypt AI, они представили свою таксономию рисков связанными с AI-агентами. Она включает в себя маппинг и перечень угроз, которые сопоставлены с OWASP, ISO AI, EU AI ACT, MITRE и NIST.
21 категория рисков, и большой перечень сценариев. (рис 1)
Сами риски поделены на 7 ключевых доменов:
Governance – Нарушение политики и Reward Hacking.
Agent Output Quality – Галлюцинации и предвзятость.
Tool Misuse - Цепочка поставок, небезопасное использование API интеграций а также неконтролируемое обращение к ресурсам.
Privacy – утечка и эксфильтрация важной и ценной информации.
Reliability & Observability – отравление памяти и то что называется «непрозрачным принятием решений»
Agent Behaviour – Манипуляции человеком
Access Control & Permissions – Повышение привилегий и кража кредов!
Помимо самой таксономии и маппинга – дано понимание как посчитать приоритет рисков (рис.2)
Например, у нас есть агент для трейдинга, логично сказать, что ему нужно фокусироваться на двух характеристиках: Governance и Behavior, опять же согласно матрице. Риски, связанные с этими факторами, будут на высоте для него.
В фреймворке также показаны пример кода, как можно исправить какой-либо риск – но их строчками сложно что-то защитить в реальном мире, на самом деле – поэтому это как мишура. Кстати, фреймворк не напичкан ссылками на решения, компании, создавшей его.
почитать
BY PWN AI
Share with your friend now:
tgoop.com/pwnai/980