Откровенное признание компании прозвучало после того, как Национальный центр кибербезопасности Великобритании предупредил ранее в этом месяце, что уязвимости внедрения промптов «возможно, никогда не будут полностью устранены», сравнивая эту проблему не в пользу с атаками внедрения SQL, которые разработчики в значительной степени решили благодаря правильным практикам программирования.
«Внедрение промптов, как и мошенничество и социальная инженерия в интернете, вряд ли когда-либо будет полностью "решено"», — заявила OpenAI в публикации в блоге, добавив, что агентный режим браузера «расширяет поверхность угроз безопасности».
Новая оборонная стратегия с использованием ИИ против ИИ
Для борьбы с постоянной угрозой OpenAI развернула то, что она называет «автоматизированным атакующим на основе LLM» — бота, обученного с помощью обучения с подкреплением для имитации хакеров, ищущих уязвимости, прежде чем они могут быть использованы в реальных атаках. Автоматизированная система может тестировать атаки в симуляции и изучать, как целевой ИИ будет реагировать, что позволяет ей совершенствовать стратегии на протяжении сотен шагов.
В одной демонстрации OpenAI показала, как её автоматизированный атакующий подбросил вредоносное письмо в почтовый ящик пользователя, которое заставило ИИ-агента отправить сообщение об увольнении вместо составления ответа об отсутствии на рабочем месте. После обновления безопасности система успешно обнаружила и отметила попытку внедрения промпта, согласно заявлению компании.
«Наш атакующий агент, обученный с помощью обучения с подкреплением, может направлять агента на выполнение сложных, длительных вредоносных процессов, разворачивающихся на протяжении десятков (или даже сотен) шагов», — написала OpenAI, отметив, что система обнаружила «новые стратегии атак, которые не появлялись в нашей кампании красной команды с участием людей или во внешних отчётах».
Опасения промышленности нарастают
Эксперты по безопасности остаются осторожными в отношении AI-браузеров, несмотря на улучшения. Рами Маккарти, главный исследователь безопасности в компании по кибербезопасности Wiz, сказал TechCrunch, что «агентные браузеры, как правило, находятся в сложной части» ландшафта рисков, сочетая «умеренную автономность с очень высоким уровнем доступа».
«Для большинства повседневных случаев использования агентные браузеры пока не обеспечивают достаточной ценности, чтобы оправдать их текущий профиль риска», — сказал Маккарти, отметив их доступ к конфиденциальным данным, таким как электронная почта и платежная информация.
Исследовательская фирма Gartner выпустила суровое предупреждение 7 декабря, рекомендуя организациям «заблокировать все AI-браузеры в обозримом будущем» из-за рисков кибербезопасности, которые включают утечку конфиденциальных данных и уязвимость к атакам с инъекцией промптов. Фирма конкретно упомянула опасения относительно браузеров Comet от Perplexity и Atlas от OpenAI.
OpenAI рекомендует пользователям ограничивать автономность, предоставляемую агентам, и требовать подтверждения перед выполнением конфиденциальных действий, признавая при этом, что компания рассматривает инъекцию промптов как «долгосрочную проблему безопасности AI», требующую постоянного усиления защиты.
Комментариев нет:
Отправить комментарий