Темы

среда, 21 января 2026 г.

Логика риска по Уиттакер не в том, что агентные системы действуют «самовольно». Речь о масштабе исполнения: одна санкционированная пользователем задача может легитимно запускать сотни или тысячи машинных операций (API-вызовы, чтение файлов, обращения к сервисам). Из-за скорости и количества таких действий детальный аудит в реальном времени затруднён. Потенциальные меры снижения риска — временные (just-in-time) права и динамические политики доступа, однако зрелой инфраструктуры для этого пока нет.

Moxie Marlinspike / TechCrunch

Moxie Marlinspike, криптограф и сооснователь Signal, разработавший протокол шифрования, который лежит в основе WhatsApp, запустил Confer — ориентированный на приватность ИИ-чатбот, призванный предложить функциональность на уровне ChatGPT, но без повсеместной практики сбора данных, ставшей отраслевым стандартом.

Мередит Уиттакер / СМИ 

Запуск состоялся на фоне предупреждения президента Signal Foundation Мередит Уиттакер на Всемирном экономическом форуме в Давосе во вторник о том, что ИИ-агенты представляют угрозу для зашифрованных мессенджеров, поскольку требуют широкого доступа к конфиденциальным данным, хранящимся на устройствах. «Если вы дадите такой системе права root-доступа, она может быть взломана», — заявила Уиттакер в беседе с Эмили Чанг из Bloomberg.

Confer, запущенный в декабре, разработан таким образом, что разговоры пользователей недоступны хостинг-провайдеру, не используются для обучения моделей ИИ и не применяются для рекламы. Сервис шифрует сообщения с помощью ключей доступа WebAuthn на устройстве пользователя и выполняет все операции вывода ИИ в доверенной среде выполнения на стороне сервера, при этом системы удаленной аттестации проверяют, что среда не была скомпрометирована. 
«Чат-интерфейсы вроде ChatGPT знают о людях больше, чем любая другая технология прежде», — заявил Марлинспайк, согласно сообщениям нескольких изданий. «Когда вы совмещаете это с рекламой, это всё равно что кто-то платит вашему психотерапевту, чтобы убедить вас что-то купить».

По данным TIME, Марлинспайк описал «честное представление» о текущих взаимодействиях с ИИ как аналог группового чата с «руководителями и сотрудниками, их деловыми партнерами, хакерами, которые взломают эти незашифрованные данные, будущими рекламодателями, которые почти наверняка появятся, а также юристами и правительствами, которые потребуют доступ по повестке».

За приватность приходится платить

Сервис работает по модели freemium. Бесплатный тариф ограничивает пользователей 20 сообщениями в день и пятью активными диалогами, в то время как подписка за $35 в месяц предоставляет неограниченный доступ, а также более продвинутые модели и функции персонализации. Эта цена заметно выше, чем у плана ChatGPT Plus от, однако Марлинспайк представил премиум-подписку как необходимую плату за настоящую приватность.

Confer использует открытые базовые модели для своих AI-возможностей вместо проприетарных систем, что позволяет сервису генерировать ответы без сохранения или раскрытия данных разговоров. По сообщениям, с момента запуска сервис набирает популярность — Марлинспайк отметил в X, что уровень трафика стабильно растёт.

Уиттакер бьет тревогу по поводу AI-агентов

На форуме в Давосе Уиттакер охарактеризовала более глубокую интеграцию AI-агентов в устройства как «весьма опасную» для таких сервисов, как Signal. Она объяснила, что для эффективной работы AI-агенту потребуется доступ к приложениям, хранящим конфиденциальную информацию, например, данные кредитных карт и контакты, назвав это «разрушением гематоэнцефалического барьера между приложением и операционной системой».

«Наше шифрование больше не имеет значения, если всё, что нужно сделать, — это перехватить это контекстное окно», — сказала Уиттакер. Она также подчеркнула, что протоколы шифрования Signal основаны на математике, которая поддается проверке и доказана, противопоставив это «чрезвычайно уязвимой» природе систем искусственного интеллекта.

Примечание редакции блога 

Логика риска по Уиттакер не в том, что агентные системы действуют «самовольно». Речь о масштабе исполнения: одна санкционированная пользователем задача может легитимно запускать сотни или тысячи машинных операций (API-вызовы, чтение файлов, обращения к сервисам). Из-за скорости и количества таких действий детальный аудит в реальном времени затруднён. Потенциальные меры снижения риска — временные (just-in-time) права и динамические политики доступа, однако зрелой инфраструктуры для этого пока нет.

Комментариев нет:

Отправить комментарий

Избранные

Квантовый компьютер на захваченных ионах моделирует физику частиц с помощью кубитов и фононов

Учёные из Университета Мэриленда впервые использовали колебательные фононные моды захваченных ионов как нативный бозонный регист...

Часто просматриваемве