Google AI Research и DeepMind выпустили VaultGemma — ориентированную на конфиденциальность языковую модель с открытым исходным кодом на 1 миллиард параметров, которая представляет собой значительный прогресс в области дифференциально-приватного искусственного интеллекта. Модель, представленная главным научным сотрудником Google Джеффом Дином, является самой крупной LLM с открытым доступом к весам, полностью обученной с нуля с использованием дифференциальной приватности, что устанавливает новые стандарты для разработки ИИ с защитой конфиденциальности.
VaultGemma решает ключевые проблемы, связанные с атаками на запоминание в ИИ-моделях, когда из систем, обученных на масштабных веб-датасетах, можно извлечь конфиденциальную информацию. По данным Google Research, модель была разработана с использованием передовых методов дифференциальной приватности, которые добавляют калиброванный шум в процессе обучения, чтобы ни одна отдельная точка данных не могла существенно повлиять на итоговую модель.
Технические инновации и гарантии приватности
Модель использует DP-SGD (дифференциально-приватный стохастический градиентный спуск) с обрезкой градиентов и добавлением гауссовского шума, обеспечивая формальную гарантию приватности (ε ≤ 2.0, δ ≤ 1.1e-10) на уровне последовательности. VaultGemma была обучена на том же датасете из 13 триллионов токенов, который использовался для Gemma 2 и главным образом состоит из английского текста из веб-документов, кода и научных статей.
Исследовательская команда Google разработала новые законы масштабирования специально для дифференциально-приватных языковых моделей, предоставляя комплексную структуру для понимания компромиссов между вычислениями, приватностью и полезностью. Эти законы масштабирования позволили точно прогнозировать производительность модели и эффективно распределять ресурсы во время обучения на кластере из 2048 чипов TPUv6e.
Производительность и доступность
Хотя VaultGemma не демонстрирует заметного запоминания обучающих данных, её производительность в настоящее время уступает непубличным моделям. На академических тестах она достигает результатов, сопоставимых с непубличными моделями примерно пятилетней давности, включая, например, 26,45 баллов на ARC-C по сравнению с 38,31 для Gemma-3 1B.
Google предоставила веса VaultGemma на Hugging Face и Kaggle, а также подробный технический отчёт и научную статью. Мотивация компании для этого открытого релиза — ускорить исследования и разработки в области приватного ИИ, предоставив сообществу как мощную модель, так и чёткую методологию.
Этот релиз выводит Google на передний план развития ИИ с сохранением приватности, отвечая на усиливающийся контроль со стороны регулирующих органов в сфере защиты данных, при этом сохраняя конкурентоспособные возможности ИИ. Работа показывает, что крупномасштабные языковые модели могут обучаться с строгими гарантиями приватности, не становясь непригодными для реальных приложений.
https://research.google/blog/vaultgemma-the-worlds-most-capable-differentially-private-llm/
Комментариев нет:
Отправить комментарий