Ep.565 VaultGemma登場──“ε≦2.0”で作るプライベートLLMの実力（2025年9月18日配信）

名古屋ではたらく社長のITニュースポッドキャスト · Sep 17, 2025 · 4m

グーグルの研究ブログは、差分プライバシーで最初から最後まで学習した新モデル「VaultGemma 1B」を発表しました。公開された重みはHugging FaceやKaggleで入手でき、技術レポートと合わせて“実用に足るプライベートLLM”をコミュニティに提供する狙いです。ブログは本モデルを「最も高性能なDP学習済みオープンLLM」と位置づけ、DP下での学習に特化したスケーリング則の研究成果を土台に、1Bパラメータ級の到達点を示したと説明しています。

核となるのは“DP版スケーリング則”です。従来の非DP環境と異なり、DPではノイズ付与が学習安定性を損ね、必要バッチサイズと計算コストが大きく跳ね上がります。Google ResearchとDeepMindの論文は、性能を主に「モデル規模×イテレーション×ノイズ‐バッチ比」で記述できることを示し、同じ計算予算でも「より小さいモデルを、より大きなバッチで回す」方が有利になる一般則を導出しました。これにより、プライバシー予算・計算予算・データ予算の組み合わせごとに“最適な配分”を設計できるようになったわけです。…