Ep.815 Metaが「PE-AV」で挑む新境地──AIの“目”と“耳”が真に統合される日（2026年1月1日配信）

名古屋ではたらく社長のITニュースポッドキャスト · Dec 31, 2025 · 3m

Metaの研究部門であるMeta AIが、また一つAIの知覚能力を押し上げる画期的な論文を発表しました。その名も「PE-AV（Perception Encoder Audiovisual）」。簡単に言えば、AIに「目」と「耳」を同時に、そして完全にリンクした状態で持たせるための新しい脳の構造です。

これまでも映像と音声を扱うAIはありましたが、その多くは「画像」が主役で、音声はあくまで補助的な役割に留まるか、あるいは別々に処理されることが一般的でした。しかし、私たちの現実世界では、ガラスが割れる映像と、パリーンという音は不可分な存在ですよね。Metaが今回発表したPE-AVは、1億件以上という膨大な動画データを用い、映像、音声、そしてテキストのすべての組み合わせ（ペア）において、何がどう対応しているのかを「対照学習」という手法で徹底的に学習させました。

このモデルの凄さは、特定のデータ（例えば画像だけ）を基準にするのではなく、すべての感覚データを対等に扱える点にあります。これにより、「波の音」を聞かせるだけでそれにぴったりの「海の映像」を探し出したり、逆に映像からどんな音が鳴っているはずかを推測したりする精度が劇的に向上しました。

さらに興味深いのは、この技術がMetaの次世代音声AIツール「SAM…