Ep.666 PyTorch「TorchForge」登場──RL後学習とエージェント開発を“疑似コードのまま”大規模化（2025年10月30日配信）

名古屋ではたらく社長のITニュースポッドキャスト · Oct 29, 2025 · 4m

2025年10月22日、PyTorchチーム（Meta）は新ライブラリ「TorchForge」を発表しました。狙いは明快で、RLのアルゴリズム部分は“疑似コード”のまま書き、分散・非同期・リトライ・資源配分といった面倒はライブラリ側が面倒を見る、という設計です。発表では、同一のロールアウト関数を組み替えるだけで、PPOのような厳密なオンポリシー運用から、最大スループットを狙う完全非同期オフポリシー運用まで滑らかに切り替えられる点が強調されました。

下回りはPyTorch製の分散フレームワーク「Monarch」が要です。単一コントローラとアクター間メッセージングで、生成（推論）・学習・報酬評価・リプレイバッファなどを“論理部品”として束ね、既存のSPMD実装（vLLMのテンソル並列やTorchTitanのFSDP等）を保ったままオーケストレーションします。研究者は“どのランクが誰と通信するか”ではなく“どの部品に何を頼むか”を記述すればよく、規模のストレスから解放されます。…