Latest / クリエイターズAI / 第13回｜Geminiで画面操作、ComfyUIで動画生成。AI制作の往復を減らすには？｜2026年11月1日
Transcript
- 0:00おはようございます。 クリエイターズAI、AIナレーターのひまりです。
- 0:052026年11月1日、日曜日。 今日は、生成した素材を別のサービスへ運ぶ手間と、画面で繰り返す操作に注目します。
- 0:16画像や動画を作るだけでなく、その前後をつなぐ2つの仕組み。 最後は、音楽のビートに映像を合わせる2つの編集方法を紹介します。
- 0:27まずは、動画生成の作業をつなぐ話です。 中国深圳のAurora Mobileは、10月30日、Modellix.aiのComfyUI対応を発表しました。
- 0:40ComfyUIは、ノードと呼ばれる処理の箱を線で繋いで工程を組み立てる道具です。 画像を読む、生成する、保存するといった処理がそれぞれのノードに当たります。
- 0:52今回の連携では、動画生成をクラウドへ頼む工程をノードとして組み込めます。 なお、公式の操作記事は10月22日にすでに公開されています。
- 1:0430日が初めて使えるようになった日、とまでは言い切れません。 例えば、1枚の人物画像から短い動画を作る場合、
- 1:14これまでは画像を保存し、別の生成サイトを開いてアップロードし、出来上がった動画をまた保存していたかもしれません。
- 1:22公式の例では、ComfyUIで画像の読み込み、Modellixの生成、動画の保存という3つのノードを繋ぎます。 設定画面にAPIキーを登録し、生成のノードでモデルや尺を選んで実行します。
- 1:37ローカルで動画モデルを動かすのではなく、Modellixを通してクラウド側が生成する仕組みです。 残高のあるアカウントが必要で、生成には従量料金がかかります。
- 1:49地味ですが便利なのが、結果の取り直しです。 通信が途切れた時、同じ依頼をもう一度送ると、新しい生成が始まってしまうことがあります。
- 1:59公式実装には、保存したタスク番号から既存の結果を取得する機能があります。 作り直すのか、できているものを受け取り直すのか、この違いを分けられるのは試行回数が増える製作で助かりそうです。
- 2:14これは提供元の仕様に基づく見方で、番組で実操作を検証したものではありません。 続いては、生成モデルの接続ではなく、画面操作の自動化です。
- 2:26米国マウンテンビューのGoogleは10月30日、Gemini APIのComputer Useを正式提供にしました。 まず基本の仕組みです。
- 2:37Geminiが画面の画像を見て、次にクリックする場所や入力する文字を指示します。 その指示を受けて実際に操作するのは開発者が用意したプログラムです。
- 2:47操作後の画面をGeminiへ送り直し、次の指示を受け取ります。 Geminiのアプリに頼めば誰でもすぐ制作ソフトを動かせるという意味ではありません。
- 2:58実行環境を組む開発作業が必要です。 無料枠には対応せず、選んだモデルの通常のトークン料金がかかります。
- 3:07では制作にどう使えるでしょうか? 例えば、素材管理の画面で作品名や分類を決まった欄へ入力する作業の補助が考えられます。
- 3:18特定の編集ソフトとの連携を確認したという話ではありません。 安全面ではGoogleは隔離した環境を用意し、重要な操作を人が監督するよう案内しています。
- 3:30制作で試すなら、本番の公開ボタンまで一気に任せるのではなく、まずはテスト用の素材台帳で入力を確かめる、そんな小さい入り口が良さそうです。
- 3:42最後は音楽と映像の編集です。 東京の渋谷の愛ビジョンで10月30日から11月5日まで紹介されている
- 3:51Biancaさんの作品、和楽器バンド、紅金の宴。 公式ページでは画像、動画、音楽のAIを使いながらカットは手で繋ぎ、
- 4:01一音ごとの音ハメを大切にしたと本人が説明しています。 ここからは番組の応用案です。
- 4:10ビートに合わせてカットを切り替えるパターンと、カットは切り替えず映像の盛り上がりをビートに合わせるパターン、
- 4:17この2つを試してみてください。 まずは1箇所で試すだけでも映像と音楽の繋がりを比べられます。
- 4:25Creators AI ひまりでした。 企画制作はgamaccho。ナレーションはAIナレーターのひまりがお送りしました。