RunwayとSunoでAI動画を完成させようとしたら思った以上に大変だった話

杏

美帆さん、RunwayとSunoを組み合わせたら、AIだけで動画が丸ごと作れるんじゃないですか？　映像はRunway、BGMはSunoで！

美帆

結論から言うとね、実際にやってみたわ。でも「思ってたより簡単」じゃなかった。正直に話すわね。

「RunwayでAI動画を作り、SunoでAI音楽を作り、それを組み合わせればAIだけで完成した動画ができるのでは？」——そんなアイデアを実際に試してみました。

結果から言うと、「できる」と「スムーズにできる」は別の話でした。詰まったポイントと、そこから学んだことをまとめます。

やろうとしたこと

目標はシンプルで、SNSに投稿できる15〜20秒の短尺動画をAIだけで作ることでした。手順のイメージはこうです。

紙の上では単純に見えますが、実際にやってみると各ステップに想定外の壁がありました。

Runwayの基本的な生成単位は5秒または10秒です。15〜20秒の動画を作るには、複数の動画クリップをつなぐ必要があります。

「Extend（延長）機能で伸ばせばいいのでは？」と思ったのですが、延長するたびに映像のトーンや動きが微妙にズレていきます。最初のクリップと3回延長後のクリップでは、光の当たり方や色調が変わっていて、つなげると不自然な仕上がりになりました。

杏

延長するたびにズレていくんですね…。それは気づかなかったです。

美帆

1〜2回の延長ならそこまで目立たないんだけど、3回以上になると別の動画みたいになってくるの。「同じシーンをずっと続ける」のは、今のRunwayには難しいのよね。

次の問題はSuno側で発生しました。動画の長さに合わせたBGMを用意しようとしたのですが、Sunoは生成する楽曲の長さを秒単位で細かく指定できません。

生成される曲は大体1〜3分程度で、短い曲を狙っても30〜60秒になることが多いです。「ぴったり18秒のBGM」を作ることは現状できません。

そのため、長めの曲を生成してから動画の長さに合わせてカットする作業が必要になります。これには別途編集ソフトが必要で、「AIだけで完結」という目標から離れていきました。

杏

えっと…結局、編集ソフトが必要になるんですか？

美帆

そうなの。CapCutやiMovieくらいは使わないと、動画と音楽を合わせるのは難しいわ。「AIだけで完結」は現時点では理想論で、最後の仕上げは人間が手を動かす必要があるのよね。

技術的な問題をクリアしても、もう一つ壁がありました。RunwayとSunoはそれぞれ独立して生成するため、映像の雰囲気と音楽の雰囲気を意図的に揃えるのが難しいのです。

「夕暮れの海辺を歩く映像」に合わせて「ゆったりしたアコースティックBGM」を作ろうとしても、Sunoが生成する曲のテンポや音の質感は毎回変わります。映像を先に作ってからBGMを調整するのか、BGMを先に作って映像の雰囲気を合わせるのか、どちらを先にするかも悩みどころです。

杏

鶏が先か卵が先か、みたいな話ですね…。

美帆

まさにそれ。試してみてわかったのは、「BGMを先に作って、その雰囲気に合う映像をRunwayで生成する」順番の方が合わせやすいということ。音楽の方がテンポや雰囲気が言語化しやすいから、映像プロンプトへの落とし込みがしやすいのよ。

試行錯誤の末、なんとか1本の動画を仕上げることはできました。ただし、所要時間は想定の3倍以上かかりました。「AIだから早い」は映像生成や音楽生成の部分だけの話で、それらを組み合わせる工程は人間の判断と手作業が必要でした。

完成した動画のクオリティ自体は、「AIで作ったとは思えない」レベルには到達できませんでした。映像と音楽がなんとなく合っている、という程度です。SNSに投稿できなくはないですが、「これは満足いく出来だ」とは言えない状態でした。

杏

正直に話してくれてありがとうございます…！　でも失敗談の方が参考になる気がします。

美帆

うまくいかなかったことを書くのも大事だと思っているのよ。「AIは万能」という幻想を持ったまま時間を溶かすより、現実を知った上で使う方がずっといいから。

この経験から見えてきた、現時点での現実的な組み合わせ方はこうです。

「AIだけで動画が完成する」は、今はまだ少し先の話です。ただし、映像生成も音楽生成も1〜2年前とは比べものにならないほど進化しています。今後のアップデートに期待しながら、現時点でできる範囲で活用していくのが現実的な姿勢だと感じています。

杏

完全にAI任せはまだ難しいけど、部分的に使うだけでも十分便利そうですね。美帆さん、ありがとうございました！

美帆

「AIで全部やろうとして失敗した」という経験自体が、次に活かせる一番の財産よ。うまくいかないことを知っている人の方が、結果的にAIをうまく使いこなせるようになるから。