OpenAIの動画生成AI Soraで何ができる？

TL;DR

Soraは、文章や画像、動画を入力し、最長1分の映像を生成できると発表された動画生成AIである。縦長、横長、正方形に対応し、映像の延長、無限ループ化、背景変更、複数動画の接続も可能と紹介されている。ただし、人物の顔や文字が崩れる例もあり、公開時期は発表時点で不明だった。

Transcript

やばいやばいやばいやばいやばい めちゃくちゃやばいっすついに来ちゃい ました今回はなんとOpenAIが動画 生成AIをリリースするっていうことで こちらについてはですね詳しく見ていき たいと思いますで今回発表されたOpen AIの動画生成AIっていうのはこちらの はいえソラっていう名前になるみたいです えでですねこのウェブサイトに概要も書い てありますしテクニカルレポートっていう ものもえありましたのでこれをですね見 ながらどんなクオリティのものができるの かっていうのをですね速報でお伝えして いきたいと思いますえちなみに私の チャンネルはAIやWEBに関する便利な ツールや情報を共有しているチャンネル ですえチャンネル登録がすめでない方は チャンネル登録のどお願いいたしますそれ では早速本... Read More

Key Insights

• Soraは、文章で指定した場面や動作を基に、最長1分の動画を一度に生成できるモデルとして発表された。既存サービスが主に短い映像を生成していた状況と比較し、尺の長さが大きな特徴として紹介されている。
• Soraは、複雑なカメラ移動や複数の人物を含む場面を映像化できると説明された。雪の東京や車を後方から追う場面では、天候、周辺環境、被写体の動き、カメラ位置などの細かな指示が反映されていた。
• Soraは、文章だけでなく画像を入力し、静止画の内容や作風を保ちながら動きを付けられると紹介された。DALL-E 3で生成した画像をアニメーション化する例も示され、画像制作から映像制作へつなげられる可能性がある。
• Soraは、既存動画を前後に延長し、元の結末へ自然につながる別の展開を生成できると説明された。この延長機能を前後方向に利用することで、継ぎ目が目立ちにくい無限ループ映像も作成できると紹介されている。
• Soraは、元動画の構図や動きを利用しながら、背景や時代設定を変更する動画編集に対応するとされた。公開例では同じ入力映像を緑豊かなジャングルや1920年代風の場面へ変換し、動きを維持した映像を生成していた。
• Soraは、内容の異なる二つの動画を接続し、一方から他方へ滑らかに変化させられると紹介された。ドローン映像から蝶の映像へ移る例や、カメレオンが鳥へ変化する例では、中間状態を生成して連続的につないでいた。
• Soraは、16対9、9対16、1対1の画面比率で映像を生成できると説明された。通常の横長動画、スマートフォン向けの縦長動画、SNS投稿向けの正方形動画など、配信先に応じた形式を選べる構成である。
• Soraは、公開サンプルで高い写実性を示した一方、人物の顔や日本語の文字が崩れる場面も確認された。動画内の評価は公開例を見た話者の所感が中心であり、一般提供後の再現性や実用性能は発表時点では検証されていない。

Questions & Answers

Q: Soraで最長何分の動画を生成できますか？

Soraは、最長1分の動画を一度に生成できるモデルとして発表された。公開サンプルには17秒の雪の東京や、1分間のネオン街の映像が含まれていた。話者は、従来紹介してきた動画生成AIが主に4秒程度だったことと比較し、長い映像を一度に作れる点を大きな特徴として評価している。

Q: Soraは文章からどのような動画を作れますか？

Soraは、場面、人物、服装、天候、被写体の動き、カメラ位置などを文章で指定して動画を生成できると紹介された。例として、雪と桜が舞う東京、ネオン街を歩く女性、雪原を歩くマンモス、山道を走る車を後方から追う映像などが公開され、細かな描写も一定程度反映されていた。

Q: Soraは画像から動画を生成する方法に対応していますか？

Soraは、画像を入力して動画を生成する機能に対応すると説明されている。テクニカルレポートでは、DALL-E 3で作成したとされる静止画に動きを加え、キャラクターをアニメーション化する例が紹介された。これにより、先に画像で構図や作風を決め、その内容を基に映像へ展開する使い方が想定される。

Q: Soraで既存動画の背景や作風を変更できますか？

Soraは、既存動画を入力し、その構図や動きを利用しながら設定を変更できると紹介された。公開例では、元の動画を緑豊かなジャングルへ変換する処理や、同じ入力を1920年代風のスクールカーが登場する映像へ変更する処理が示された。ただし、一般利用時にも同じ品質になるかは発表時点で検証されていない。

Q: Soraで無限ループ動画を作る方法は？

Soraでは、動画を前後に延長して始点と終点が自然につながるように生成することで、無限ループ映像を作れると説明された。テクニカルレポートには、同じ結末へ至る異なる冒頭を生成する例と、継ぎ目が目立たず繰り返し再生できる例が掲載された。話者は、この機能を短尺SNS動画へ応用できると考えている。

Q: Soraは異なる二つの動画を自然につなげられますか？

Soraは、異なる二つの動画の間を補完し、滑らかに変化する接続映像を生成できると紹介された。例では、ドローンの映像から蝶の映像へ背景ごと変化するものや、カメレオンが徐々に鳥へ変わるものが示された。単純に二つの映像を並べるのではなく、中間の状態を生成して連続的に移行させる仕組みである。

Q: Soraはどの画面比率の動画を生成できますか？

Soraは、16対9、9対16、1対1の三つの画面比率に対応すると紹介された。16対9は通常のYouTube動画などの横長映像、9対16はスマートフォン向けの縦長映像、1対1はInstagramやXなどへの正方形投稿に利用できる形式として説明されている。用途や投稿先に応じて出力形状を選べる。

Q: Soraが生成した動画にはどのような弱点がありますか？

Soraの公開サンプルでは、人物の顔が崩れたり、日本語の文字や漢字が正しく表示されなかったりする場面が確認された。一方、地面、水、カメラワーク、風景などは話者が高く評価している。ただし、評価対象はOpenAIが公開したサンプルであり、一般利用での失敗率や指示への再現性は発表時点では判断できない。

Q: Soraは同じ人物を複数の場面で維持できますか？

Soraは、一つの動画内で同じ人物を複数のショットに登場させ、外見を維持できると説明された。映画風の公開例では、同じ人物を異なる構図から映した複数のショットが、一つの映像として生成されていた。この特徴は最長1分の映像に一貫性を持たせるために重要だが、あらゆる入力で維持できるかは示されていない。

Q: Soraはいつ一般公開される予定でしたか？

動画収録時点の2024年2月15日には、Soraの具体的なリリース時期は明記されていなかった。話者は直近3か月程度での提供を期待し、同年中には登場するだろうと予想していたが、これは公式情報ではなく個人的な見通しである。そのため、この動画の内容だけから確定した提供日を示すことはできない。

Summary & Key Takeaways

• Soraは、文章で場面や人物、動き、カメラワークを指定し、最長1分の動画を生成できるモデルとして紹介された。雪と桜が舞う東京、ネオン街を歩く女性、雪原のマンモス、海岸のドローン映像など、多様な作風のサンプルが公開され、複雑な指示や複数人物を含む場面も表現していた。

• 入力方法は文章だけではなく、画像や既存動画にも対応すると説明された。画像をアニメーション化する、動画を前後に延長する、結末を保ちながら冒頭を生成する、背景や時代設定を変更する、異なる二つの映像を滑らかにつなぐといった編集用途も、テクニカルレポートの例で紹介された。

• 出力形式は16対9、9対16、1対1が示され、通常のYouTube動画、スマートフォン向け縦型動画、SNS向け正方形動画への利用が想定されていた。一方、サンプルには顔や日本語文字の崩れも確認されている。動画収録時点の2024年2月15日には提供開始時期が明記されておらず、実利用での性能は未検証だった。