コードで3Dの下書きを作り、動画生成で仕上げる「Video-Coder」。狙った動きを編集する研究
第一著者のChaoyang Wangが、コードで3Dシーンの下書き動画を作り、動画生成モデルで仕上げる研究「Video-Coder」を紹介した。物体の数や配置、軌道、カメラの動きを制御する仕組みと、小型モデル向けの後学習パイプラインを公開している。

構図や軌道をコードで組み立てる
Chaoyang Wangは、動画生成のためのコーディングエージェントを学習させる研究「Video-Coder」を発表した。モデルがコードを書いて3Dシーンの下書き動画を作り、それを動画生成モデルが最終映像へ仕上げる流れだ。
投稿では、物体の数・配置・軌道とカメラの動きを正確に制御できると説明している。コーディングエージェントへの指示を直し、狙った部分だけ変更する使い方も紹介。添付画像には研究タイトルと著者・所属、Paper、Code、Model、Datasetの各ボタンが並ぶ。
小型モデル向けの学習手順を公開
著者は、クローズドな最先端モデルで機能するこの方式を、小型のオープンソースモデルでも再現できる後学習手順へ落とし込んだと説明している。ベースはQwen3.5-9Bで、SFTの後にハーネス内でのエージェント強化学習を行う。
データセットはVideo-Coder-SFT-6KとVideo-Coder-RL-2K。投稿ではSFT・RL用データ、ハーネス、コードと学習パイプライン一式を公開したと案内し、PhyGenBenchで24ポイント以上、VBench-2.0で6ポイント以上の改善を報告している。Video-CoderV2も近く公開する予定としている。
