MulmoCast の動画
GUI パネルは、エージェントが書いた MulmoCast の台本(mulmoScript)を表示し、スライドや動画にします。 このページは、そのうち先に何かを入れておく必要がある機能をまとめています。
Remotion の場面
mulmocast 2.13.0 から、ビートを remotion の場面にできます。場面で見せたいものを文章で書くと、 Claude Code がそれを Remotion のコンポーネントとして書き、MulmoCast がビートの 動画に描画します。動き、SVG のパス、3D(three.js)、ノイズ、シェーダーの効果まで使えます。 2.14.0 からは、出来上がったコンポーネントをそのまま渡すこともできます(5.)。
GUI パネルから作った二つの場面。言葉の周りに円が描かれ、続いて三枚のカードが矢印でつながります(10 秒、音声なし)。
{
"remotionParams": { "brief": "深い紺の背景、オフホワイトの文字、強調色はシアン一色。" },
"beats": [
{
"text": "この場面で読み上げるナレーション。",
"image": {
"type": "remotion",
"prompt": "中央にタイトルが現れ、その下に3つの箱が左から順に現れて矢印でつながる。",
"fps": 30
}
}
]
}
image.prompt— 場面で見せるもの。image.codeとどちらか一方を書きます。image.code— プロンプトの代わりに渡す、出来上がったコンポーネント(5.)。image.fps(任意)— 1〜60。省略すると 30。remotionParams.brief(任意)— すべての場面に共通する色・書体・雰囲気。場面どうしがひとつの動画としてそろいます。
場面の長さはナレーションの長さで決まります。ビートに duration を指定してそれより長くした場合は、そちらになります。詳しくは mulmocast の remotion.md を見てください。
1. パッケージをホームに入れる
これらは mulmocast の任意のパッケージで、MulmoTerminal は入れません。この場面を使いたい人だけが入れます。 入れる場所はホームディレクトリです。
cd ~
npm install remotion @remotion/bundler @remotion/renderer react react-dom \
@remotion/three three @react-three/fiber @remotion/effects @remotion/paths @remotion/noise \
@remotion/shapes @remotion/transitions @remotion/motion-blur @remotion/layout-utils
ホームに入れる理由: npx mulmoterminal@latest はアプリを ~/.npm/_npx/ の下のフォルダに置き、このフォルダは 版が変わるたびに作り直されます。アプリの隣に入れたパッケージは、次の更新で消えてしまいます。Node は親のフォルダの node_modules を順にたどって探すので、~/node_modules ならどの版からも見つかります。
2. MulmoCast から見えるか確かめる
npx mulmoterminal@latest init
確認の一覧に次の行が出れば入っています。
✓ remotion — Remotion scenes in MulmoCast videos
○ remotion — optional は一つも見つからなかったという意味です。installed only in part; missing: … には、 まだ入っていないパッケージの名前が出ます。
3. prompt の場面では、Claude Code にログインしておく
code を渡す場面では、この手順は要りません。prompt の場面を書くのは claude -p で、これを起動するのは MulmoTerminal のサーバーです。いま話しているセルではありません。 そのため、
- サーバーが動いているマシンで、
claudeが入っていてログイン済みである必要があります。 - サーバー自身のログイン(いつものログイン)で動きます。セルを別の契約で動かしていても変わらず、 使用量もいつものログインに付きます。
- 1 つの場面で何回か呼びます。コンポーネントを書く、描画に失敗したら直す、描画したコマを見て良くする、の分です。 1 場面に 1 分以上かかると考えてください。
4. 動画を作る
エージェントは、頼まれたときだけ remotion の場面を使います。パッケージが入っているかどうかを知るすべがないためです。たとえば 「2 つ目のビートを remotion の場面にして: …」のように名前を出して頼むか、台本に自分で書き足してから、 いつもどおり GUI パネルで動画にしてください。
最初の描画で、Remotion が使うヘッドレスの Chrome(約 90 MB)がダウンロードされます。置き場所は、 サーバーが動いているフォルダの node_modules/.remotion、つまり MulmoTerminal 自身のインストール先です。 そのため、MulmoTerminal を更新するたびに、最初の描画でもう一度ダウンロードされます(npx では版ごとに別のフォルダになるため)。 何もする必要はありませんが、更新のあと一回は待ち時間があると考えてください。
Claude Code が書いたコードは、ビートの画像の隣の <ビート>_remotion/<ハッシュ>.tsx に残ります。 コードを書くときに使ったもの(プロンプト、ナレーションの文面、brief、動画の中での場面の位置、画面の大きさと fps)が 変わらないかぎり、このコードが使い回されます。どれかが変わると(前にビートを足した場合も含めて)、場面は書き直されます。 音声の長さだけが変わったとき(声や速さを変えたとき)は、Claude Code に頼まず、同じコードで描画し直すだけです。
5. 出来上がったコンポーネントを渡す(code)
mulmocast 2.14.0 から、remotion のビートにコンポーネントそのものを書けます。MulmoCast はそれをそのまま描画し、 claude -p を呼びません。サーバー側で Claude Code にログインしている必要もなく、場面を書くための料金もかかりません。 .tsx はあなた(またはセルのエージェント)が書き、台本からはそのファイルを指します。
"image": { "type": "remotion", "code": { "kind": "path", "path": "scenes/intro.tsx" }, "fps": 30 }
kind: "path"— ファイルで渡します。場所は台本のフォルダからの相対パスです。kind: "text"— コードを"text"に直接書きます。- コンポーネントは場面を
export defaultし、1 つのファイルで完結させてください。描画の前に作業用のフォルダへ写すので、相対パスの import は解決できません。 - 書き直し・修正・見た目の点検は行いません。描画に失敗すると、ファイル(直接書いた場合はどのビートか)とエラーを示して止まります。直してから描画し直してください。
- 長さは
promptの場面と同じで、ナレーションの長さか、それより長いdurationです。
コンポーネントが守るべき書き方(使ってよい import、動きをすべて今のコマから作ること、大きさを画面に対する割合で決めることなど)は、 mulmocast の remotion.md にあります。 セルのエージェントには、MulmoCast のツールと一緒に同じ決まりが渡されています。そのため、たとえば 「2 つ目のビートは、remotion のコンポーネントとして自分で書いて。一緒に調整したい」と頼むだけで、 エージェントが .tsx を書きます。描画がエラーで止まったら、そのエラーを見せればコンポーネントを直します。
知っておくこと
- 場面のコードは手元のマシンで動きます。 Claude Code が書いたものも、
codeで渡したものも同じです。 ネットワークに出られるヘッドレスのブラウザの中で動くので、html_tailwindのscriptと同じ扱いです。信頼できない台本は描画しないでください。 - 入れるとホームに
package.jsonとnode_modulesができます。ホームの下にある Node のプロジェクトは、 自分で入れていないかぎり、どれもこのパッケージを見つけるようになります。 remotionのビートにはmoviePromptを一緒に付けられません。- GPU の無い Linux では、three.js の場面が WebGL を使えずに失敗することがあります。
しゃべるアバター
話者にアバターを付けられます。スライドの上にイラストのキャラクターが重なり、ナレーションに 合わせて口を動かします。表情と動きはビートごとに指定できます。
{
"speechParams": {
"speakers": {
"Ani": {
"provider": "gemini",
"voiceId": "Leda",
"avatar": { "source": "https://raw.githubusercontent.com/receptron/mulmocast-media/main/avatars/ani" }
}
}
},
"beats": [
{
"speaker": "Ani",
"text": "みなさん、こんにちは!",
"image": { "type": "markdown", "markdown": ["# Hello"] },
"avatarParams": { "emotion": "happy", "motions": [{ "motion": "nod", "at": "みなさん" }] }
}
]
}
speechParams.speakers.<名前>.avatar.source— アバターの場所。URL か、台本からの相対パス。すぐ使えるものはani・marilyn・reika・seiya・ken(上の URL の最後を入れ替える)。avatarParams.emotion— 表情。neutral・happy・sad・angry・surprised・relaxed。avatarParams.motions—[{ "motion": …, "at": … }]。nod・tilt・think・giggle・surprise・shy・no・wink・greetのどれかで、ナレーションがatの言葉に来たときに始まります。avatarParams.positionとhiddenで、そのビートだけ位置を変えたり隠したりできます。詳しくは mulmocast の avatar.md を見てください。
1. パッケージをホームに入れる
これらは mulmocast の任意のパッケージで、MulmoTerminal は入れません。理由は Remotion と同じで、アバターを使いたい 人だけが入れます。onnxruntime-node だけで約 290MB あります。
cd ~
npm install avatarscript onnxruntime-node
ホームディレクトリに入れれば、npx(版ごとに ~/.npm/_npx/ の下の新しいフォルダになる)でも、ホームの下に clone した 場合でも見つかります。Node が親のフォルダの node_modules を順にたどって探すからです。npx で使うなら、 ホームに入れてください。グローバルに入れたものは npx からは探されません。MulmoTerminal 自体をグローバルに入れている (npm install -g mulmoterminal)場合だけは、ふつうホームの外(/opt/homebrew/lib/node_modules や /usr/local/lib/node_modules)にあるので、その隣にグローバルで入れてください: npm install -g avatarscript onnxruntime-node。clone に yarn add で入れても動きますが、その package.json に差分が残ります。
2. MulmoCast から見えるか確かめる
npx mulmoterminal@latest init
確認の一覧に次の行が出れば入っています。
✓ avatar — talking avatars in MulmoCast videos
○ avatar — optional なら見つかっていません。installed only in part; missing: … は、まだ入っていないパッケージの名前です。
3. 動画を作る
台本にアバターを書くか、エージェントに頼みます(たとえば「ナレーターに ani のアバターを付けて、1 つ目のビートでは 驚いた顔にして」)。そのあと、いつもどおり GUI パネルの Movie を押します。話者の声にはその読み上げサービスの キーが、動画には ffmpeg が要ります。
最初の描画で、音声と文章を合わせるためのモデル(約 635MB)が ~/.cache/avatarscript/models に一度だけダウンロード されます。そのあとはアバターの映像がキャッシュされ、台本・音声・アバターが変わったときと、アバターが描かれる高さ(キャンバスの高さや、いちばん大きい scale)が変わったときに作り直されます。
アバターの映像を作る必要があるときにパッケージが入っていないと、そのビートは mulmocast の案内 (npm install avatarscript onnxruntime-node)を出して止まります。キャッシュ済みの映像は、パッケージが無くてもそのまま使われます。