Skip to content

USAGE_JP.md

Latest commit

 

History

History
516 lines (368 loc) · 24.1 KB

USAGE_JP.md

File metadata and controls

516 lines (368 loc) · 24.1 KB
Raw

Generative Media Place ユーザーズガイド

このドキュメントは simple_video_app の Standalone版で実際に使える機能 を網羅したガイドです。

1. 対象と前提

  • 対象: simple_video_app（Standalone版）
  • 前提: ComfyUI が 127.0.0.1:8188 で稼働
  • ブラウザ: http://127.0.0.1:8090/

2. 画面の見方

  • 左パネル: キー画像・キャラクタ画像の生成・画像プロンプト・音楽生成
  • 右パネル: 出力動画・動画生成（シーケンス・設定・シナリオ・中間画像・実行）
  • 上部バー: 📁 Files（成果物ブラウザ）/ ❓ Help（フローティングヘルプ）

3. キー画像

  • クリックまたはドラッグ&ドロップで画像・動画をアップロード
    • 動画をアップロードした場合は最終フレームを自動抽出してキー画像化
  • 🔍 解析: VLM（Vision-Language Model）でキー画像を分析し、プロンプトテキストを自動取得
    • 「解析結果をシナリオに利用」チェック: 分析結果をシナリオ生成に注入
    • 「解析結果をシーンプロンプトに注入」チェック: 各シーンプロンプトに直接注入
  • 🗑️: キー画像を削除（解析結果・合成データもクリア）

4. キャラクタ画像の生成

折りたたみ可能なセクションです。

4.1 📥 画像ドロップ（ref1〜ref3）

  • 3スロットに参照画像をドロップまたはクリックでアップロード
  • 動画をドロップした場合は最終フレームを自動抽出
  • 各スロットの × で個別削除

4.2 ref3 の利用モード

  • ref3 を I2I シーン生成に利用するかのON/OFF
  • モード選択: 🏞️ 背景 / 🎨 スタイル / ✨ アニメスタイル

4.3 👤 キャラクタ一覧

  • 🔄 で登録済みキャラクタを再取得
  • キャラクタチップをクリックすると @キャラ名 トークンをプロンプトに挿入
  • 🔘 選択解除 で選択をクリア

4.4 📝 キャラクタ登録

  • 名前 + 画像ファイルで新規キャラクタを登録

4.5 📝 何を描きたい？（画像プロンプト）

画像生成としての使い方:

  • 📝 何を描きたい？ にプロンプトを入力して 初期画像を生成 を実行
  • キー画像・📥 画像ドロップに画像がない場合 → T2I（テキストから新規画像生成）
  • キー画像・📥 画像ドロップに画像がある場合 → I2I EDIT（参照画像をもとに編集・調整）
  • 生成画像はキー画像として自動反映され、後続の動画生成に引き継げます
  • 🌐 翻訳: プロンプトを英⇔日に自動翻訳
  • 🗑️ クリア: プロンプトをクリア

4.6 初期画像の生成

  • ✂️ 事前背景削除 チェック: 生成前に入力画像の背景を自動削除
  • 背景をより消しやすくするには、📝 何を描きたい？ のプロンプトで背景色を指定（例: plain white background / 背景は白）
  • 初期画像を生成: T2I または I2I を実行
  • 生成中止: 実行中のジョブを中断

5. 🎼 音楽生成

5.1 音楽設定

設定 説明
音楽シナリオ 曲のテーマ・感情・展開（未入力時は動画シナリオを利用）
Tags（必須） ジャンル・雰囲気・BPMなど（例: pop, female voice, emotional, 110 bpm）
Lyrics（任意） 歌詞テキスト
Language English / 日本語 / 中文
Duration 秒数（1〜300、既定30）
BPM テンポ（30〜240、既定120）
Time Signature 拍子（2/4, 3/4, 4/4, 6/8）
Key/Scale 調（C〜B のメジャー/マイナー）
Steps 推論ステップ数（1〜200、既定8）

音楽シナリオ入力の目安:

  • 長くても実行は可能ですが、長文すぎると主題がぼけやすくなります
  • 推奨は 5〜12行 または 約300〜1200文字 程度
  • 「テーマ / 感情の推移 / 場面の流れ / 結末イメージ」を簡潔に入れると安定しやすいです
  • Duration はシナリオ長とは別管理で、秒数指定で制御されます

5.2 音楽生成ボタン

ボタン 動作
🚀 AUTO 作詞 → タグ提案 → 音楽生成を自動で連続実行
🎼 作詞 LLM でシナリオから歌詞を生成
🏷️ タグ提案 LLM で歌詞からタグを提案
🎵 音楽生成 ACE-Step ワークフローで音源を生成
🎬 音楽→動画（M2V） 音源に合わせて動画を生成

ACE-Step API サーバー接続時は以下のコントロールも表示されます:

コントロール 説明
🧠 Thinking ON で高品質生成（steps=50, cfg=3.0）、OFF で turbo モード（steps=8, cfg=1.0）
✨ AI Tags ACE-Step API の LM でタグ/キャプションを自動強化
CFG ガイダンス強度（Thinking ON/OFF で自動切替）

5.3 M2V の音源選択

  • 「生成した音楽」または「外部アップロード」を切り替え可能
  • アップロードはドラッグ&ドロップまたはクリックで音声ファイルを選択

5.4 M2V 実行時の動画シナリオ

  • シナリオ未入力時は確認ダイアログが表示
    • このまま生成する: 歌詞/音源ベースで継続
    • シナリオを入力する: シナリオ欄へ戻って編集
  • M2V 後に「指定シーン再生成」を行う場合は、シーンごとのプロンプト 欄を空にせず保持してください

5.5 ACE-Step API サーバー統合

--ace-step-url オプションで外部 ACE-Step API サーバーを指定すると、以下の機能が追加されます:

  • Thinking モード: LM 拡張の高品質音楽生成（デフォルト ON）
  • AI Tag 強化: タグ/キャプションを ACE-Step API 側の LM で自動生成・強化
  • ACE-Step API サーバーが接続されていない場合は、従来の ComfyUI ワークフロー（turbo 8 ステップ）で生成

起動例:

./start.sh --ace-step-url http://127.0.0.1:8001

6. 🎬 出力動画

  • 生成された動画・画像・音声のプレビュー表示
  • クリックでフルスクリーンモーダル再生
  • ダウンロードリンク

6.1 🎵 動画に音楽を追加

結合動画の表示時に 🎵 音楽を追加 ボタンが表示されます（音源が存在する場合のみ）:

  • 音楽生成済みまたは外部音源アップロード済みの状態で、結合動画を生成すると表示
  • ボタンを押すと、ffmpeg で動画の先頭から音響トラックを合成し、音楽付き動画を出力
  • 動画の方が短い場合は音声をフェードアウトで切り、音声の方が短い場合はそのまま合成
  • M2V を使わずに、手軽に動画＋音楽の PV を作る用途に便利

6.2 V2M（動画→音楽）入力

  • ドラッグ&ドロップで動画をアップロード（動画→音楽の入力用）
  • 動画の尺が自動検出されて表示

7. 🎬 動画生成

7.1 ⚙️ 生成シーケンス

動画生成のパイプラインを選択します。

オプション 説明
LTXを使う ON でLTX-2系ワークフローを優先（高速）
LTX種別 Full FP4 / Distilled
音声も生成 動画に音声トラックを付加（対応ワークフロー必要）

利用可能なプリセット:

プリセット 概要
T2I → I2V シーンカット テキストで画像生成 → 各シーンI2Vで動画化
T2I → I2V シーン連続 テキストで画像生成 → 前シーン最終フレームで連続動画化
T2V シーンカット テキストから直接各シーン動画を生成
T2V シーン連続 テキストから動画、前シーン最終フレームで連続
キー画像 → I2V 連続 キー画像から1シーン目I2V、以降連続生成
キー画像リファイン → I2V 連続 キー画像をI2Iリファイン → I2V連続
キー画像リファイン → I2V シーンカット キー画像をリファイン → 各シーン独立I2V
キャラ I2I + FLF 連続 キャラ画像参照で各シーン画像をI2I → FLFで遷移動画
キャラ EDIT + I2I + FLF 連続 EDIT → I2I → FLF で遷移動画
キャラ EDIT + I2I + I2V シーンカット EDIT → I2I → 各シーンI2V
キャラ EDIT + I2I + 混在トランジション EDIT → I2I(N+1枚) → 境界ごとにFLF/I2Vを自動選択
キー画像参照 I2I + 混在トランジション キー画像参照でI2I(N+1枚) → 境界ごとにFLF/I2Vを自動選択（キャラ不要）

混在トランジションプリセット（キャラ EDIT + I2I + 混在トランジション / キー画像参照 I2I + 混在トランジション）では：

  • 「🤖 プロンプト生成」で「N+1場面」分のプロンプトと遷移タイプ（FLF / I2V / cut / fade）をLLMが自動判定
  • 「🖼️ シーン事前生成」でN+1枚のシーン画像を先に生成→ CONTINUE 確認 → 動画生成へ進む
  • キー画像参照 I2I + 混在トランジション はキャラ画像不要（🖼️キー画像のみ必要）

7.2 ⚙️ 動画設定

基本設定:

設定 内容
シーン数 1〜24（既定3）
シーン長さ 2 / 3 / 4 / 5 / 8 / 10(LTX) / 13(LTX) 秒
合計表示 自動計算（読み取り専用）
参照画像の役割 キャラクター一貫性 / 雰囲気・絵柄維持
参照固定 キャラ固定 / シーン1固定
動きの強さ 極小 / 小 / 中 / 大
展開 自動 / 抑える / 大きめ（シーン間の変化量）

連続長尺プリセット（キャラ I2I + FLF 連続 / キャラ EDIT + I2I + FLF 連続）では、

  • 展開=自動 は差分を抑える方向（stable寄り）で動作
  • 動き=中 でもプロンプト生成時は小さめ動き寄りに補正（連続性優先）

詳細設定（⚙️トグル）:

設定 内容
サイズ auto〜各種解像度（横長/縦長/スクエア）
FPS 数値指定（空欄でauto、LTX時は24固定）
FLF品質 ⚡高速 / ✨高品質
I2Iモデル auto / Qwen 2511 Lightning / 2511 20-step / 2512 Lightning / Flux2 Edit / Klein 4B / Klein 9B
I2I denoise 0〜1（ステップ0.001）
I2I CFG 数値

設定管理:

  • 🔄 リセット: 全動画設定をデフォルトに戻す
  • 🗑️ ブラウザメモリクリア: 全状態を削除してページリロード

7.3 📜 シナリオ入力

  • 🎯 ざっくり意図（1〜2文）: 短いアイデアを入力
  • 🧠 シナリオ作成: ざっくり意図から詳細シナリオを自動生成してシナリオ欄へ反映（固定テンプレートではなく、意図に応じてシーン型/時間軸型で可変構成）
  • 🎨 画風テンプレ: リアル寄り / アニメ風 / イラスト風 / 映画風 / ラインアート風 / ドット絵風 をワンクリックでシナリオへ注入
    • 画風テンプレは STYLE_ANCHOR として1つだけ保持され、別の画風を押すと上書きされます
    • 画風テンプレ適用時は、シーン長の標準値を 5秒 に自動調整します
  • シナリオテキストを入力（どんな動画を作りたいかを記述）
  • LLMでプロンプト生成 チェック: ON=LLMでシーン別プロンプトを自動生成、OFF=シナリオをそのまま各シーンにコピー
  • 複雑さ: 簡単 / 標準 / 詳細（既定=標準）
  • FLF終端意図注入: 次シーン画像の要点をFLF動画プロンプトに注入
  • 🌐 翻訳: 生成プロンプトを英⇔日に翻訳
  • 🗑️: 生成済みシーンプロンプトをクリア

プロンプト作成は 2ステップ運用 が有効です:

  1. 🧠 シナリオ作成 で意図を展開
  2. 🤖 プロンプト生成 でシーン別プロンプト化

🤖 プロンプト生成 実行時は、生成後にガードレールが自動適用されます:

  • 分割構図語（split-screen / collage / multi-panel など）の抑制
  • 被写体一貫性の補強（キャラ参照がある場合）
  • STYLE_ANCHOR に基づく画風一致チェックと不足語の補完（競合画風語の抑制）

ラインアート風 を使うときのコツ:

  • ラインアート風 ボタン押下後に生成すると、動きの強さが 小、複雑さが 簡単 に自動調整されます
  • 画風テンプレ適用後は全スタイル共通でシーン長 5秒 が基準になります
  • 線画の破綻を減らすため、1シーンの主動作は1つに絞り、同時動作を詰め込みすぎない
  • 「強い写実感」や「重い質感」を示す語は避け、輪郭・線の読みやすさを優先する
  • うまく出ない場合は、シーン長を 4〜5秒 にして再生成すると安定しやすい

🎯 ざっくり意図 入力のコツ（重要）:

  • 1〜2文で「誰が・どこで・何をするか」を入れる
  • 可能なら「時間の流れ」（例: 昔→今→未来、春→夏→秋）を短く示す
  • 画風や雰囲気を1語添える（例: シネマティック、ノスタルジック、ドキュメンタリー風）
  • 逆に、細部を最初から書きすぎない（詳細は 🧠 シナリオ作成 後に詰める）

良い例:

  • 港町で働く青年が、古い写真を手がかりに家族の記憶を辿る。夕方から夜へ時間が進み、最後は夜明けに希望を見つける。
  • 雨の東京で、配達員の一日を追う。朝の静けさ→昼の混雑→深夜の孤独までを淡々と描く。

避けたい例:

  • かっこいい動画（主語・場所・行動が不足）
  • 全部おまかせ（意図が曖昧で出力が不安定）

高品質化の推奨フロー:

  1. ざっくり意図 を入力 → シナリオ作成
  2. 複雑さ を 標準 または 詳細 に設定
  3. 🤖 プロンプト生成 を実行

補足:

  • 簡単 は短く軽量、標準 はバランス型、詳細 は最も記述量が多く高品質寄りです
  • 高品質化は生成時間・トークン量が増えるため、まずは 標準 からの運用を推奨します

7.4 📸 内部参照画像

  • 自動生成・準備済みの内部参照画像（キャラ合成画像、初期画像など）を確認
  • クリックで拡大表示
  • ✕ で個別削除、🗑️ で全削除

7.5 🖼️ 中間画像（シーン画像）

  • シーンごとのサムネイルを確認・編集
  • クリックで拡大表示
  • ドラッグ&ドロップで画像を差し替え
  • 🔄 個別シーン画像の再生成
  • 🎬 個別シーン動画の再生成
  • ✕ 個別削除
  • 🗑️ 全中間画像クリア

7.6 生成実行ボタン

ボタン 動作
🤖 プロンプト生成 LLMでシナリオからシーン別プロンプトを自動生成
🖼️ シーン事前生成 全シーンの中間画像を事前にI2Iで生成
▶ 動画を生成 動画生成パイプラインを実行（マルチシーン・結合）
🎵 動画→音楽 動画の尺に合わせてBGMを生成（V2M）
⏹ 生成中止 実行中のジョブを中断

7.7 進捗・中間確認

  • プログレスバーでステップ状況と進行率を表示
  • 中間画像確認が有効な場合、以下の操作が可能:
    • ▶ CONTINUE: パイプラインを続行
    • 🔄 全シーン再生成: シーン画像をすべて再生成してから続行
    • 🔁 最初からやり直し: プロンプト・画像をクリアして最初から
    • ⏸ 停止して調整: パイプラインを停止して中間画像を手動編集

7.8 🤖 生成されたシーンプロンプト

  • LLMが生成したシーン別プロンプトを表示・編集
  • 🌐 翻訳: 英⇔日に翻訳

🔀 シーン遷移タイプ（混在トランジション専用）

混在トランジション系プリセットでプロンプト生成後、プロンプト欄の下に折りたたみアコーディオン形式で表示されます。

表示内容:

  • ヘッダーに遷移タイプ別の件数バッジ（例: FLF ×3 カット ×2）
  • 各シーンの行: シーン番号 / カラーバッジ / ドロップダウン / プロンプト冒頭40文字

遷移タイプ一覧:

タイプ 内容
―（none） 変化なし（シーン1は常にこれ）
FLF遷移 前後の画像をFirst-Last-Frame補間でつなぐ（滑らかな遷移）
カット 直接カット（映像的なシーン切替）
クロスフェード 映像レベルのクロスフェード結合
フェード黒 黒フェードイン/アウトでつなぐ

手動変更: 各行のドロップダウンを変更すると即座に保存され、その後の動画生成に反映されます。シーン1は常に ―（変更不可）。

7.9 🧩 プロンプト作成 Tips（高品質化）

まず重要な前提

  • 生成されたプロンプトはそのまま使うより、手動で微修正した方が高品質になりやすいです
  • 動画プロンプトの精緻化性能は、利用するLLMによって差が大きく出ます
  • モデルサイズが大きいほど常に良い結果になるとは限りません
  • 実運用では、情緒・ニュアンス・映像的な連続性を自然に記述できるLLMの方が、動画向けに有利なケースがあります

どこを手動修正すると効くか（優先順）

  1. 被写体の一貫性
  • 人物の年齢/服装/髪型/持ち物を各シーンで揃える
  • 主語（誰が動くか）を毎シーン明示する
  1. シーン間の連続性
  • シーンNの終わりとシーンN+1の始まりがつながる文を1行入れる
  • 例: 「same character and outfit, continuing from previous scene」
  1. カメラ指示の具体化
  • camera moves だけでなく、slow dolly-in / gentle pan-right / handheld close-up のように具体化
  • 1シーンにカメラ指示は1〜2個に絞る（多すぎると破綻しやすい）
  1. 動作の明確化
  • 抽象語（"dramatic action"）より、具体動作（"opens the old terminal and steps back"）
  • 同時動作を詰め込みすぎない（主動作1つ + 補助動作1つ程度）
  1. 光・色・質感の固定
  • 時間帯（dawn/night）、光源（neon/backlight）、色調（teal-orange 等）を明記
  • シーンごとに色設計を大きく変えない
  1. 不要要素の抑制
  • watermark / subtitle / logo / text artifacts / deformed anatomy などを避ける語を入れる
  • ただし禁止語を大量に書きすぎない（2〜6個程度）

修正時の注意

  • 長すぎるプロンプトは情報競合を起こしやすいので、1シーン1テーマを守る
  • 矛盾（例: 夜景 + 強い昼光）を避ける
  • FLF運用では「終端意図」が次シーンに繋がるよう、終わりの状態を明示する
  • 迷ったら 標準 で生成 → 手動修正 → 必要時のみ 詳細 に上げる

実践フロー（推奨・2ステップ）

  1. 🎯 ざっくり意図 → 🧠 シナリオ作成
  2. 🤖 プロンプト生成（複雑さ: 標準）
  3. 各シーンで上記6項目を手動修正
  4. テスト生成して、崩れたシーンのみ再修正

よく利用される用語（例）

以下は動画生成プロンプトでよく使う語彙です。必要なものだけを選んで使ってください。

用語 意味 / 使いどころ 例（短文）
cinematic 映画的な画作り cinematic lighting, dramatic composition
establishing shot 場所・状況を示す導入カット establishing shot of a rainy harbor city
close-up 被写体を大きく見せる寄り close-up of her face, subtle breathing
medium shot 腰上〜全身が入る標準的画角 medium shot, character walking forward
wide shot 広い背景込みで見せる wide shot, skyline and crowd in frame
dolly-in / dolly-out 前進/後退するカメラ移動 slow dolly-in toward the protagonist
pan / tilt 左右/上下に振るカメラ gentle pan right following motion
tracking shot 被写体を追従する移動撮影 tracking shot, keeping her centered
handheld 手持ち風の揺れを加える handheld camera, slight natural shake
shallow depth of field 背景をぼかして主題を強調 shallow depth of field, focus on eyes
rim light / backlight 輪郭光・逆光の演出 soft rim light separating subject
volumetric light 光の筋（霧・塵で見える） volumetric light through window haze
color palette 色設計の指定 teal and orange color palette
film grain フィルム粒状感 subtle film grain, organic texture
continuity シーン間の一貫性指示 maintain continuity of outfit and prop
atmosphere / mood 空気感・情緒の指定 melancholic mood, quiet atmosphere
negative prompt 避けたい要素の指定 no watermark, no subtitle, no logo

使い方のコツ:

  • 1シーンで使う専門語は 3〜6 個程度に絞る
  • カメラ指示は 1〜2 個に絞る（競合を避ける）
  • continuity と negative prompt は全シーン共通で入れると安定しやすい

8. 📁 Files ブラウザ

上部バーの 📁 Files で開く成果物管理モーダルです。

操作 説明
フィルタ All / Image / Video / Music Video / Audio
ソート 日時 / 名前 / サイズ（昇順/降順）
全選択 / 全解除 一括操作
個別選択 + 一括削除 選択したファイルをまとめて削除
個別削除 ファイルごとの 🗑️ ボタン
ダウンロード ファイルごとの ⬇ ボタン
プレビュー サムネクリックでフルスクリーンモーダル再生（画像/動画/音声）

9. ❓ ヘルプシステム

フローティングパネルで以下を切り替え表示:

  • クイックヘルプ（tutorial）
  • ユーザーズガイド（guide）
  • テクニカルガイド（technical）

パネルはドラッグで移動可能、最小化・閉じるボタン付き。

10. エラー時の確認

  • ComfyUI /prompt failed が出たら、エラー詳細の停止箇所を確認（node_errors 欄）
  • 画像参照エラー時は 📥 画像ドロップ とキャラ選択状態を再確認
  • 古い job_id の 404 は再生成で解消する場合があります

11. サーバーモード（マルチユーザー）

start_server.sh で起動すると、複数ユーザーが同時にアクセスできるサーバーモードで動作します。

11.1 対応

  • セッションごとにデータ（状態・画像・動画・音声）が自動分離
  • ブラウザごとに UUID を自動生成（localStorage + Cookie）
  • ユーザー間の干渉なし

11.2 起動方法

bash start_server.sh
bash start_server.sh --host 0.0.0.0 --port 8090
bash start_server.sh --comfyui-server 192.168.1.100:8188

または:

SIMPLE_VIDEO_MULTI_USER=1 uvicorn app_server:app --host 0.0.0.0 --port 8090

11.3 データ分離構造

項目 パス
セッション状態 data/sessions/{session_id}/simple_video_state.json
参照画像 data/sessions/{session_id}/ref_images/
出力ファイル output/{image,video,movie,audio}/ 内をセッション ID でフィルタ
一時ファイル temp/{session_id}/

11.4 注意事項

  • ComfyUI は全ユーザーで共有されるため、同時実行数が多いと待ちが発生します
  • セッションデータはサーバー再起動後も data/sessions/ に残ります

12. Standalone版で未対応の機能

  • Utility機能（本家向けの汎用API呼び出し）
  • distributed モード

13. 参考リンク

  • クイックヘルプ: /api/v1/simple-video/help/tutorial
  • ユーザーズガイド（この文書）: /api/v1/simple-video/help/guide
  • テクニカルガイド: /api/v1/simple-video/help/technical