クリエイターのためのオープンソース AI ワークスペース

脚本から動画、画像、音声、アバター、翻訳、編集まで、Agent がひとつのワークスペースで制作プロセス全体を前進させます。

主な特徴 · 制作ツール · 会話とワークスペース · 対応モデル · 活用例 · クイックスタート · Desktop · システム構成 · 開発 · ドキュメント · コントリビューター · Star 履歴

プロジェクト概要

OpenCreator は、制作や開発の作業をローカル環境で継続的に進めたい個人やチーム向けに設計されています。独自の Agent ループを再実装するのではなく、Codex CLI を実行エンジンとして利用し、その上に安定したローカル Runtime、ビジュアルワークスペース、Desktop ホストを提供します。

本製品は、相互に連携する2つのワークフローを統合しています。

AI コンテンツ制作：動画翻訳、動画ダウンロード、サムネイル生成、画像生成の専用制作ツールを利用できます。
汎用 Agent ワークスペース：会話をプロジェクト単位で整理し、Run をバックグラウンドで継続しながら、承認、添付ファイル、ファイル、Skills、MCP、スケジュール、通知、メモリ、診断を一元管理できます。

Web が唯一のフロントエンド実装です。Desktop は同じ Web ビルドを読み込み、ディレクトリ選択、ウィンドウのライフサイクル、トレイ、ネイティブ通知など、OS が必要な機能だけを追加します。同じデータとコンテンツビューポートを使用する場合、両プラットフォームで共通の UI と Runtime の動作が一致します。

主な特徴

🤖 Codex ネイティブ：別の実行エンジンを保守することなく、Codex の Agent ループ、モデル、推論、ツール呼び出し、会話、Skills、MCP をそのまま活用できます。
🚀 すぐに使える Desktop アプリ：Codex CLI を同梱した Desktop アプリから OpenCreator を直接起動できます。ローカル Runtime は必要に応じて起動し、デフォルトプロジェクトを自動的に準備します。
🔄 管理された Runtime コンポーネント：同梱中、使用中、最新版の yt-dlp を確認し、定期的な更新チェックと手動更新を行えます。更新に失敗した場合も、現在動作しているバージョンを保持します。
🎨 マルチモーダル制作：動画、画像、音声、字幕、ドキュメントを1つの連携したワークフローで制作・管理できます。
🔗 2つの操作モード：ビジュアルワークスペースと Agent 会話のどちらからでも作業でき、共通のステートマシンが手順、進捗、結果を同期します。
🕘 バージョン管理：修正のたびに新しいバージョンを作成し、以前の設定と出力を比較・確認できる状態で保持します。
🧩 Skills と MCP：Skills を閲覧、インストール、実行し、Codex ネイティブ設定を通じて MCP を管理できます。
🧠 メモリ：グローバル、プロジェクト、スレッド単位のメモリを保持し、要約と再現可能な Run 入力スナップショットを保存します。
🔐 ローカルセキュリティ：データ、添付ファイル、ログはデフォルトでローカルに保持され、承認と秘匿化された診断情報を利用できます。

制作ツール

現行リリースには、4つの制作ツールが含まれています。利用可能なモデルとサービスは、ローカルの Codex 環境および AI サービス設定によって異なります。

Dashboard から、動画翻訳、公開動画のダウンロード、サムネイル生成、画像生成を開始できます。

制作ツールは今後も順次追加されます。

制作ツール	状態	機能
動画翻訳	✅ 利用可能	ローカルまたは公開動画を読み込み、クラウドまたはローカルの Whisper サービスで文字起こしを実行します。LLM のコンテキストを活用して字幕の分割、位置合わせ、用語処理、翻訳を行い、二言語字幕、吹き替えまたはカスタム音声サンプル、字幕スタイル、横向き・縦向きの構成を設定し、SRT、音声、動画として書き出せます
動画ダウンロード	✅ 利用可能	YouTube、Bilibili など、対応する公開リンクを解析し、利用可能な画質と形式を確認して、後続の制作に使用する動画または音声をダウンロードできます
サムネイル生成	✅ 利用可能	テーマ、動画リンク、任意の参照画像を組み合わせ、複数のコンテンツ用サムネイル案を生成して比較できます
画像生成	✅ 利用可能	プロンプトと任意の参照画像から GPT Image で画像を生成し、アスペクト比と生成枚数を設定して、各画像をプレビュー・ダウンロードできます
スティックフィギュアアニメーション	近日公開	ガイド付きワークフローでキャラクター、絵コンテ、ナレーション、アニメーションを制作します
自動クリップ	開発中	長尺動画を分析して見どころを特定し、選択した場面を再利用可能な短いクリップに仕上げます
スマート吹き替え	開発中	音声、テンポ、感情表現を選び、脚本からナレーションを生成します
動画生成	開発中	プロンプトと参照画像から動画を生成し、プレビューして書き出します
デジタルアバター	開発中	脚本、音声、アバター表現を組み合わせ、トーキングヘッド動画を制作します

会話とワークスペースを連携して進める

タスクを自然な言葉で伝え、細かな調整が必要になったらビジュアルツールへ移れます。

細かなワークスペース操作

字幕、ショット、音声、生成設定を正確に調整できます。

柔軟な会話による編集

変更内容を Agent に伝え、自然な言葉で結果を継続的に改善できます。

同期された状態

会話とワークスペースが現在のタスク状態を共有するため、同じ説明を繰り返す必要はありません。

独立したバージョン

修正のたびに以前の結果や設定を上書きせず、独立したバージョンを作成します。

対応モデル

言語モデルは Codex のモデルカタログ、または設定した OpenAI 互換プロバイダーから利用できます。画像、音声、文字起こしモデルには 設定 → AI サービス で構成したサービスを使用します。

言語モデル

GPT	DeepSeek	Qwen	Kimi	GLM
Grok	Doubao	ERNIE	Hunyuan

画像

GPT Image

音声と文字起こし

Whisper

OpenAI TTS

MiniMax

Edge TTS

Aliyun Speech

活用例

動画翻訳

以下の公開例は、OpenCreator がまだ KrillinAI という名称だった時期に制作されたものです。字幕の位置合わせ、翻訳、吹き替え、縦向き動画のワークフローを、現在の OpenCreator の動画翻訳ワークスペースがより広範な Agent ワークフローへ統合していることを示しています。

このプロジェクトでは、46分のローカル動画から、字幕を手作業で調整することなく1回の実行で以下の字幕ファイルを生成しました。公開結果では、字幕の欠落や重複がなく、自然な文分割と高品質な翻訳を実現しています。

字幕翻訳

subtitle_translation.mp4

吹き替え

tts.mp4

縦向きモード

agi.mp4

これらの動画例と字幕位置合わせ画像は、OpenCreator が KrillinAI という名称を使用していた時期に制作されました。

動画ダウンロード

公開動画のリンクを解析し、利用可能な形式を比較して、動画または音声をプロジェクトへ直接ダウンロードできます。

スティックフィギュアアニメーション（近日公開）

近日公開予定です。現行バージョンにはまだ搭載されていません。

OpenCreator は、Stickman on Behance の作者であるアーティスト Harbor Hsia と共同で、このオリジナルキャラクターコレクションを開発しました。統一されたキャラクター表現を持つ、将来のストーリー・アニメーション制作ワークフローに向けて準備を進めています。

計画中のワークフローでは、キャラクターとストーリーのアイデアから、絵コンテ生成、ショット確認、ナレーション、音楽、バージョン管理されたアニメーション出力までを案内します。

クイックスタート

必要環境

Node.js 22 以降
リポジトリの packageManager フィールドで固定されている pnpm 9.15.0
ターミナルから実行可能な Codex CLI
実際のモデルタスクを実行するための有効な Codex CLI ログイン

まずローカル環境を確認します。

node --version
pnpm --version
codex --version

ソースから Web を起動

git clone https://github.com/krillinai/OpenCreator.git
cd OpenCreator
corepack enable
pnpm install
pnpm web:dev

http://127.0.0.1:19861/ を開きます。開発サーバーは必要に応じてローカル daemon を起動し、同一オリジンのプロキシを通じて一時的な Runtime トークンを注入するため、接続トークンを手動でコピーする必要はありません。

初回起動時に Runtime がデフォルトプロジェクトを準備します。接続が完了すると、すぐに入力欄を使用できます。daemon のみを操作する場合は、次を実行します。

pnpm daemon:dev

daemon はローカルのループバックアドレスだけをリッスンし、接続アドレスと一時トークンを標準出力へ一度だけ表示します。

Desktop

Desktop とブラウザ版は、apps/web にある同じ React フロントエンドを使用します。プロジェクト、会話、タスク、設定などの共通機能は、同じ Daemon/API を呼び出します。Electron は実際のシステムパス、ウィンドウ操作、トレイ、ネイティブ通知だけを追加します。

開発モード

pnpm desktop:dev

ローカルパッケージング

コマンド	出力
`pnpm desktop:package`	現在のプラットフォーム向けの実行可能ディレクトリ。ローカル検証用
`pnpm desktop:dist`	現在のプラットフォーム向けインストーラー
`pnpm desktop:release`	正式リリース用パッケージングのエントリーポイント
`pnpm --filter @opencreator/desktop verify:package`	既存の Desktop パッケージを検証

Desktop のパッケージングでは、現在のワークスペースから Web を再ビルドし、コミット、dirty 状態、プラットフォーム、アーキテクチャ、Web ハッシュを記録したうえで、apps/web/dist とアプリケーション内のリソースを比較します。一致しない場合、パッケージングは失敗します。署名、公証、Windows ビルド、リリース要件については、Desktop リリース運用ガイドを参照してください。

コアワークフロー

会話と Run

プロジェクトを選択するか、新しい会話を開始します。
タスクを入力し、権限レベル、Profile、モデル、推論強度を選択します。
Run の実行中は、後続タスクをキューに追加するか、現在の処理を中断してすぐに続行できます。
Timeline で推論の要約、ツール呼び出し、ファイル変更、承認、最終結果を確認します。
タスクセンターで、実行中、完了、失敗、承認待ちのタスクを一元的に追跡します。

Skills と MCP

プラグインセンターで Skill マーケットプレイス、インストール履歴、ローカルで利用可能な Skills を閲覧できます。
入力欄で / または追加メニューから Skill を選択すると、次のタスクがそのワークフローに従います。
MCP の管理は、別の実行エンジンを保守するのではなく、Codex ネイティブのコマンドと設定を利用します。
OpenCreator はデフォルトで現在の $CODEX_HOME を使用するため、グローバルな Skills や MCP の設定を変更する前に影響範囲を確認してください。

スケジュールと専用タスクスレッド

各スケジュールは、永続的な専用 OpenCreator 会話を持ちます。
自動トリガー、手動実行、ユーザーのフォローアップは同じ会話を再利用し、queue または skip ポリシーに従って直列実行されます。
スケジュールを削除すると専用会話はアーカイブされますが、既存の Runs、結果、基盤となる Codex 履歴は保持されます。
基盤となる Codex スレッドのローテーションや復旧が行われても、OpenCreator のタスクエントリーやページルートは変わりません。

OpenCreator システム構成

OpenCreator は、ビジュアルワークスペースと Agent 会話を別々のワークフローではなく、同じ制作タスクに対する2つのインターフェースとして扱います。各制作ワークフローはステートマシンとしてモデル化され、素材入力、設定、生成、確認、修正、書き出しが明確な状態とイベントになります。ワークスペースの操作と会話コマンドは同じステートマシンへ入り、現在の手順、設定、進捗、バージョン、結果が両方のインターフェースへ反映されます。これにより、別の情報源を増やすことなくワークスペースと会話を同期できます。

制作は反復的な作業であるため、修正によって現在の結果が上書きされることはありません。修正または再生成のたびに既存のワークフロー状態から新しいバージョンを作成し、以前の設定と出力を確認、比較、継続的に改善できる状態で保持します。

+-----------------------------+     +------------------------------------+
| Browser Access              |     | Desktop Host                       |
|                             |     | Shared Web build + Electron        |
+--------------+--------------+     +------------------+-----------------+
               |                                       |
               +-------------------+-------------------+
                                   v
+----------------------------------------------------------------------------+
| Creator Experience / apps/web                                              |
| Dashboard / Creator Tools / Agent Conversation / Settings / Files          |
+-------------------------------------+--------------------------------------+
                                      |
+-------------------------------------v--------------------------------------+
| Collaboration Core                                                         |
| Shared workflow state / Steps / Progress / Results / Versions              |
+-------------------------------------+--------------------------------------+
                                      | Runtime API + SSE
+-------------------------------------v--------------------------------------+
| Local Runtime / apps/daemon                                                 |
| Projects / Runs / Approvals / Schedules / Memory / Notifications           |
| Component status / Update checks / Verified updates / Safe fallback        |
+-------------+------------------------+------------------------+-------------+
              |                        |                        |
              v                        v                        v
+---------------------+  +---------------------+  +-------------------------+
| Local Data          |  | Codex Engine        |  | Media Toolchain         |
| SQLite / Files      |  | CLI / app-server    |  | FFmpeg / yt-dlp         |
| System credentials  |  | Skills / MCP        |  | Whisper / AI services   |
+---------------------+  +---------------------+  +-------------------------+

OpenCreator コンポーネント	役割	実装
制作体験	Dashboard、制作ツール、Agent 会話、設定、ファイルを提供	`apps/web` · React 18 · Vite · TypeScript
コラボレーションコア	ワークスペースの手順、会話コンテキスト、進捗、結果、修正履歴を同期	共通ワークフロー状態 · `CreatorCollaborationPanel` · バージョン履歴
ローカル Runtime	プロジェクト、Runs、承認、スケジュール、メモリ、通知を管理	`apps/daemon` · Fastify · Runtime API · SSE
Runtime コンポーネント	同梱中、使用中、最新版を追跡し、定期確認とユーザー指定の更新のみを実行	yt-dlp nightly · 更新検証 · 動作中バージョンへのフォールバック
Codex エンジン	Agent ループ、セッション、推論、ツール、Skills、MCP を提供	Codex CLI · app-server
メディアツールチェーン	クリエイティブメディアをダウンロード、文字起こし、変換、生成、書き出し	yt-dlp · Whisper · FFmpeg · 設定済み AI サービス
ローカルデータ	プロジェクトデータ、Runs、添付ファイル、出力、認証情報をローカルに保存	SQLite · ファイルシステム · システム認証情報ストレージ
Desktop ホスト	共通 Web ビルドを読み込み、OS 固有機能を追加	`apps/desktop` · Electron · Preload Bridge

基本原則：

ワークスペースと Agent 会話は、同じワークフロー状態を同期して表示します。両方が同じステートマシンへイベントを送り、別々のタスク状態を持ちません。
修正時は既存の結果を置き換えずに新しいバージョンを作成し、各制作イテレーションのコンテキストと出力を保持します。
フロントエンドは Codex を直接起動せず、Codex の生の JSONL イベント形式にも依存しません。
daemon がプロセスのライフサイクル、イベントの正規化、永続化、承認、スケジュール、通知 outbox を管理します。
Agent ループ、Skills、MCP の実行において、Codex が引き続き唯一の信頼できる情報源です。
Browser Bridge と Desktop Bridge が汎用製品ロジックを別々に実装することはありません。

リポジトリ構成

OpenCreator/
├── apps/
│   ├── web/          # 唯一の React フロントエンド実装
│   ├── daemon/       # ローカル Fastify Runtime と Codex アダプター
│   ├── desktop/      # Electron Main、Preload、ネイティブ機能、パッケージング
│   └── harness/      # Runtime コマンドライン検証ツール
├── packages/
│   ├── protocol/     # Web、Daemon、Desktop で共有する Runtime 契約
│   └── skill-market/ # Skill マーケットプレイスのモデルと共通ロジック
├── docs/             # 設計、API リファレンス、運用ガイド、テストレポート
├── scripts/          # リポジトリレベルのチェック
└── .runtime/         # 初回起動時に作成されるローカル Runtime データ

設定

AI サービスの API キー

Settings → AI Services を開き、現在のワークスペースで使用するモデル、文字起こし、音声、画像プロバイダーを設定します。今後追加予定の制作ツールに備えて、追加のサービスカテゴリが表示される場合があります。各カテゴリには、選択したプロバイダーに必要な Base URL、API Key、モデル、プロキシ、プロバイダー固有の認証情報だけが表示されます。

認証情報はローカル Runtime のシステム認証情報ストレージに保存され、リポジトリへコミットしてはいけません。Edge TTS など、一部のローカルまたはシステムベースのプロバイダーでは API Key は不要です。

サードパーティ Runtime コンポーネント

設定 → サードパーティコンポーネント を開くと、現在使用中の yt-dlp nightly バージョン、OpenCreator に同梱されたバージョン、その取得元、利用可能な最新版を確認できます。OpenCreator は7日ごとに更新を確認しますが、自動インストールは行いません。更新には明示的なユーザー操作が必要で、ダウンロード、検証、インストールに失敗した場合も現在動作しているバージョンを継続して使用できます。

Runtime 環境変数

ほとんどのユーザーは環境変数を設定する必要はありません。データを分離したい場合、特定の Codex 実行ファイルを使用したい場合、または管理対象プロジェクトのディレクトリを変更したい場合に使用します。

環境変数	デフォルト	用途
`OPENCREATOR_DATA_DIR`	`.runtime`	OpenCreator のデータベース、Runs、添付ファイル、管理対象ワークスペース
`OPENCREATOR_CODEX_BIN`	`codex`	Codex CLI 実行ファイルのパス
`CODEX_HOME`	`~/.codex`	Codex セッション、設定、Skills、MCP、Profiles の信頼できる情報源
`OPENCREATOR_DEFAULT_CWD`	現在の作業ディレクトリ	daemon のデフォルト作業ディレクトリ
`OPENCREATOR_DEFAULT_PROJECT_ROOT`	Runtime のデフォルトポリシー	管理対象プロジェクトのルート。設定した場合、OpenCreator はその配下の `OpenCreator/` ディレクトリを使用します
`OPENCREATOR_CODEX_THREAD_ROTATION_RUN_THRESHOLD`	`50`	長時間実行スケジュールの背後にある Codex スレッドをローテーションする終端 Run 数のしきい値。`0` で予防的ローテーションを無効化します

Runtime データと Codex 環境の両方を分離する例：

OPENCREATOR_DATA_DIR=/path/to/opencreator-data \
CODEX_HOME=/path/to/codex-home \
pnpm web:dev

データとセキュリティ

Runtime データは、デフォルトでリポジトリルートの .runtime/ に保存されます。

パス	内容
`.runtime/app.sqlite`	プロジェクト、スレッド、Runs、イベント、スケジュール、通知、添付ファイルのメタデータ、承認、メモリ、要約
`.runtime/runs/`	各 Run の秘匿化されたログ、診断、メタデータ
`.runtime/attachments/`	管理された添付ファイル
`.runtime/workspaces/`	Runtime が管理するプロジェクトワークスペース

Codex のセッションと設定は引き続き $CODEX_HOME に保存されるため、.runtime/ とは別にバックアップする必要があります。

セキュリティ境界：

daemon は 127.0.0.1 だけをリッスンし、ヘルスチェックを除くすべての API で Bearer トークンを要求します。
HTML プレビューでは、スクリプト、ナビゲーション、ポップアップをデフォルトで無効化し、管理された同一ワークスペース内の相対リソースだけを許可します。
機密メモリには2回目の確認が必要です。OpenCreator が未確認の提案を自動的かつ永続的に保存することはありません。
診断情報と Run ログは、返却またはエクスポートされる前に秘匿化されます。
Desktop パッケージは ASAR の整合性と Cookie 暗号化を有効にし、RunAsNode、NODE_OPTIONS、Node CLI Inspector を無効化します。

バックアップ、復元、クリーンアップ、リセットの詳細は、ユーザーガイドとトラブルシューティングを参照してください。

開発

よく使うコマンド

コマンド	用途
`pnpm web:dev`	Web を起動し、必要に応じてローカル daemon を起動
`pnpm daemon:dev`	daemon のみを起動
`pnpm desktop:dev`	依存関係をビルドして Electron を開発モードで起動
`pnpm test`	ワークスペースのユニットテストと統合テストを実行
`pnpm typecheck`	リポジトリ全体の TypeScript チェックを実行
`pnpm build`	すべての workspace をビルド
`pnpm e2e`	Web の Playwright E2E テストを実行
`pnpm smoke:ci`	fake Codex Runtime スモークテストを実行
`pnpm perf:check`	記録済みのパフォーマンス基準を確認

変更を提出する前に、少なくとも次を実行してください。

pnpm test
pnpm typecheck
pnpm build

Desktop、Host Bridge、Runtime プロキシ、または共通フロントエンドワークフローを変更した場合は、Web/Desktop 整合性テスト、パッケージ済みアプリの E2E、Web ビルドハッシュの検証も必要です。Web のユニットテストに合格しただけでは、Desktop をリリースできることの証明にはなりません。

実際の Codex スモークテストはデフォルトで無効です。明示的に有効化するには、次を実行します。

OPENCREATOR_RUN_REAL_CODEX_SMOKE=1 \
pnpm --filter @opencreator/daemon test -- test/smoke/real-codex-smoke.test.ts

ドキュメント

翻訳方針

ルートの README.md を正本となる英語ドキュメントとします。保守対象の翻訳は docs/<locale>/README.md に配置します。英語版と同じ構成ですべての内容を翻訳・同期した後にのみ、言語切り替えへ追加してください。

コントリビューション

Issues に問題、ユースケース、期待する動作を記載してください。
最新の開発ブランチから、目的を絞った機能追加または修正ブランチを作成してください。
既存のアーキテクチャに従い、汎用製品機能は Web と Daemon に一度だけ実装し、ネイティブ固有の差異は明示的な capability の背後へ分離してください。
動作変更に応じたユニット、統合、E2E テストを追加し、Pull Request に実施済みと未実施の検証を明記してください。
.runtime/、ローカル認証情報、Codex セッション、ビルドキャッシュ、その他のユーザーデータをコミットしないでください。

コントリビューター

本プロジェクトにコード、ドキュメント、フィードバック、Issue、Skills、デザイン、アイデアで参加してくださったすべての方に感謝します。

Star 履歴

OpenCreator の旧称は KrillinAI です。このグラフには、名称変更前後を含むリポジトリ全体の履歴が表示されます。

プロジェクト	役割
OpenAI Codex	モデルアクセス、推論、ツール呼び出し、セッション、Skills、MCP 連携を支える Agent 実行エンジンです。
yt-dlp	対応する公開メディアリンクを解析し、利用可能な形式を一覧表示して、制作ワークフロー用の動画や音声をダウンロードします。
FFmpeg	FFmpeg と ffprobe がメディア変換、合成、フレーム抽出、出力検証を処理します。
Whisper、whisper.cpp、faster-whisper、WhisperKit	Runtime で利用可能な機能に応じて選択する、クラウドおよび各プラットフォーム向けのローカル音声文字起こし手段です。
React	Web と Desktop で共有するユーザーインターフェースの基盤です。
Fastify	ローカル Runtime の HTTP と API の基盤です。
Electron	ネイティブなシステム機能、アプリのライフサイクル、パッケージングを担う Desktop ホストです。
SQLite	プロジェクト、会話、Runs、スケジュール、メモリなどのワークスペースデータをローカルに保存します。
Model Context Protocol	外部ツールやサービスを Agent ワークスペースへ接続するためのオープンプロトコルです。

FilesExpand file tree

README.md

Latest commit

History