11 のステップ詳細
DuRT 3.0 のワークフローエンジンは、拡張可能な DAG パイプライン設計に基づき、11 の標準ステップ を実装しています。各ステップは強型のデータ契約に従い、自由なノード接続と自動化を実現します。
グループ 1:入力ステップ (Inputs)
1. monitorCapture — システム音声 & マイク録音
- ポート出力型:
audioStream(リアルタイム音声ストリーム) - 役割:ScreenCaptureKit と CoreAudio を通じて、Safari、Zoom、YouTube、マイク音声をリアルタイムキャプチャします。
2. mediaInput — メディアファイル & 配信 URL インポート
- ポート出力型:
mediaFile(実体メディアファイル) - 役割:ローカルの動画・音声ファイル(MP4, MOV, MP3 等)または YouTube 等の配信 URL をインポートし、自動で音声を分離・標準化します。
3. subtitleInput — 既存字幕 & テキスト読み込み
- ポート出力型:
subtitleTrack(時系列字幕トラック) - 役割:既存の
.srtや.vtt字幕ファイルを読み込み、ASR を再実行することなく後続の AI 翻訳や整文へ引き渡します。
グループ 2:音声認識 (ASR) & リアルタイム同伝
4. realtimeASR — ストリーミング音声認識
- 入力ポート型:
audioStream/ 出力ポート型:subtitleStream - 役割:低遅延で逐次認識結果を出力し、フローティング字幕を表示します。
5. mediaASR — メディア文字起こし & 話者分離
- 入力ポート型:
mediaFile/ 出力ポート型:subtitleTrack - 役割:長尺ファイルを高精度に文字起こしし、単語単位のタイムスタンプと教師なし話者分離(Speaker 1 / Speaker 2)を生成します。
6. realtimeTranslation — リアルタイム同時通訳
- 入力ポート型:
subtitleStream/ 出力ポート型:subtitleStream - 役割:ストリーミング ASR の文を逐次翻訳し、二言語のリアルタイム字幕を生成します。
グループ 3:AI 後処理、生成 & 配信
7. subtitleRefinement — 字幕整文 & フィラー除去
- 入力ポート型:
subtitleTrack/ 出力ポート型:subtitleTrack - 役割:言い淀み(フィラー)を除去し、タイムスタンプを保ったまま読みやすい文字数(1行あたり適正文字数)に整形します。
8. fullTranslation — 全文翻訳
- 入力ポート型:
subtitleTrack/ 出力ポート型:subtitleTrack - 役割:タイムスタンプを維持したまま、文脈を考慮して 50 以上の言語へ高精度に翻訳します。
9. contentCreation — 議事録 & コンテンツ要約
- 入力ポート型:
subtitleTrackまたはdocument/ 出力ポート型:document - 役割:文字起こしから決定事項やアクションアイテムを自動抽出し、構造化 Markdown 議事録を生成します。
10. textToSpeech — 音声合成 (TTS) & キャラクター吹き替え
- 入力ポート型:
subtitleTrack/ 出力ポート型:mediaFile - 役割:字幕テキストから自然な AI 音声を合成し、新しい吹き替え音声を生成します。
11. exportArtifact — 成果物配信 & クラウド連携
- 入力ポート型:
subtitleTrack、document、mediaFile/ 出力ポート型:deliverable - 役割:ローカルファイル(SRT, VTT, TXT, MP3 等)の書き出し、および S3 オブジェクトストレージ、WebDAV、NAS / ローカルフォルダ、Notion、Obsidian、カスタム Webhook への自動配信を実行します。
