语音识别服务 (ASR) 总览与选型矩阵
语音识别(ASR, Automatic Speech Recognition)是 DuRT 的核心能力基石。在 DuRT 的整体设计中,我们将语音识别明确划分为两大独立能力面板:实时流式语音(Realtime Speech) 与 媒体文件转录(File Transcription)。
理解这两者的核心差异与底层引擎边界,有助于您根据具体任务选择最优的识别方案。
核心架构:流式 vs 非流式数据通道
DuRT 内部根据音频源的形态,设计了正交解耦的处理管线:
mermaid
flowchart TD
subgraph AudioSources["输入音频源"]
S1["实时音频流 (audioStream)<br>麦克风 / ScreenCaptureKit 系统内录"]
S2["媒体文件 (audioFile / videoFile)<br>本地音视频文件 / 在线网络音视频直链"]
end
subgraph RealtimePanel["【面板 1】实时流式语音 (Realtime Speech)"]
R1["🍎 Apple 原生语音 (100% 离线 / 零网络 / 零流量)"]
R2["⚡️ OneASR 聚合网关 (WebSocket 低延迟流式)"]
R3["🌐 OpenAI 实时语音通道 (云端流式转录)"]
end
subgraph FilePanel["【面板 2】媒体文件转录 (File Transcription)"]
F1["⚡️ OneASR 聚合网关 (长文件批处理 / B站YouTube直链抓取 / 毫秒词戳 / 说话人分离)"]
F2["🌐 OpenAI 语音转录 (Whisper-1 词戳 / GPT-4o-Transcribe)"]
F3["⚠️ 注意:Apple 原生引擎不支持媒体文件转录"]
end
S1 --> RealtimePanel
S2 --> FilePanelIMPORTANT
关键认知:Apple 原生语音不支持文件转录 macOS 系统内置的 Apple 语音识别引擎主要设计用于麦克风听写与实时音频流捕获。因此在 DuRT 客户端中,Apple 原生语音仅挂载于《实时语音 (Realtime Speech)》面板,不支持对导入的本地音视频文件进行离线长文转录。若需要进行音视频文件转录,请使用 OneASR 聚合网关 或 OpenAI ASR。
ASR 引擎全景特性与能力对比矩阵
| 引擎服务 | 对应 App 设置面板 | 实时流式 (audioStream) | 媒体文件 (audio/videoFile) | 词级时间戳 (毫秒精度) | 说话人分离 (Diarization) | 在线网络视频直链提取 | 运行模式 | 费用与消耗 | 最佳适用场景 |
|---|---|---|---|---|---|---|---|---|---|
| 🍎 Apple 原生语音 | Realtime Speech (仅实时) | ✅ 支持 (系统内录/麦克风) | ❌ 不支持 | ❌ 仅整句级 | ❌ 不支持 | ❌ 不支持 | 100% 本地离线 | 永久免费、0 流量消耗 | 线上会议实时字幕、YouTube双语同传、个人麦克风听写、绝对保密环境 |
| ⚡️ OneASR 聚合网关 | Realtime & File (双支持) | ✅ 支持 (WebSocket 流式) | ✅ 支持 (长音视频批处理) | ✅ 支持 (逐词高亮时间轴) | ✅ 支持 (Speaker 0/1) | ✅ 支持 (B站/YouTube/网盘直链) | 局域网/自建算力 | 开源免费 (自建算力) | 团队自建私有算力、长视频自媒体批量提取字幕、播客访谈说话人切分 |
| 🌐 OpenAI 语音转录 | Realtime & File (双支持) | ✅ 支持 (实时通道) | ✅ 支持 (Whisper/4o) | ✅ 支持 (Whisper-1 精准对齐) | ❌ 依赖后处理 | ❌ 需本地上传 | 公有云 API | 官方 Token 计费 (BYOK 零加价) | 多语种混杂访谈、学术讨论、追求极致生僻词准确率的专业场景 |
两大能力面板详解与选型指南
1. 实时流式语音 (Realtime Speech)
- 输入数据契约:
audioStream(来自系统的连续 PCM 音频缓冲区)。 - 运行特征:
- 音频随产生随消费,识别延迟通常控制在 200ms ~ 500ms 之间;
- 驱动桌面智能悬浮字幕窗口、系统扬声器双语实时同传;
- 支持随时暂停、继续或保存已转录的历史流文本。
- 推荐选型:
- 首选:Apple 原生语音。完全利用 Mac 本地 Neural Engine(ANE)算力,不联网、不发烫、无延迟,且不受网络波动影响;
- 备选:OneASR 流式服务。当需要识别小语种,或 Apple 引擎对某些特定专业方言识别不准时,可在局域网搭建 OneASR 提供流式推理。
2. 媒体文件转录 (File Transcription)
- 输入数据契约:
audioFile/videoFile(本地音视频文件路径,或远程在线视频 URL 直链)。 - 运行特征:
- 针对大文件进行分段重采样、VAD(静音检测)智能分块并进行离线高并发推理;
- 输出携带毫秒级起始与结束时间戳的完整 SRT / VTT 结构;
- 可输出 词级时间戳(Word-level Timestamp),在 DuRT 字幕 Studio 中实现卡拉 OK 级别的逐词高亮与微调对齐;
- 可进行 无监督说话人分离(Speaker Diarization),自动标记“发言人 1 / 发言人 2”。
- 推荐选型:
- 首选:OneASR。支持一键粘贴 Bilibili、YouTube 或播客音频直链免下载提取,支持毫秒级词时间戳与说话人分离;
- 追求最高准确度:OpenAI Whisper-1。官方模型在多语言和嘈杂音频背景下的鲁棒性表现极其优异。
独立配置教程导航
深入了解各个 ASR 引擎的配置与运行指南,请点击下方独立技术手册:
