Skip to content

语音识别服务 (ASR) 总览与选型矩阵 ​

语音识别(ASR, Automatic Speech Recognition)是 DuRT 的核心能力基石。在 DuRT 的整体设计中,我们将语音识别明确划分为两大独立能力面板:实时流式语音(Realtime Speech) 与 媒体文件转录(File Transcription)。

理解这两者的核心差异与底层引擎边界,有助于您根据具体任务选择最优的识别方案。


核心架构:流式 vs 非流式数据通道 ​

DuRT 内部根据音频源的形态,设计了正交解耦的处理管线:

mermaid
flowchart TD
    subgraph AudioSources["输入音频源"]
        S1["实时音频流 (audioStream)<br>麦克风 / ScreenCaptureKit 系统内录"]
        S2["媒体文件 (audioFile / videoFile)<br>本地音视频文件 / 在线网络音视频直链"]
    end

    subgraph RealtimePanel["【面板 1】实时流式语音 (Realtime Speech)"]
        R1["🍎 Apple 原生语音 (100% 离线 / 零网络 / 零流量)"]
        R2["⚡️ OneASR 聚合网关 (WebSocket 低延迟流式)"]
        R3["🌐 OpenAI 实时语音通道 (云端流式转录)"]
    end

    subgraph FilePanel["【面板 2】媒体文件转录 (File Transcription)"]
        F1["⚡️ OneASR 聚合网关 (长文件批处理 / B站YouTube直链抓取 / 毫秒词戳 / 说话人分离)"]
        F2["🌐 OpenAI 语音转录 (Whisper-1 词戳 / GPT-4o-Transcribe)"]
        F3["⚠️ 注意:Apple 原生引擎不支持媒体文件转录"]
    end

    S1 --> RealtimePanel
    S2 --> FilePanel

IMPORTANT

关键认知:Apple 原生语音不支持文件转录 macOS 系统内置的 Apple 语音识别引擎主要设计用于麦克风听写与实时音频流捕获。因此在 DuRT 客户端中,Apple 原生语音仅挂载于《实时语音 (Realtime Speech)》面板,不支持对导入的本地音视频文件进行离线长文转录。若需要进行音视频文件转录,请使用 OneASR 聚合网关 或 OpenAI ASR。


ASR 引擎全景特性与能力对比矩阵 ​

引擎服务对应 App 设置面板实时流式 (audioStream)媒体文件 (audio/videoFile)词级时间戳 (毫秒精度)说话人分离 (Diarization)在线网络视频直链提取运行模式费用与消耗最佳适用场景
🍎 Apple 原生语音Realtime Speech (仅实时)✅ 支持 (系统内录/麦克风)❌ 不支持❌ 仅整句级❌ 不支持❌ 不支持100% 本地离线永久免费、0 流量消耗线上会议实时字幕、YouTube双语同传、个人麦克风听写、绝对保密环境
⚡️ OneASR 聚合网关Realtime & File (双支持)✅ 支持 (WebSocket 流式)✅ 支持 (长音视频批处理)✅ 支持 (逐词高亮时间轴)✅ 支持 (Speaker 0/1)✅ 支持 (B站/YouTube/网盘直链)局域网/自建算力开源免费 (自建算力)团队自建私有算力、长视频自媒体批量提取字幕、播客访谈说话人切分
🌐 OpenAI 语音转录Realtime & File (双支持)✅ 支持 (实时通道)✅ 支持 (Whisper/4o)✅ 支持 (Whisper-1 精准对齐)❌ 依赖后处理❌ 需本地上传公有云 API官方 Token 计费 (BYOK 零加价)多语种混杂访谈、学术讨论、追求极致生僻词准确率的专业场景

两大能力面板详解与选型指南 ​

1. 实时流式语音 (Realtime Speech) ​

  • 输入数据契约:audioStream(来自系统的连续 PCM 音频缓冲区)。
  • 运行特征:
    • 音频随产生随消费,识别延迟通常控制在 200ms ~ 500ms 之间;
    • 驱动桌面智能悬浮字幕窗口、系统扬声器双语实时同传;
    • 支持随时暂停、继续或保存已转录的历史流文本。
  • 推荐选型:
    • 首选:Apple 原生语音。完全利用 Mac 本地 Neural Engine(ANE)算力,不联网、不发烫、无延迟,且不受网络波动影响;
    • 备选:OneASR 流式服务。当需要识别小语种,或 Apple 引擎对某些特定专业方言识别不准时,可在局域网搭建 OneASR 提供流式推理。

2. 媒体文件转录 (File Transcription) ​

  • 输入数据契约:audioFile / videoFile(本地音视频文件路径,或远程在线视频 URL 直链)。
  • 运行特征:
    • 针对大文件进行分段重采样、VAD(静音检测)智能分块并进行离线高并发推理;
    • 输出携带毫秒级起始与结束时间戳的完整 SRT / VTT 结构;
    • 可输出 词级时间戳(Word-level Timestamp),在 DuRT 字幕 Studio 中实现卡拉 OK 级别的逐词高亮与微调对齐;
    • 可进行 无监督说话人分离(Speaker Diarization),自动标记“发言人 1 / 发言人 2”。
  • 推荐选型:
    • 首选:OneASR。支持一键粘贴 Bilibili、YouTube 或播客音频直链免下载提取,支持毫秒级词时间戳与说话人分离;
    • 追求最高准确度:OpenAI Whisper-1。官方模型在多语言和嘈杂音频背景下的鲁棒性表现极其优异。

独立配置教程导航 ​

深入了解各个 ASR 引擎的配置与运行指南,请点击下方独立技术手册:

Crafted with precision for macOS.