课堂与会议场景的语音理解。把原始音频处理成教学分析真正用得上的行为数据。

liegu

多双升 · 算法工程师 · 河北瑛翎科技
课堂录音
原始音频处理为句级时间轴

处理链路

  1. 01 切分与降噪 判断有效人声区段,剔除静音与纯噪声,为人声增强与后续对齐确立边界。 Silero VAD
    GTCRN
  2. 02 转写与对齐 面向中文课堂的远场转写,输出词级时间戳,为语速、停顿与问答间隔提供统一基准。 Qwen3-ASR
    ForcedAligner
  3. 03 分离说话人与情绪 区分教师与学生,在句子粒度上标注语音情绪与声音事件,支持重叠语音场景。 pyannote
    emotion2vec+ · PANNs
  4. 04 结构化输出 多路结果合并为句级与课级分析文档,缺失项显式标记,保证下游消费时口径清晰。 FastAPI · Kafka
    MinIO

项目

  • 课堂语音分析流水线 已上线

    一节课的原始录音进来,出去的是教学分析能直接消费的结构化结果:词级时间戳、 师生角色分离、七类语音情绪、笑声与齐读事件、语速与响亮度, 装配成句级与课级两层的分析文档。

    Qwen3-ASR pyannote emotion2vec+ BiLSTM-CRF Kafka
  • 语音防霸凌 已上线

    校园实时语音风险识别。流式转写之后,情绪标签与关键词做联合判定来压住误报, 命中片段切片存证再推告警;任务持久化做到进程重启不丢事件。

    单句转写 24.7 ms 约 90× 实时 端到端 80–150 ms
  • 课堂声音事件检测 已上线

    识别笑声与齐读,为教学互动节奏提供旁证。滑窗推理、独立 sidecar 部署, 与文本链路解耦,任一环节故障不影响另一条路径。

    PANNs CNN14 3 秒窗 / 1 秒步长 独立 sidecar
  • 课堂文本分类 研发中

    问句、赞美、点评正负、通顺度四个任务共享一个 RoBERTa 主干, 配合主动学习把人工标注的预算集中在模型真正拿不准的样本上。

    RoBERTa 多任务 Label Studio 主动学习
  • 会议录音工作台 自用

    会议录音落到本地受控库,生成可回放的逐字稿与纪要。 内容寻址归档、分阶段可重试的任务队列,逐字稿与纪要都带版本。

    FastAPI React SQLite

技术栈

领域 具体做什么 工具
语音识别 中文课堂与会议的远场转写。词级时间戳是下游所有指标的基础,对齐精度直接决定可用性。 Qwen3-ASR · SenseVoice
ForcedAligner · Silero
说话人 说话人分离叠加声纹与规则判定师生角色,重点处理重叠语音与交叉发言。 pyannote · 声纹聚类
文本分类 RoBERTa 多任务分类与 BiLSTM-CRF 序列标注,用于课堂话语分析与环节划分。 RoBERTa-wwm-ext
BiLSTM-CRF · KeyBERT
语音事件 声音事件检测与七类语音情绪识别,作为教学互动的声学旁证。 emotion2vec+ · PANNs
GTCRN
向量检索 句向量召回与语义相关性打分,支撑实时排序与检索式匹配。 BGE-M3 · text2vec · FAISS
服务化 模型封装为 sidecar,统一服务契约与健康检查,管理队列、重试与显存预算。 FastAPI · vLLM · ONNX
Compose · Kafka · MinIO
数据与标注 标注规范设计、双人盲标与一致性检验、争议样本裁决。 Label Studio · 数据快照

联系

语音算法、工程实践,或任何想聊的话题,欢迎来信。

© 2021 – 2026 liegu 冀ICP备2023034453号-1