课堂与会议场景的语音理解。把原始音频处理成教学分析真正用得上的行为数据。
liegu
多双升 · 算法工程师 · 河北瑛翎科技
课堂录音
处理链路
-
01
切分与降噪
判断有效人声区段,剔除静音与纯噪声,为人声增强与后续对齐确立边界。
Silero VAD
GTCRN -
02
转写与对齐
面向中文课堂的远场转写,输出词级时间戳,为语速、停顿与问答间隔提供统一基准。
Qwen3-ASR
ForcedAligner -
03
分离说话人与情绪
区分教师与学生,在句子粒度上标注语音情绪与声音事件,支持重叠语音场景。
pyannote
emotion2vec+ · PANNs -
04
结构化输出
多路结果合并为句级与课级分析文档,缺失项显式标记,保证下游消费时口径清晰。
FastAPI · Kafka
MinIO
项目
-
课堂语音分析流水线 已上线
一节课的原始录音进来,出去的是教学分析能直接消费的结构化结果:词级时间戳、 师生角色分离、七类语音情绪、笑声与齐读事件、语速与响亮度, 装配成句级与课级两层的分析文档。
-
语音防霸凌 已上线
校园实时语音风险识别。流式转写之后,情绪标签与关键词做联合判定来压住误报, 命中片段切片存证再推告警;任务持久化做到进程重启不丢事件。
-
课堂声音事件检测 已上线
识别笑声与齐读,为教学互动节奏提供旁证。滑窗推理、独立 sidecar 部署, 与文本链路解耦,任一环节故障不影响另一条路径。
-
课堂文本分类 研发中
问句、赞美、点评正负、通顺度四个任务共享一个 RoBERTa 主干, 配合主动学习把人工标注的预算集中在模型真正拿不准的样本上。
-
会议录音工作台 自用
会议录音落到本地受控库,生成可回放的逐字稿与纪要。 内容寻址归档、分阶段可重试的任务队列,逐字稿与纪要都带版本。
技术栈
| 领域 | 具体做什么 | 工具 |
|---|---|---|
| 语音识别 | 中文课堂与会议的远场转写。词级时间戳是下游所有指标的基础,对齐精度直接决定可用性。 | Qwen3-ASR · SenseVoice ForcedAligner · Silero |
| 说话人 | 说话人分离叠加声纹与规则判定师生角色,重点处理重叠语音与交叉发言。 | pyannote · 声纹聚类 |
| 文本分类 | RoBERTa 多任务分类与 BiLSTM-CRF 序列标注,用于课堂话语分析与环节划分。 | RoBERTa-wwm-ext BiLSTM-CRF · KeyBERT |
| 语音事件 | 声音事件检测与七类语音情绪识别,作为教学互动的声学旁证。 | emotion2vec+ · PANNs GTCRN |
| 向量检索 | 句向量召回与语义相关性打分,支撑实时排序与检索式匹配。 | BGE-M3 · text2vec · FAISS |
| 服务化 | 模型封装为 sidecar,统一服务契约与健康检查,管理队列、重试与显存预算。 | FastAPI · vLLM · ONNX Compose · Kafka · MinIO |
| 数据与标注 | 标注规范设计、双人盲标与一致性检验、争议样本裁决。 | Label Studio · 数据快照 |
联系
语音算法、工程实践,或任何想聊的话题,欢迎来信。
© 2021 – 2026 liegu
冀ICP备2023034453号-1