科大讯飞全新推出的Spark-Audio-1.0-Preview是一款完全基于国产算力训练的语音基座大模型。
以往的音频大模型大多采用级联模式,先将语音转换为文字,再由模型进行处理,但这种方法存在两个主要缺陷:一是会丢失语气、情绪、环境音等重要信息;二是多模块串联容易产生误差积累,并且可能导致延迟和卡顿问题。
而这款新型语音基座大模型可以直接理解语音内容,一次性识别出人声、环境音和音乐等元素,同时还能准确把握语义、情绪和场景,解决了传统方案的诸多不足。
Spark-Audio-1.0-Preview是一款纯正的国产语音基座大模型,它采用了0.65B音频编码器并结合30B-A3B大语言模型,基于1300万小时音频数据和海量文本资源,通过全自主研发的国产算力集群进行训练。该模型支持音频和文本两种输入模式,能够完成语音转写、多语言翻译等多项任务,涵盖99种语言和202种方言,推动机器从单纯的"听清"升级到真正的"听懂"。在多项测试中,该模型表现出色,在复杂场景下的优势尤为明显,通用能力也没有明显下降。未来将持续优化其优势并弥补不足。
音频公开测试集
自建音频测试集
复杂场景自建音频测试集
文本公开测试集
注意:ASR语音识别相关任务的评价指标为WER和CER,数值越低表示表现越好;S2TT语音翻译任务采用BLEU分作为评价标准;其他任务均使用准确率作为指标,数值越高表示表现越好。
目前,Spark-Audio-1.0-Preview已经正式开放体验,其相关API也将后续上线讯飞开放平台。






