市科技局:“悟空智算”成功适配DeepSeek全参数版
近日,人工智能大模型DeepSeek-R1671B在“悟空智算”中心完成全量部署上线,以每秒4416Token的极致效率引领行业标杆。目前正式开放API(应用程序接口)服务,为户提供开箱即好用的人工智能解决方案。“悟空智算”作为我市重点打造的人工智能产业集群项目,现持有高性能、国产化、消费级多元化算力超6500P,是国家工业智算华东节点,也是目前公安部三所共建的第一个人工智能联创中心。
“悟空智算”成功适配DeepSeek全参数版。近日,人工智能大模型DeepSeek-R1 671B在“悟空智算”中心完成全量部署上线,以每秒4416Token的极致效率引领行业标杆,目前正式开放API(API是指通过接口形式为垂类人工智能应用提供DeepSeek算法调用)服务。“悟空智算”作为我市重点打造的人工智能产业集群项目,现持有高性能、国产化、消费级多元化算力超6500P,是国家工业智算华东节点,也是目前公安部三所共建的第一个人工智能联创中心。
本次“悟空智算”部署的DeepSeek-R1为671B全参数版,DeepSeek-R1按参数量划分有1.5B、7B、14B……671B版本,均为开源。参数越大模型精度越高,同时对设备要求性能越高,“悟空智算”除了实现了全量部署外,主要是对模型调用进行了二次优化,每秒4416Token的生成速度,为目前国内公开渠道已知的最快速度(未经过专门优化的算力中心Token生成速度约为1480个左右,国产算力常规生成速度在每秒80-450个左右),Token的生成速度直接决定了单位时间对数据处理的任务数量,生成速度快可以更好的快速响应大规模的数据计算,大大提高了工作效率降低了系统故障率。
扫一扫打开当前页