首个高稀疏率AI计算卡S100在浪潮内测支持千亿级别大模型

最近几天，墨芯人工智能首次发布了SparseOne S100在浪潮服务器的测试数据S100是全球首款高稀疏率的AI计算卡，运行多个主流AI模型，性能是国际厂商主流AI推理卡的6倍

值得注意的是，这是墨芯首次披露S100运算可以实现单卡推理大模型，突破了单卡难以满足高算力需求的瓶颈，有效解决了时间长，功耗大，成本高等问题由业界普遍采用多机多卡分布式方式完成对大模型的推理造成的

近几年新兴的NLP模型——T5，曾被称为新NLP SOTA预训练模型，以其高引用数让很多计算卡望而却步但在本次测试中，S100可以在单机单卡环境下运行T5—8B机型，运算能力高达141.8SPS

除了算力高的优势，相比目前国际厂商主流的推理卡只能支持几百亿的参数级模型，墨芯S100可以支持上千亿的参数级模型。

在单机单卡环境下，不影响精度的前提下，S100运行BERT模型和SST—2数据集，性能达到12176SPS运行S100ResNet—50模型和ImageNet数据集，性能达到28，260fps在主频为800 MHz的测试环境下，S100运行ResNet—50模型时，计算能力达到33197 FPS浪潮内部频率为700 MHz

所有测试都是在实际环境中进行的，S100计算卡可以直接在实际场景中使用，因此具有较高的应用价值同时能够满足高能效比，低功耗，高精度的要求，为企业大幅降低部署成本和运维成本

根据消息显示，S100的超高性能来自稀疏计算稀疏性原则是指在AI矩阵运算中，剔除无效元素，大大加快了计算速度，降低了计算成本2021年8月，谷歌人工智能总监杰夫·迪恩在一次TED演讲中表示，稀疏是下一代人工智能架构中最重要的趋势之一

作为稀疏产业的践行者，墨芯的稀疏计算解决方案具有广阔的生态前景墨芯人工智能创始人兼CEO王伟表示，墨芯将构建涵盖软件，硬件和应用的AI计算平台，与研究人员，开发者，软件开发者等合作伙伴一起，为各行各业的用户提供高性能的AI计算服务，共同构建场景丰富，充满活力的稀疏生态