11月5日，在深圳会展中心7号馆内，炬芯科技董事长兼CEO周正宇博士带来了《端侧AI芯片的未来》演讲，他对端侧AI趋势进行精彩的分析，并且宣布炬芯科技推出第一代MMSCIM端侧AI音频芯片。

wKgaoWcqwnWAQAImAAErkDpxfGI759.jpg

2028年中小型模型端侧AI市场迅速增长，技术上有三大挑战

“近年来，端侧AI在技术和应用方面取得显著进步。相比较云端AI，端侧AI具备低延迟、低功耗、不占网络带宽、隐私保护和个性化五大优势。” 炬芯科技董事长兼CEO周正宇表示。

wKgaoWcqwn-AWxIEAAHbVGarFQI277.jpg

在AI时代，我们特别关注中小型模型在侧ML机器学习的应用。根据市场调研公司ABI Research预测，2028年，全球中小型模型端侧ML设备销量将达到40亿台，年复合增长率达到32%。2030年，全球75%的中小模型端侧机器学习基于专用硬件。今天，更大的挑战是在每毫瓦的功耗下打造算力。

中小型模型端侧机器学习的应用，主要集中在音频、语音、视觉和运动健康监测和预测性维护。这种电池驱动的AI装置，好像是AI系统的耳朵和眼睛，云计算是AI的大脑。我们主要关注的1瓦功耗以下的AI装置，或者100毫瓦以下的AI装置。中小型模型端侧机器学习的覆盖范围，包括存储空间小于10MB Flash/ROM/RAM，功耗小于10mW为目标，模型大小覆盖0.01MB到10MB模型参数，算力在0.01到3TOPS之间。

电池供电中小型模型端侧机器学习的应用挑战有哪些？周正宇分享说三大挑战：一是电池驱动IoT装置的超低功耗需求；二、低成本预期，需要使用尽量小存储空间；三、端侧AI装置多样化，快速变化的技术、新算法，新模型的不断涌现。当下很多厂商在端侧采用CPU+GPU方案，优点是具备很好的弹性，问题是它来自软件驱动，无论在功耗、能效比以及算力上都无法达到现在端侧算力的需求。

他以TWS耳机和手表为例，一个TWS耳机产品需要在4.3V锂电池下，需要功耗平均为10mW左右，0.1TOPS到10TOPS之间需要能效比是10TOPS/W到100TOPS/W。大多数CPU、DSP在22nm制程芯片都在0.1TOPS/W左右。周正宇表示，如何在每个毫瓦上打造TOPS算力是最大的挑战。

为了寻求大算力，英伟达采用了HBM和3D封装的AI芯片—近存计算，成本极高，英伟达芯片达到百美元，端侧AI芯片适合在几美元或1美元以下。端侧AI芯片采用存内计算的架构，采用高性价比的路径，适合采用单芯片的方式来实现。

炬芯科技推出新一代MMSCIM端侧AI音频芯片，能效比和算力大幅度提升

周正宇博士指出，端侧AI不需要超大算力，只需要0.1TOPS到3TOPS之间的算力，所以短期SRAM成为低功耗端侧AI的最佳技术路径。长期来讲SRAM和RRAM混合技术架构可能为最佳端侧AI技术路径和架构。

wKgaoWcqwomASQe4AAFvhQWSyic618.jpg

在低功耗下打造音频产品算力的应用里，基于SRAM的CIM具有非常显著的技术优势包括：1、能效比高；2、读写次数没有限制；3、工艺成熟，可以大规模量产。

wKgaoWcqwpWARYNWAAK4Lwgw-kY344.jpg

周正宇宣布，炬芯科技推出新一代MMSCIM端侧AI音频芯片，基于CPU+DSP+NPU三核异构的核心架构，包括ATS323X、ATS286X和ATS362X。AI算力达到0.1TOPS，同时有6.4TOPS/W的能效比。

基于该架构，高端蓝牙音箱SoC芯片ATS286X和低延迟高音质无线音频SoC芯片ATS323X已流片，向客户送样。周正宇总结说，通过导入存内计算以及NPU和DSP、CPU三核异构的架构，让端侧音频AI芯片提供了几十倍的能效比提升和十几倍的算力提升。

文章来自:电子发烧友