鹏城实验室微电子前沿团队AISY：随机二值化信号传播方法助力基于忆阻器阵列的高效神经网络训练和推理

通过存内计算范式，使用模拟忆阻器作为权重器件，可以在深度学习中对神经网络系统进行并行操作，有效加速大量高精度的向量矩阵乘加运算。通过基尔霍夫定律和欧姆定律，忆阻器十字交叉阵列可以一步完成各神经网络层中信号正向和反向传输过程中的向量矩阵乘加运算。在运算过程中，电压作为输入信号，忆阻器十字交叉阵列的电导值作为权重，输出信号为电流。但是，在忆阻器阵列中完成向量矩阵乘加运算，需要对输入电压进行准确的调制，并对输出的电流信号进行准确的读取，而这依赖于高精度的数模转换器和模数转换器。而由高精度转换器带来的功耗增加和电路面积开销增大，一定程度上抵消了模拟并行计算带来的增益。此外，虽然系统可以并行地处理每层神经网络中的梯度计算和权重更新，但由于忆阻器的波动性，对系统来说准确并渐变地调整忆阻器电导值依然非常具有挑战性。在一个独立的非冯·诺依曼架构中，实现有效的在线存内学习依然是一项艰巨的任务。另外，生物系统使用电压脉冲，即有或无的动作电位，来进行信息传递，在数学上可以被看成是二值化信号，这就使得高精度信号的使用在生物学上不能解释。最后，基于忆阻器的硬件系统使用模拟和具有噪声的人工权重器件来表示突触权重信息，这在系统中就引入了本征的噪声。目前的硬件系统还没有完全利用这一噪声来进一步简化硬件设计。

针对上述问题，团队提出了基于正向传播信息随机二值化、激活函数随机二值化和反向传播误差符号化的在线神经网络训练算法。基于随机二值化信号，团队对神经网络的基本运算过程进行了调整，将高精度计算转变为简单的逻辑门运算，降低了信号处理的计算需求，并且更加适配以忆阻器作为权重器件的硬件电路。同时，团队还开发了对忆阻器突触阵列友好的单次写操作权重调整方式来适配在线训练算法，与基于“读-验证”多次读写的权重调整方式相比，新的权重更新模式简化了忆阻器读写电路系统的复杂度并降低了电路功耗。在团队自主开发的基于忆阻器的神经网络训练和推理仿真平台中，模拟结果显示新算法在降低神经网络训练和推理的计算量和功耗的同时，获得了更高的图片识别准确度。与使用传统高精度算法和多次读写忆阻器权重更新硬件操作模式相比，新算法实现了两个数量级的能耗降低；与使用传统高精度算法和互补金属-氧化物-半导体（CMOS）权重硬件相比，新算法实现了三个数量级的能耗降低。同时，基于随机二值化信号和忆阻器突触阵列的神经网络硬件与生物神经网络更加相似，并且硬件神经网络的在线训练不再依赖于忆阻器的理想突触调节特性。该研究还对神经网络激活函数的生物学本质进行了探讨。本工作展现出新算法在性能上的优势，并为新算法和基于忆阻器的存内计算在大模型中的应用提供了初步探索和理论支持。

鹏城实验室战略与交叉前沿部微电子前沿基础研究室在基于忆阻器的存内计算、类脑计算技术基本算法和系统架构方面开展系统性研究，为未来人工智能芯片的开发提供技术储备。同时，研究室还聚焦于新型微电子、光电子器件的TCAD仿真工具，器件紧凑模型以及数据驱动的参数提取方法等前沿基础研究。李阳助理研究员为本文第一作者，王伟副研究员为本文的唯一通信作者。

该项目获得了鹏城实验室前沿项目和重大项目支持，鹏城实验室网络智能部、电路与系统部以及中科院微电子所、复旦大学、意大利米兰理工大学等国内外多家单位参与上述研究。