基于感存算一体的人工智能视觉成像 | 应用物理前沿推介系列No.19
✦ +
+
本期推介
基于感存算一体的人工智能视觉成像
在传统的光电探测系统中，由于缺乏感、存、算功能的深度融合，被感知的光学信息往往需要在完成模数转换后传输到CPU或GPU中完成进一步的信息处理。这种模块化协同运行的冯诺依曼架构，在处理海量的信息数据时，会不可避免地存在功耗和算力瓶颈。而基于感存算一体的人工智能视觉系统，在高度集成的单一模块内即可同时实现图像感知、存储以及识别功能，在硬件层面实现与算法的协同设计，具有低功耗、低延迟以及高算力等特性，在自动驾驶、红外智能探测以及图像编码等领域具有较高的应用价值。
基于“全在一”（all in one）的感存算一体人工智能视觉系统，是利用同一体系材料、同一器件结构实现运动图像识别功能。不仅避免了传统芯片制备过程中化学合成条件难以兼容以及晶格匹配的问题，还提升了硬件集成的紧凑性，在系统层面上具有更高的能效和更低的延迟，在智能探测的领域中具有突出的优势。2020年，奥地利维也纳工业大学的Thomas Mueller研究团队利用双极性的WSe2材料和分立栅结构制备光电二极管阵列，并将预先训练好的权重信息映射至栅压上，以光强作为输入信息，直接利用9×3的WSe2光电二极管阵列实现对字母图像的分类识别和自编码。在50 ns的光脉冲周期内即可完成一次运算操作，图像识别或编码的速率可达2×107 bins/s。并且，在此工作基础上，该研究团队还展望了基于浮栅晶体管结构的感存算功能一体化。随后，国内研究团队提出利用BP/Al2O3/WSe2/h-BN的异质结结构模拟人眼视网膜神经细胞的功能，以WSe2为浮栅实现对光信号的非易失的正负光响应功能，而其主要机理在于并通过电脉冲和光脉冲的协同作用完成信息的擦写。当具有不同极性光响应的光电探测器集成在一起构成像素单元时即可模仿视网膜神经网络，通过帧图像的差分计算，从而实现对运动物体的检测以及识别。除浮栅晶体管结构外，国内研究团队还提出了基于WSe2/ LiNbO3的铁电非易失神经形态计算硬件（图1），通过周期性铁电场和铁电近邻效应实现集光电传感、模拟运算和信息存储于一体的阵列器件，并可应用于基于BJT晶体管的模拟电路。在此同构架构的基础上，有望实现外围电路和感存算单元的兼容集成和电阻匹配。
图 1. 基于同质同构的感存算一体人工智能视觉系统，可以实现图像编码（a）、运动检测（b）、图像分类（a, c）的功能。
然而，在基于感存算一体的人工智能视觉系统中，实现同质同构兼容的方案具有较高的挑战性，异质异构的集成方案则是将传统传感单元和存算单元集成在一起实现感内计算的功能，具有相对成熟的制备工艺以及更高的选择组合自由度，应用场景更加多样化。2022年，美国弗吉尼亚大学Kyusang Lee研究团队提出了一种基于InGaAs光电二极管和HfO2忆阻器的异构集成硬件(图2)。利用1P1R（1photodiode-1ReRAM）的横纵交错阵列（crossbar array），当对1P-1R像素施加相对于光电二极管的反向偏置电压时，传感器工作在记忆模式下，其入射光信号转换为电信号，并存储在忆阻器中。而在正向偏置电压下（低于忆阻器擦除操作的阈值电压），传感器工作在计算模式下，通过crossbar阵列完成矩阵乘和运算。但不同于传统的存内计算，该研究团队将神经网络的权重信息与字线的电压信息映射，将记忆的光学信息存储在忆阻器阵列中，从而实现对光学图像的压缩编码，减少信息冗余，并可结合神经网络实现图像识别的功能。
图2. 基于InGaAs光电二极管和HfO2忆阻器的1P1R异构集成阵列，集光电探测，信息存储和图像编码功能于一体。
虽然基于感存算一体的人工智能视觉系统展现出良好的应用前景，但目前仍存在一些亟需解决的问题。首先，由于器件间的差异性以及可重复性问题，使得硬件实际表现结果存在不可预测的误差，因此在改善工艺的同时，还需要发展片上训练和无监督学习自适应地更新硬件状态。其次，在感存算一体设计中存在因为结构或电学参数不匹配而导致部分性能无法做到最优，这需要根据整个系统性能需求，合理平衡权重，实现系统最优的目标。最后，由于电导（或光响应度）与传统算法的全精度权重存在映射精度差异，因此在算法层面需要根据硬件自身特性调整，启发于类脑计算的脉冲神经网络及其他神经形态计算范式值得深入研究。
推介人
王鹏 青年研究员 中国科学院上海技术物理研究所，主要从事红外探测机理、器件与应用研究。
参考资料
[1] Mennel, L., Symonowicz, J., Wachter, S. et al. Ultrafast machine vision with 2D material neural network image sensors. Nature 579, 62 (2020)
[2] Tong L, Peng Z, Lin R, et al. 2D materials–based homogeneous transistor-memory architecture for neuromorphic hardware[J]. Science, 373, 1353 (2021).
[3] Zhang, Z., Wang, S., Liu, C. et al. All-in-one two-dimensional retinomorphic hardware device for motion detection and recognition. Nat. Nanotechnol. 17, 27 (2022).
[4] Lee, D., Park, M., Baek, Y. et al. In-sensor image memorization and encoding via optical neurons for bio-stimulus domain reduction toward visual cognitive processing. Nat Commun 13, 5223 (2022).
[5] Felsen, G., Dan, Y. A natural approach to studying vision. Nat Neurosci 8, 1643 (2005).
[6] Mehonic, A., Kenyon, A.J. Brain-inspired computing needs a master plan. Nature 604, 255 (2022).
往期推介
新年重磅推出 | 应用物理前沿推介No.1
光频标技术 | 应用物理前沿推介No.2
光芯片集成的光频梳技术 | 应用物理前推介No.3
暗能量理论的首次确定性实验检验 | 应用物理前沿推介No.4
二维莫尔材料中的新型铁电效应 | 应用物理前沿推介No.5
功率集成电路新思路|应用物理前沿推介系列 | No.6
外场诱导金属-绝缘体转变的时间/空间协同表征 | No.7
面向量子计算的低温射频控制器的实现 | 应用物理前沿推介系列No.11
拓扑绝缘体中太赫兹极化激元的实空间成像 | 应用物理前沿推介系列No.13
玻璃转变的Lindermann判据 | 应用物理前沿推介系列No.14
高空穴迁移率金刚石基晶体管 | 应用物理前沿推介系列No.15
基于非厄米趋肤效应的拓扑模态波函数重塑 | 应用物理前沿推介系列No.16
前沿推介专栏
为推动中国的应用物理研究，中国物理学学会和中科院物理所“应用物理中心“合作推出《应用物理前沿推介》专栏，用以推动应用物理的学科教育，推介国际应用物理前沿的最新重要成果，把握有重大应用潜力的物理研究动态，促进不同学科和不同领域之间的交叉融合，激发新的原创思想，使物理研究更好地服务国家战略需求。
中国物理学会特别成立了“应用物理前沿推介委员会”，同时将鼓励各方向召集人牵头组织针对所在领域的专题讨论会，使广大物理同行以未来重大应用为牵引，进行有深度的学术研讨，促进优秀科学家之间的思想碰撞，激发科学家提出有颠覆性应用潜力的新原理、新方法、新技术路线和新概念。
专栏推介文章由“前沿推介委员会”委员亲自或邀请知名专家撰稿，具有前瞻性(Foresight)，易读性(Accessibility)，洞察性(Insights)，快速性(Timeliness)和突出性(Highlights)等特色亮点。
中国物理学会
应用物理前沿推介委员会
主 任：吴义政， 复旦大学
副主任：杨海涛，中科院物理所
一、传感与探测方向
召集人：柴国志
委 员：王鹏、彭斌、黄晓砥、贺晓霞
二、量子精密测量方向
召集人：荣星
委 员：屈继峰、刘刚钦、杜关祥、鲁大为
三、新型信息载体与技术方向
召集人：黄元
委 员：李志强、郝玉峰、叶堉、张金星
四、微波与太赫兹物理与技术方向
召集人：孙亮
委 员：齐静波、陶洪琪、李龙、高翔
五、光子与光电子学方向
召集人：肖云峰
委 员：魏钟鸣、王建禄、李家方、邓震
六、功率半导体物理与器件方向
召集人：孙钱
委 员：黄森、江洋、周弘、王俊
七、材料物理方向
召集人：于浦
委 员：柳延辉、刘淼、周家东、于海滨
八、低温物理与技术方向
召集人：金魁
委 员：程智刚、刘楠、李雪、沈俊
九、能量转化、存储与传输方向
召集人：禹习谦
委 员：史迅、刘明桢、赵怀周、王凯
十、极端条件物理与技术方向
召集人：吉亮亮
委 员：于晓辉、周睿、胡建波、付恩刚
END
往期精彩
点亮“在看”，点亮科学之星