超越多帧计算：基于单像素弛豫动力学的运动矢量成像芯片
近日，中国科学院大学光电学院孟祥悦研究团队联合广东工业大学、香港理工大学，在类脑视觉与神经形态器件领域取得重要突破，成功研制出一种基于单像素弛豫动力学的新型神经形态视觉芯片，首次实现了仅用单次曝光即可直接获取完整运动矢量信息。该技术被命名为单帧运动矢量成像(Single-Frame Motion Vector Imaging，SF-MVI)，为机器视觉提供了一条跳出“多帧计算”路径的全新思路。
在动态复杂的世界中，运动感知是智能系统做出快速反应的前提。无论是自动驾驶车辆对前方行人的判断，还是机器人在动态环境中的自主决策，都高度依赖对速度、方向和轨迹的实时获取。然而，传统视觉系统必须依赖多帧图像之间的差分计算来“事后推断”运动信息，这一过程本质上存在算力消耗大、响应滞后的结构性缺陷。“现有机器视觉更像是翻阅连续的照片来猜测一个人的跑步速度，不仅处理延迟高、功耗巨大，而且在目标高速运动或被遮挡时极易出错。”项目负责人孟祥悦教授形象地解释道，“而人类和动物的视觉系统并不是这样工作的。我们的视网膜本身就具备时间整合和记忆能力，很多运动信息在‘看见’的同时就已经被编码了。”正是基于这一生物视觉启发，研究团队提出了单像素弛豫动力学成像的新范式。在这一架构中，像素不再只是被动记录光强，而是具备类似“记忆”的时间响应特性：当像素受到光刺激时，其内部电信号迅速建立；当光信号消失后，电流并不会瞬间归零，而是按照特定时间常数逐渐衰减。物体在像素阵列中运动的过程，会在单次曝光内以不同衰减程度“刻写”出一条清晰的时空轨迹。通过解析这一单帧图像中隐含的光电流梯度和弛豫曲线，系统即可直接反推出运动方向、速度，甚至进一步得到加速度和角速度等高阶运动参数，实现真正意义上的“一帧即全信息”。
图1运动矢量成像芯片和传统CMOS成像芯片对比
实现这一原理的关键，在于创造出一个能完美模拟这种“带记忆的感官”的器件。研究团队将目光投向了新一代铋卤化物离子半导体，并通过声子工程对其晶格动力学进行精细调控，成功设计并合成了一种新型离子半导体材料(3BPA)3Bi2I6Br3。通过强化其内部原子振动的耦合并抑制热量散失，该材料实现了独特的光热电响应。与传统半导体不同，该材料具有极软的晶格结构和强烈的声子非谐性。其内部声学声子与光学声子之间存在显著耦合，使得晶格热导率被压低至约0.15 W·m-1·K-1。这种“抑制散热”的特性，使得光照产生的局域升温更容易在器件内部形成稳定温度梯度，从而触发显著的光热电效应。更关键的是，光热效应与离子迁移过程相互耦合，使得器件在受光后呈现出类似生物突触的可塑性光电响应：电信号可在秒级时间尺度内持续存在并缓慢衰减，天然具备时间编码能力。这一机制不仅支持从可见光到近红外（450–1342 nm）的宽谱探测，还为单帧运动信息的物理映射提供了坚实基础。基于这种革命性材料，团队成功制备出由4096个此类“智能像素”构成的64×64规模神经形态视觉芯片。测试表明，该芯片不仅像素间性能高度均匀，更在部分遮挡的严苛条件下，依然能通过红外成像稳定追踪目标，展现了卓越的环境鲁棒性。
图2运动矢量成像芯片的架构
在系统层面，SF-MVI芯片带来的性能提升同样引人注目。实验表明，该芯片仅需传统视觉系统约 1/300 的数据量，即可完成对运动方向和速度的高精度识别。这意味着，数据传输压力、存储需求以及后端算力消耗都被显著削减。更重要的是，由于运动信息在曝光结束的瞬间已以内在物理形式编码完成，其感知延迟不再受限于帧率和算法复杂度，而主要由像素自身的物理响应时间决定，为高速、突发场景下的实时决策提供了可能。“这不是一次简单的性能优化，而是一次架构层面的改变。”孟祥悦教授表示，“我们把原本需要在‘大脑’中完成的大量计算，前移到了‘眼睛’本身。这种感、存、算一体化的视觉模式，是实现真正实时智能感知的关键一步。”
图3单帧运动矢量成像算法
应用前景：面向自动驾驶与具身智能的未来之眼
凭借单帧即可获取运动矢量的独特能力，单帧运动矢量成像SF-MVI芯片技术在自动驾驶、无人系统、具身智能机器人等领域展现出广阔应用前景。它有望显著提升车辆和机器在复杂动态环境中的反应速度与安全性，同时降低系统能耗，为边缘智能和低功耗 AI 提供全新硬件基础。目前，研究团队正进一步推进器件规模化制备、阵列分辨率提升以及系统级集成研究，加速这一前沿技术从实验室走向实际应用。
类脑视觉交叉研究团队：诚邀优秀本科生与研究生共探前沿
孟祥悦，中国科学院大学光电学院副教授，2016至2020年期间先后在香港及日本深造，2020年加入中国科学院大学后，牵头建立半导体光电子实验室，为类脑视觉领域研究搭建了完备的软硬件支撑体系，积累了扎实的前期研究基础。（一）完备的实验平台支撑：团队依托具身智能计算北京市重点实验室，配备全套国际先进的材料制备与表征平台，核心设备涵盖百级/千级超净间、高性能手套箱、多源热蒸镀仪、激光直写光刻机、CMOS芯片成像测试系统、扫描电子显微镜（SEM）、X射线衍射仪（XRD）、精密半导体参数分析仪（FS-pro）及探针台等。所有设备均保持良好运行状态，建立了标准化日常维护体系，为项目开展提供稳定、高效的硬件保障。（二）深厚的前期研究积淀：深耕新型离子半导体光电材料设计、高性能光电器件（光电探测器、太阳能电池）制备及神经形态器件研究，形成了从材料研发到系统集成的全链条研究能力。团队已取得系列创新性成果，在《Science Bulletin》《Nature Communications》《Advanced Materials》等国际顶级期刊发表多篇高水平SCI论文，同时申请多项相关发明专利。在材料设计、微纳加工、电路设计、成像算法等关键环节，团队具备深厚技术储备与丰富实践经验，为项目顺利推进筑牢根基。（三）高素质交叉学科团队：课题组由副教授、博士后及多名博/硕士研究生组成，成员专业背景覆盖集成电路、人工智能、光学工程、材料科学、物理学、电子信息等多个领域，构建了知识结构互补、分工明确、梯次合理的多学科交叉研究梯队。团队可高效支撑从半导体材料研发、集成电路芯片设计到机器视觉成像算法优化的全链条研究需求，具备强大的协同创新能力。
图4 类脑视觉感知的多学科交叉探索
诚邀优秀本科生与交叉学院学子加入我们，共探前沿，携手成长！招收专业集成电路、人工智能、光学工程、电子信息、材料科学和物理学，联系邮箱mengxiangyue@ucas.ac.cn。该工作为面向自动驾驶和具身智能平台的低延迟、低功耗智能视觉芯片提供了一种变革性的技术方案。研究得到了国家自然科学基金、国家重点研发计划以及中国科学院大学相关项目的支持。这一成果近期发表在Science Bulletin上，文章的第一作者是中国科学院大学博士研究生王浩。通讯作者为中国科学院大学光电学院孟祥悦教授、广东工业大学黄乐教授和香港理工大学柴扬教授。
课题组网站：
https://www.x-mol.com/groups/MengXiangyue
论文信息：
https://doi.org/10.1016/j.scib.2026.01.047
Single-frame motion vector imaging with phonon-engineered perovskite optoelectronic synapses for neuromorphic visual perceptionHao Wang, Tianhua Liu, Yongle Pan, Junjie Zhou, Junfang Wang, Xu Wang, Shiwei Zhang, Enhao Cui, Shuyang Wang, Ziquan Yuan, Zengsheng Li, Yashuai Qi, Le Huang, Yang Chai, Xiangyue Meng
Science Bulletin
DOI: 10.1016/j.scib.2026.01.047
