智能机器视觉在预警考查、安防监控、医学影像等领域有着锋利的应用出息，可是，在低对比度光学环境下，对弱主义的智能感知一直面对着准确率低与鲁棒性差的严峻挑战。这主若是由于，主义与配景光信号之间的强度相反很小，主义信号险些被统一在配景噪声中，给与传统半导体像元寂寥使命的静态光电探伤时间无法从配景信号中准确区别出主义信号。因此，如何愚弄可兼容传统硅基时间且孕育加工工艺较熟习的低维材料萝莉 幻塔，确立新原千里着妥贴能感知硬件，已毕低对比度光学环境下的高鲁棒性、高精度光电智能感知时间成为领域内锋利存眷的科知识题。

面对上述挑战，南京大学物理学院梁世军副素养、缪峰素养团队初度提议传感器内动态计较范式，已毕了低对比度光学场景下弱主义特征的准确索要，展现了对弱主义的高鲁棒性、高精度识别与跟踪才能。该决策的硬件已毕是基于石墨烯/锗羼杂维度异质结构的多端口光电器件。通过在相邻器件之间引入信号交互与关联限度，证据图像局域光强梯度，动态调控卷积核权重，酿成可自相宜图像执行的传感器内动态卷积计较单位。

率先，推敲团队在图像传感器内构建了局域像元关联计较单位（图1），展示了该计较单位如何已毕对图像中低对比度信息环节特征的准确索要 （图1a）。该计较单位由1个动态像元和8个静态像元组合而成（图1b），其中，扫数静态像元的光电响应度是固定且一致的，而动态像元的光电响应度会跟着周围8个静态像元的光电流输出本性进行径态调控。该计较单位的总输出信号是扫数像元的光电流总额（图1c）。基于局域像元之间动态信号交互与关联限度的新式感内计较范式，矫正了传统图像传感阵列中每个像元互相寂寥使命的静态传感模式，为传感器在复杂光学场景下的弱主义精确探伤提供了新的时间路子。

图1：局域关联感内计较旨趣暗示图。(a) 感内动态计较芯片暗示图；(b-c) 每个动态感受野内主动器件的光电响应度与周围被迫器件的光电流输出磋商联。动态感受野内的被迫器件具有固定且一致的光电响应度，其光电流反应了图像的局域灰度信息。

随后，推敲团队制备了具有多端口可调控光电响应本性的光电传感器件（图2），用于已毕上述局域动态关联感内计较。在结构上，器件具有由透明顶栅与底栅组成的垂直双栅结构，器件感光沟说念由石墨烯/锗羼杂维度异质结组成（图2a-b）。在基本光电本性上，器件证明出典型的访佛光电二极管的整流特征，并在反向偏压下证明出显耀的光电响应行径（图2c-d）。推敲团队发现器件光电流随光强呈现近似线性特征，这使得器件约略被用作被迫器件（图2e）。在给定光强下，器件光电流可同期受到顶栅与底栅的调控，这使得器件同期还可行为主动器件，收受来自被迫器件的反馈限度信号（图2f-i）。器件的光电响应多端口可调本性使得其可被用来已毕局域动态关联感内计较硬件。

图2：多端口石墨烯/锗异质结器件的光电响应本性。(a) 器件结构暗示图；(b) 器件光学相片；(c-d) 器件在两种不同极性偏置下的I-V本性；(e) 器件光电流随光强的变化；(f-g) 器件光电流随背栅电压的变化；(h) 器件光电流在顶底双栅调控下的变化；(i) 器件光电流在给定背栅下萝莉 幻塔，随光强与顶栅偏压的变化。

愚弄器件光电响应顶栅与底栅双端口可调的特色，推敲团队率先展示了一维关联计较（图3）。该局域关联单位由周围两个被迫器件和中间的主动器件组成（图3a）。三个器件的底栅提供各自光电响应度的基准，主动器件的顶栅用于在运行基准上提供非凡的反馈调控端口。三个器件的运行光电响应度比例关连为1:-2:1。一维动态关联单位的使命逻辑为：率先证据两个被迫器件的光电流差值（反应了图像的局域光强梯度），对主动器件的光电响应度进行二值化调控。如果差值高于设定阈值，则减小主动器件光电响应度的完全值，格外于放大了三个器件的总额光电流；如果差值低于或者就是阈值，则督察主动器件的光电响应度初值。临了三个器件的总光电流行为最终计较收尾。与传统的程序卷积操作（光电响应度遥远保捏不变）比拟，推敲团队提议的传感器内动态关联计较步调不错对局部细小的光强相反进行放大输出（图3b-c），关于低对比度下弱主义玄虚与角落的采纳性放大与增强索要具有报复意念念。

图3：基于多端口石墨烯/锗异质结光电器件的一维关联计较。(a) 计较单位的电路结构暗示图；(b-c) 传统卷积惩处与感内动态计较在三种光强踱步下的光电流输出收尾。

在此基础上，推敲团队进一步制备了3*3石墨烯/锗光电器件阵列，展示了二维动态关联信息惩处功能（图4）。访佛于一维情况，率先通过如图4a的阵列取得图像的局域光强（灰度）梯度，随后将该梯度与阈值进行比较，证据比较收尾对主动器件的光电响应度进行二值化调控，临了输出单位内扫数器件的总光电流（图4b）。愚弄该阵列和外围限度电路（图4c），推敲团队到手索要了灰暗走廊中赠给的东说念主的玄虚特征（静态场景，图4d）以及配景对比度变化条款下的遨游无东说念主机的准确玄虚特征（动态场景，图4e）。而给与传统光电卷积无法准确地取得这些玄虚特征。

日本少妇

图4：二维局域关联感内计较的硬件及应用展示。(a) 石墨烯/锗异质结器件阵列的光学相片；(b) 由9个器件组成的动态感受野的操作逻辑经过图；(c) 动态感受野的电路结构暗示图；(d-e) 两种典型场景下的弱主义特征索要实验收尾，分别是灰暗走廊中赠给的东说念主与配景变化条款下的遨游无东说念主机。

临了，推敲团队将上述感内动态计较时间与单层东说念主工神经采集（ANN）相长入，展示了该时间在复杂环境中弱主义的高精度、高鲁棒识别方面的应用后劲 （图5）。与传统卷积惩处比拟，感内动态计较时间约略更有用地放大弱主义的角落玄虚特征。在后端神经采集算力相易的情况下，感内动态计较时间能在对比度恶化的条款下，还是郑重地已毕较高的识别率，标明了感内动态计较时间在低对比度条款下弱主义的精确特征索要与高鲁棒识别的才能。该使命为智能机器视觉系统在复杂与极点光学场景中的应用提供了通用且可行的时间路子。

图5：变化对比度条款下弱主义识别的鲁棒性。(a)对比度变化的图像特征索要收尾与分类识别暗示图；(b)五种不同对比度的数据集；(c) 不同数据集的平均对比度；(d) 传统光电卷积时间与感内动态计较时间的识别准确度对比。

磋商推敲效果以“In-sensor Dynamic Computing for Intelligent Machine Vision”（面向智能机器视觉的传感器内动态计较）为题于2024年2月8日在线发表在外洋电子学领域顶级期刊Nature Electronics（《当然·电子学》）上（https://www.nature.com/articles/s41928-024-01124-0）。同期《当然·电子学》“推敲简报（Research briefing）”栏目以“Pixel-Correlated Computing for Detecting and Tracking Targets in Dim Lighting（用于弱主义检测与跟踪的像素关联计较）”为题，对该推敲效果进行了专题报说念，评价该使命展示了“一种先进的感内惩处计较时间（an advanced form of in-sensor processing technology）”。由于这类材料与器件的制备均可给与较为熟习的工艺，该时间有望已毕大规模芯片级集成与系统级应用。

南京大学物理学院副推敲员杨悦昆、南京理工大学潘晨副素养和南京大学物理学院副推敲员李遗祥为该使命的共同第一作家。南京大学物理学院梁世军副素养和缪峰素养为该使命的共同通信作家。共同作家还包括南京理工大学程斌素养、于文韬素养和中国科学院上海微系统所狄增峰推敲员。该使命得到科技部国度重心研发运筹帷幄方式、国度当然科学基金委优秀后生基金、国度当然科学基金委重心/面上/后生方式、中科院先导B方式、中央高校基本科研业务费、以及固体微结构物理国度重心实验室、东说念主工微结构科学与时间协同翻新中心等的维持。

论文勾通：https://www.nature.com/articles/s41928-024-01124-0

团队主页：miao.nju.edu.cn