利用环境光减法进行成像的制作方法

测量装置的制造及其应用技术1.本技术总体上涉及图像传感器。更具体地，本技术涉及利用环境光减法进行成像的飞行时间图像传感器。背景技术：2.图像感测装置通常包括通常实施为像素电路阵列的图像传感器，以及信号处理电路和任何相关联的控制或定时电路。在图像传感器本身内，由于照射光，电荷收集在像素电路的光电转换装置中。通常存在非常大量的单独的光电转换装置(例如，数千万)，以及并行工作的许多信号处理电路组件。信号处理电路内的各种组件被大量的光电转换装置共享；例如，一列或多列光电转换装置可以共享单个模数转换器(adc)或采样和保持(s/h)电路。3.在摄影应用中，像素电路的输出用于生成图像。除了摄影之外，图像传感器用于多种应用中，这些应用可以将所收集的电荷用于附加的或替代的目的。例如，在诸如游戏机、自动车辆、遥测系统、工厂检查、姿势控制的计算机输入装置等的应用中，可以期望检测三维空间中各种对象的深度和/或检测反射离开同一三维空间中各种对象的光量。4.此外，一些图像传感器支持像素合并操作。在合并时，来自相邻像素电路的输入像素值与或不与权重一起被平均以产生输出像素值。合并导致输出图像中的分辨率或像素计数降低，并且可以被利用以便允许图像传感器在低光照条件下或以降低的功耗有效地操作。技术实现要素：5.本公开的各个方面涉及其中利用环境光减法进行成像的装置、方法和系统。具体地，本公开涉及帧双数据采样(dds)，其使得能够通过执行两个积分(一个积分照明源关闭，并且第二积分照明源打开)来减少环境光。帧dds处理进一步将照明信号与环境光以及由于像素(主要是源极跟随器偏移)和读出电子器件引起的固定模式噪声分离。从对象反射的照明信号然后可以用于检测对象特征。6.在本公开的一个方面中，提供了一种飞行时间成像传感器。飞行时间成像传感器包括像素阵列、控制电路和信号处理电路，该像素阵列包括多个像素电路。多个像素电路的相应像素电路分别包括光电转换装置和浮动扩散。控制电路被配置为控制相应像素电路中的相应浮动扩散的第一复位并且控制相应浮动扩散的第二复位。信号处理电路被配置为在第一帧期间从相应浮动扩散读出第一数据信号，第一帧在第一复位之后并且在光发生器处于非发射状态的同时在相应像素电路中的相应光电转换装置的第一积分之后，在第二帧期间从相应浮动扩散读出第二数据信号，第二帧在第二复位之后并且在光发生器处于发射状态的同时在相应光电转换装置的第二积分之后，并且通过从第二数据信号减去第一数据信号来生成第三数据信号，该第三数据信号指示由光发生器发射并从对象反射的光信号。7.在本公开的另一方面，提供了一种用于操作飞行时间图像传感器的方法。该方法包括利用信号处理电路在第一帧期间从多个像素电路中的相应像素电路的相应浮动扩散读出第一数据信号，第一帧在相应浮动扩散的第一复位之后并且在光发生器处于非发射状态的同时在相应像素电路的相应光电转换装置的第一积分之后，其中，相应浮动扩散部中的每一个仅电连接至相应光电转换装置中的一个。该方法包括利用信号处理电路在第二帧期间从相应浮动扩散读出第二数据信号，第二帧在相应浮动扩散的第二复位之后并且在光发生器处于发射状态的同时在相应光电转换装置的第二积分之后。该方法还包括利用信号处理电路通过从第二数据信号减去第一数据信号来生成第三数据信号，该第三数据信号指示由光发生器发射并从对象反射的光信号。8.在本公开的又一方面，提供了一种系统。该系统包括被配置为发射光波的光发生器和飞行时间图像传感器。飞行时间成像传感器包括像素阵列、控制电路和信号处理电路，该像素阵列包括多个像素电路。多个像素电路的相应像素电路分别包括光电转换装置和浮动扩散。控制电路被配置为控制相应像素电路中的相应浮动扩散的第一复位，控制相应浮动扩散的第二复位，并且控制光发生器。信号处理电路被配置为在第一帧期间从相应浮动扩散读出第一数据信号，第一帧在第一复位之后并且在光发生器处于非发射状态的同时在相应像素电路中的相应光电转换装置的第一积分之后，在第二帧期间从相应浮动扩散读出第二数据信号，第二帧在第二复位之后并且在光发生器处于发射状态的同时在相应光电转换装置的第二积分之后，并且通过从第二数据信号减去第一数据信号来生成第三数据信号，该第三数据信号指示由光发生器发射并从对象反射的光信号。9.以这种方式，本公开的以上方面提供至少对象特征检测的技术领域以及成像、图像处理等的相关技术领域中的改进。10.本公开可以以各种形式(包括由计算机实施的方法控制的硬件或电路、计算机程序产品、计算机系统和网络、用户界面和应用编程接口；以及硬件实现的方法、信号处理电路、图像传感器电路、专用集成电路、现场可编程门阵列等)体现。前述概述仅旨在给出本公开的各个方面的一般概念，并且不以任何方式限制本公开的范围。附图说明11.参考所附附图，在以下描述中更全面地公开各种实施例的这些和其他更详细和具体的特征，在所附附图中：12.图1是示出根据本公开的各个方面的示例性飞行时间(tof)成像环境的示图；13.图2是示出根据本公开的各个方面的示例性像素电路的电路图；14.图3是示出根据本公开的各个方面的示例性tof图像传感器的电路图；15.图4是示出根据本公开的各个方面的用于环境光减法的示例性过程的示图；以及16.图5是示出用于操作图1的示例性tof成像系统的方法的流程图。具体实施方式17.在以下描述中，阐述了许多细节，诸如流程图、数据表和系统配置。对本领域技术人员而言将显而易见的是，这些具体细节仅仅是示例性的并非旨在限制本技术的范围。18.此外，虽然本公开主要集中在处理电路用于图像传感器中的示例，但是将理解，这仅是实现方式的一个示例。将进一步理解，所公开的装置、方法和系统可以用于需要检测对象特征(例如，面部检测)的任何装置中。19.成像系统20.图1是示出根据本公开的各个方面的示例性飞行时间(tof)成像环境100的示图。在图1的示例中，tof成像环境100包括tof成像系统101，该tof成像系统101被配置为对位于远离距离d的对象102进行成像。tof成像系统101包括被配置为生成朝向对象102的发射光波120的光发生器111和被配置为从对象102接收反射光波130的图像传感器112。发射光波120可以具有周期性波形。图像传感器112可以是能够将入射辐射转换为信号的任何装置。例如，图像传感器可以是互补金属氧化物半导体(cmos)图像传感器(cis)、电荷耦合器件(ccd)等。tof成像系统101可以进一步包括距离确定电路，诸如控制器113(例如，微处理器或其他合适的处理装置)和存储器114，其可以操作以执行如下文进一步描述的对象特征检测处理(例如，面部检测)和/或飞行时间处理的一个或多个示例。光发生器111、图像传感器112、控制器113和存储器114可以经由一个或多个通信总线彼此通信连接。21.光发生器111可以例如是发光二极管(led)、激光二极管、或者任何其他光发生装置或装置的组合，并且可以通过控制器113控制光波形。尽管可以利用图像传感器112可感知的任何波长范围，但是光发生器可以在红外范围内操作以便减少来自可见光谱的干扰。在一些示例中，控制器113可以被配置为从图像传感器112接收已从光强度图像减去环境光的光强度图像，并且利用光强度图像检测对象102的特征。例如，光强度图像可以是用于面部特征检测的ir或近ir光强度图像。另外，在一些示例中，控制器113还可以被配置为从图像传感器接收深度图像并且计算指示到对象102的各个点的距离d的深度图。22.图2是示出根据本公开的各个方面的示例性像素电路200的电路图。如图2所示，像素电路200包括光电转换装置201(例如，光电二极管)、像素复位晶体管202、第一传输晶体管203a、第二传输晶体管203b、第一浮动扩散fda、第二浮动扩散fdb、第一分接头复位晶体管204a、第二分接头复位晶体管204b、第一中间晶体管205a、第二中间晶体管205b、第一放大器晶体管206a、第二放大器晶体管206b、第一选择晶体管207a和第二选择晶体管207b。光电转换装置201、第一传输晶体管203a、第一分接头复位晶体管204a、第一中间晶体管205a、第一放大器晶体管206a和第一选择晶体管207a被控制为经由第一垂直信号线208a输出模拟信号(a)，第一垂直信号线208a可以是下面图3所示的垂直信号线313a的示例。该组组件可以被称为“分接头a(tap a)”。光电转换装置201、第二传输晶体管203b、第二分接头复位晶体管204b、第二中间晶体管205b、第二放大器晶体管206b和第二选择晶体管207b被控制为经由第二垂直信号线208b输出模拟信号(b)，第二垂直信号线208b可以是下面图3所示的垂直信号线313b的示例。该组组件可以被称为“分接头b”。23.此外，在一些示例中，像素电路200还可以包括两个可选电容器(可选性由具有虚线的框示出)。两个可选电容器包括第一电容器213a和第二电容器213b。第一电容器213a包括在分接头a中，并且第二电容器213b包括在分接头b中。通过在电荷收集期间将两个可选电容器短路至相应浮动扩散fda和fdb，两个可选电容器可以用于最大化饱和电荷。例如，当两个可选电容器包括在像素电路200中时，第一中间晶体管205a和第二中间晶体管205b持续导通，并且第一分接头复位晶体管204a和第二分接头复位晶体管204b控制像素电路200的操作。然而，当两个可选电容器不包括在像素电路200中时，第一中间晶体管和第二中间晶体管以及第一分接头复位晶体管204a和第二分接头复位晶体管204b持续导通，并且第一中间晶体管205a和第二中间晶体管205b控制像素电路200的操作。24.第一传输晶体管203a和第二传输晶体管203b分别由第一传输栅极线209a和第二传输栅极线209b上的控制信号控制。第一分接头复位晶体管204a和第二分接头复位晶体管204b由分接头复位栅极线210上的控制信号控制。第一中间晶体管205a和第二中间晶体管205b由fd栅极线211上的控制信号控制。第一选择晶体管207a和第二选择晶体管207b由选择栅极线212上的控制信号控制。第一传输栅极线209a和第二传输栅极线209b、分接头复位栅极线210、fd栅极线211和选择栅极线212可以是下面图3所示的水平信号线312的示例。25.在操作中，像素电路200可以以时分方式控制，使得在水平周期的前半段期间，经由分接头a转换入射光以生成输出信号a；并且在水平周期的后半段期间，经由分接头b转换入射光以生成输出信号b。26.在光强度成像模式期间，关于第一传输栅极线209a和第二传输栅极线209b的控制信号导通第一传输晶体管203a和第二传输晶体管203b并且将第一传输晶体管203a和第二传输晶体管203b的导通状态维持预定时间段。在深度成像模式期间，关于第一传输栅极线209a和第二传输栅极线209b的控制信号以特定调制频率导通和关断第一传输晶体管203a和第二传输晶体管203b。27.尽管图2示出了具有处于特定配置的多个晶体管的像素电路200，但是本公开不限于此，并且可以应用于像素电路200包括更少或更多的晶体管以及其他元件(诸如附加电容器(例如，两个可选电容器)、电阻器等)的配置。28.图3是示出根据本公开的各个方面的示例性tof图像传感器300的电路图。tof图像传感器300包括如上所述并在图2中示出的像素电路200的阵列301。像素电路200位于水平信号线318和垂直信号线208a和208b彼此交叉的交叉点处。水平信号线318在像素阵列301外部的点处可操作地连接至垂直驱动电路220(也称为“行扫描电路”)，并且将信号从垂直驱动电路320运送至像素电路200的特定行。特定列中的像素将对应于相应入射光量的模拟信号输出至垂直信号线208a和208b。出于说明的目的，在图3中实际上仅示出了像素电路200的子集；然而，实际上，图像传感器300可以具有多达数千万个像素电路(“百万像素”或mp)或更多。29.垂直信号线208a和208b将特定列的模拟信号传导至列电路330，也称为“信号处理电路”。此外，虽然图3示出了用于所有列的单个读出电路331，但是图像传感器300可以利用多个读出电路331。在像素电路200中的光电转换装置201中生成的模拟电信号被读出电路231检索，并且然后被转换为数字值。这种转换通常需要几个电路组件，诸如采样和保持(s/h)电路、模数转换器(adc)以及定时和控制电路，其中每个电路组件在转换中起作用。例如，s/h电路的目的可以是对来自光电二极管操作的不同时间阶段的模拟信号进行采样，在此之后，模拟信号可以由adc转换为数字形式。30.信号处理电路可以执行如下面图4所述的帧dds操作。在一些示例中，相对于分接头a和分接头b单独地执行帧dds处理。然而，在其他示例中，来自下面所描述的帧dds处理的两个数字输出可以由信号处理电路相加在一起以增加信噪比(snr)。31.图4是示出根据本公开的各个方面的用于环境光减法的示例性过程400的示图。如图4所示，读出电路331可以执行帧双数据采样(也称为“帧dds”)的减法过程400。帧dds还通过对每个像素电路200进行采样两次来克服一些像素噪声相关的问题。首先，第一复位电压vreset401被施加于每个像素电路200以复位fd。在施加第一复位电压vreset401之后，在照明器处于非发射状态的情况下执行fd的第一积分402。在fd的第一积分402之后，对每个像素电路200的第一数据电压vdata403(即，每个像素电路200已经曝光之后的电压)进行采样并且将其输出为第一数据信号。在对第一vdata403进行采样之后，第二复位电压vreset404被施加到每个像素电路200以复位每个像素电路200。在施加第二复位电压vreset404之后，在照明器处于发射状态的情况下执行fd的第二积分405。在fd的第二积分405之后，对每个像素电路200的第二数据电压vdata406进行采样并且将其输出为第二数据信号。32.在帧dds中，第一数据电压vdata403(即，在第一帧期间采样的第一数据信号)通常等于环境光，并且第二数据电压vdata406(即，在第二帧期间采样的第二数据信号)等于环境光和来自对象的反射光信号。帧dds由以下表达式定义：33.(1)帧2-帧1＝δa＝(信号(a2)+环境(a2))-环境ꢀꢀ(a1)34.在以上表达式中，帧2是第二数据信号，并且帧1是第一数据信号。另外，在以上表达式中，信号(a)指示由光发生器发射并从对象反射的光信号，环境(a2)是与帧2相关联的环境光，并且环境(a1)是与帧1相关联的环境光。简单地说，从第二数据信号减去第一数据信号以输出指示从对象反射的光信号的第三数据信号，该光信号由光发生器生成。帧dds还减小或消除帧2与帧1之间的固定模式噪声以及环境光减法。35.列电路330由水平驱动电路340(也称为“列扫描电路”)控制。垂直驱动电路320、列电路330和水平驱动电路340中的每一个从控制器350接收一个或多个时钟信号。控制器350控制各种图像传感器组件的定时和操作，使得经由输出电路360输出已经在列电路330中转换为数字信号的来自像素阵列301的模拟信号以进行信号处理、存储、传输等。在一些示例中，控制器350可以类似于以上图1所述的控制器113。36.图5是示出根据本公开的各个方面的用于操作tof成像传感器的方法500的流程图。该方法500包括利用信号处理电路在第一帧期间从多个像素电路中的相应像素电路的相应浮动扩散读出第一数据信号，第一帧在相应浮动扩散的第一复位之后并且在光发生器处于非发射状态的同时在相应像素电路的相应光电转换装置的第一积分之后，其中，相应浮动扩散中的每一个仅电连接至相应光电转换装置中的一个(在框501处)。例如，读出电路331在第一帧期间从多个像素电路中的相应像素电路200的相应浮动扩散fd读出第一数据信号403a，第一帧在相应浮动扩散fd的第一复位401之后并且在光发生器处于非发射状态的同时在相应像素电路200的相应光电转换装置201的第一积分402之后，其中，相应浮动扩散fd中的每一个仅电连接至相应光电转换装置fd中的一个(在框501处)。第一数据信号指示在第一帧期间的环境光(包括固定模式噪声)。37.该方法500包括利用信号处理电路在第二帧期间从相应浮动扩散读出第二数据信号，第二帧在相应浮动扩散的第二复位之后并且在光发生器处于发射状态的同时在相应光电转换装置的第二积分之后(在框502处)。例如，读出电路331在第二帧期间从相应浮动扩散fd读出第二数据信号406a，第二帧在相应浮动扩散的第二复位404之后并且在光发生器处于发射状态的同时在相应光电转换装置的第二积分405之后。第二数据信号指示在第二帧期间的环境光(包括固定模式噪声)和由光发生器111发射并从对象102反射的光信号。38.该方法500包括利用信号处理电路通过从第二数据信号减去第一数据信号来生成第三数据信号，该第三数据信号指示由光发生器发射并从对象反射的光信号(在框503处)。例如，读出电路331通过从第二数据信号减去第一数据信号来生成第三数据信号，该第三数据信号指示由光发生器111发射并被对象102反射的光信号。39.在一些示例中，该方法500可以进一步包括利用信号处理电路输出第三数据信号以进行光强度图像处理。在其他示例中，该方法500可以进一步包括利用信号处理电路对第三数据信号执行光强度图像处理。40.在一些示例中，相应光电转换装置201可以电连接至相应第一分接头203a和相应第二分接头203b，相应第一分接头203a包括相应浮动扩散作为第一相应浮动扩散fda，并且相应第二分接头包括第二相应浮动扩散fdb。在这些示例中，该方法500进一步包括：读出电路331在第三帧期间从第二相应浮动扩散fdb读出第四数据信号403b，第三帧在第二相应浮动扩散fdb的第三复位401之后并且在光发生器处于非发射状态的同时在相应光电转换装置201的第三积分402之后；在第四帧期间从第二相应浮动扩散fdb读出第五数据信号406b，第四帧在第二相应浮动扩散fdb的第四复位404之后并且在光发生器处于发射状态的同时在相应光电转换装置201的第四积分405之后；以及通过从第五数据信号减去第四数据信号来生成第六数据信号，该第六数据信号指示由光发生器发射并从对象102反射的光信号。41.第四数据信号指示在第三帧期间的环境光(包括固定模式噪声)。第五数据信号指示在第四帧期间的环境光(包括固定模式噪声)和由光发生器111发射并被对象102反射的光信号。42.另外，在一些示例中，该方法500可以进一步包括：读出电路331通过将第三数据信号和第六数据信号相加在一起来生成第七数据信号，该第七数据信号指示由光发生器发射并从对象反射的两个光信号，并且输出第七数据信号以进行光强度图像处理。43.在一些示例中，该方法500可以包括：读出电路331与从第二相应浮动扩散读出第四数据信号并行地从相应浮动扩散读出第一数据信号。可替换地，在其他示例中，该方法500可以包括：读出电路331与从第二相应浮动扩散读出第四数据信号未并行地从相应浮动扩散读出第一数据信号。44.在一些示例中，该方法500可以包括：读出电路331与从第二相应浮动扩散读出第五数据信号并行地从相应浮动扩散读出第二数据信号。可替换地，在其他示例中，该方法500可以包括：读出电路331与从第二相应浮动扩散读出第五数据信号未并行地从相应浮动扩散读出第二数据信号。45.结论46.关于本文所描述的过程、系统、方法、启发式等，应当理解，尽管这样的过程等的步骤已经被描述为根据特定有序的序列发生，但是这样的过程可以利用所描述的步骤以不同于本文所描述的顺序执行的顺序来实践。还应当理解，某些步骤可以同时执行，可以添加其他步骤，或可以省略本文描述的某些步骤。换句话说，提供本文的过程的描述是为了说明某些实施例的目的，并且决不应被解释为限制权利要求。47.因此，应当理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除了所提供的示例之外的许多实施例和应用将是显而易见的。不应参考以上描述来确定范围，而是应参考所附权利要求以及这样的权利要求所赋予的等效物的全部范围来确定范围。预期并期望在本文讨论的技术中将发生未来的发展，并且所公开的系统和方法将被结合到这样的未来的实施例中。总之，应当理解，本技术能够进行修改和变化。48.除非在本文中做出相反的明确指示，否则在权利要求中使用的所有术语旨在被给予如本文中描述的技术领域的技术人员所理解的其最广泛的合理构造和其通常的含义。具体地，除非权利要求列举了相反的明确限制，否则单数冠词诸如“一”、“该”、“所述”等的使用应被理解为列举了所指示元素中的一个或多个。49.提供本公开的摘要以允许读者快速确定本技术公开的性质。在理解其不用于解释或限制权利要求的范围或含义的情况下提交。此外，在前述具体实施方式中，可以看出，出于简化本公开的目的，各个特征在各个实施例中被组合在一起。本公开的该方法不应被解释为反映所要求保护的实施例需要比在每个权利要求中明确陈述的特征更多的特征的意图。相反，如所附权利要求所反映的，发明主题在于少于单个公开的实施例的所有特征。因此，所附权利要求由此并入具体实施方式中，其中，每个权利要求独立地作为单独要求保护的主题。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!