用于产生图像帧的系统、方法和显示系统与流程

计算;推算;计数设备的制造及其应用技术1.本公开涉及用于产生用于在显示设备上显示的图像帧的系统。此外，本公开涉及用于产生用于在显示设备上显示的图像帧的方法。此外，本公开涉及用于产生用于在显示设备上显示的图像帧的显示系统。背景技术：2.近年来，对图像生成和处理的需求越来越大。在诸如沉浸式扩展现实(xr)技术的不断发展的技术的情况下，这种需求尤其关键，该技术正被应用于各种领域，例如娱乐、房地产、培训、医学成像操作、模拟器、导航等。这种沉浸式xr技术经由xr图像创建沉浸式xr环境，以呈现给xr设备(例如xr耳机、一副xr眼镜或类似物)的用户。3.目前，采用单个专用图形处理单元(gpu)来生成要在显示设备上显示的视觉内容。值得注意的是，以图像帧形式的视觉内容的开发和渲染是计算量很大的操作。例如，xr设备中的高分辨率、小像素尺寸和高帧率要求通常同时需要大量的图形处理资源。因此，当同时执行诸如图像生成任务、图像合成任务、图像预处理任务、图像后处理任务、图像增强任务等的图形处理任务时，gpu资源的占用率极高。这给gpu带来了巨大的计算负担。此外，在两个或更多个图形处理任务以共享的方式使用gpu资源的情况下，当竞争单个gpu的有限图形处理资源时，这些图形处理任务之间会发生干扰。这导致gpu的上下文切换问题(例如上下文切换时间的增加)，并因此对gpu的生产率和效率产生不利影响和降低。例如，在使用滚动快门驱动显示设备以同时显示图像帧的场景中，gpu资源可能会极度过载，因为在这样的场景中，每秒生成数百个图形处理任务。4.因此，根据前面的讨论，当执行多个同时的图形处理任务时，需要克服与单个专用gpu相关联的上述缺点。技术实现要素：5.本公开旨在提供一种用于产生用于在显示设备上显示的图像帧的系统。本公开还旨在提供一种用于产生用于在显示设备上显示的图像帧的方法。本公开进一步旨在提供一种显示系统。本公开的目的是提供一种至少部分地克服现有技术中遇到的问题的解决方案。6.在一个方面，本公开的实施例提供了一种用于产生用于在显示设备上显示的图像帧的系统，该系统包括：7.多个图形处理单元，其包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元；以及8.姿势跟踪装置，其可通信地耦接到第二图形处理单元，9.其中，第二图形处理单元被配置为：[0010]-处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0011]-基于设备姿势，执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；以及[0012]-向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息，[0013]其中，第一图形处理单元被配置为：[0014]-至少基于所述信息，执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0015]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0016]在另一方面，本公开的实施例提供了一种用于产生用于在显示设备上显示的图像帧的方法，该方法由多个图形处理单元实施，多个图形处理单元包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元，该方法包括：[0017]-在第二图形处理单元处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0018]-基于设备姿势，在第二图形处理单元上执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；[0019]-从第二图形处理单元向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息；[0020]-至少基于所述信息，在第一图形处理单元上执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0021]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0022]在又一方面，本公开的实施例提供了一种显示系统，包括：[0023]显示设备，其包括至少一个光源；[0024]多个图形处理单元，其包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元；以及[0025]姿势跟踪装置，其可通信地耦接到第二图形处理单元，[0026]其中，第二图形处理单元被配置为：[0027]-处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0028]-基于设备姿势，执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；以及[0029]-向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息，[0030]其中，第一图形处理单元被配置为：[0031]-至少基于所述信息，执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0032]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0033]本公开的实施例基本上消除或至少部分解决了现有技术中的上述问题，并且能够通过采用多个图形处理单元以资源高效和计算高效的共享方式来产生用于在显示设备上显示的图像帧。[0034]从附图和结合后面所附权利要求解释的说明性实施例的详细描述中，本公开的附加方面、优点、特征和目的将变得显而易见。[0035]应当理解，在不脱离由所附权利要求限定的本公开的范围的情况下，本公开的特征可以以各种组合方式组合。附图说明[0036]当结合附图阅读时，以上概述以及以下说明性实施例的详细描述将得到更好的理解。为了说明本公开，在附图中示出了本公开的示例性结构。然而，本公开不限于本文公开的特定方法和工具。此外，本领域技术人员将理解，附图不是按比例绘制的。在可能的情况下，相同的元件已用相同的数字表示。[0037]现在将参考以下附图仅借助于示例来描述本公开的实施例，在附图中：[0038]-图1示出了根据本公开的实施例的用于产生用于在显示设备上显示的图像帧的系统的架构的框图；[0039]-图2示出了根据本公开的实施例的显示系统的架构的框图；[0040]-图3a和图3b示出了根据本公开的不同实施例的实施第一图形处理单元和第二图形处理单元的两个示例性场景；以及[0041]-图4示出了根据本公开的实施例的用于产生用于在显示设备上显示的图像帧的方法的步骤。[0042]在附图中，采用带下划线的数字来表示该下划线数字被置于其上的项目或与该下划线数字相邻的项目。不带下划线数字与由将不带下划线数字链接到项目的线所标识的项目有关。当一个数字不带下划线并伴随着相关的箭头时，该不带下划线的数字用于标识箭头所指向的一般项目。具体实施方式[0043]下面的详细描述示出了本公开的实施例以及可以实施这些实施例的方式。尽管已经公开了执行本公开的一些模式，但本领域技术人员将认识到用于执行或实践本公开的其他实施例也是可能的。[0044]在一个方面，本公开的实施例提供了一种用于产生用于在显示设备上显示的图像帧的系统，该系统包括：[0045]多个图形处理单元，其包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元；以及[0046]姿势跟踪装置，其可通信地耦接到第二图形处理单元，[0047]其中，第二图形处理单元被配置为：[0048]-处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0049]-基于设备姿势，执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；以及[0050]-向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息，[0051]其中，第一图形处理单元被配置为：[0052]-至少基于所述信息，执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0053]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0054]在另一方面，本公开的实施例提供了一种用于产生用于在显示设备上显示的图像帧的方法，该方法由多个图形处理单元实施，该多个图形处理单元包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元，该方法包括：[0055]-在第二图形处理单元处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0056]-基于设备姿势，在第二图形处理单元上执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；[0057]-从第二图形处理单元向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息；[0058]-至少基于所述信息，在第一图形处理单元上执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0059]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0060]在又一方面，本公开的实施例提供了一种显示系统，包括：[0061]显示设备，其包括至少一个光源；[0062]多个图形处理单元，其包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元；以及[0063]姿势跟踪装置，其可通信地耦接到第二图形处理单元，[0064]其中，第二图形处理单元被配置为：[0065]-处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势以及设备姿势改变的速度和/或加速度；[0066]-基于设备姿势，执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据；以及[0067]-向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息，[0068]其中，第一图形处理单元被配置为：[0069]-至少基于所述信息，执行第一合成应用程序以对帧缓冲区数据进行后处理；以及[0070]-使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0071]本公开提供上述系统、上述方法和上述显示系统。这里，采用多个图形处理单元而不是单个图形处理单元，用于以共享的方式有效地执行与图像帧的生成有关的图形处理任务。有利的是，以这种方式，优化了任何给定图形处理单元资源的占用，并且即使当需要执行诸如图像生成任务、图像合成任务、图像预处理任务、图像后处理任务、图像增强任务等的同时的图形处理任务时，也不会发生给定图形处理单元的负担过重。此外，由于共享图形处理，该系统实时或近实时地(以最小的延迟/滞后)生成图像帧。有利地，多个图形处理单元还有助于(通过减少上下文切换时间)最小化上下文切换问题。因此，如果需要，给定的图形处理单元也可以明智地用于执行其他图形或数据处理任务。这使得给定图形处理单元的生产力和效率最大化。该方法快速、有效、可靠，易于实施。[0072]该系统包括用于产生用于在显示设备上显示的图像帧的专用设备。应当理解，该系统实时或近实时地产生图像帧。然后，将图像帧从系统传送到显示设备。图像帧将被呈现给显示设备的用户。[0073]术语“图像帧”是指视觉内容，其不仅包括在图像帧中表示的颜色信息，还包括与图像帧相关联的其他属性(例如，诸如深度信息、透明度信息等)。应当理解，图像帧表示真实世界环境的真实世界场景。图像帧还可以表示虚拟环境的虚拟场景。可选地，通过使用至少一个相机来捕获图像帧。至少一个相机可以布置在现实世界环境中用户存在的任何地方，或者可以布置在现实世界环境中存在的远程设备(例如，无人机、交通工具、机器人等)上，或者可以布置在用户戴在他/她头上的头戴显示器(hmd)上。可选地，至少一个相机被实施为至少一个可见光相机。给定可见光相机的示例包括但不限于红-绿-蓝-深度(rgb)、单色相机。应当理解，至少一个相机可以被实施为给定可见光相机和深度相机的组合。深度相机的示例包括但不限于红-绿-蓝-深度(rgb-d)相机、测距相机、光检测和测距(lidar)相机、闪光lidar相机、飞行时间(tof)相机、声音导航和测距(sonar)相机、激光测距仪、立体相机、全光相机、红外相机、结构光扫描仪和超声成像设备。例如，至少一个相机可以被实施为立体相机。[0074]在整个本公开中，术语“显示设备”是指能够显示图像帧的专用设备。这些图像帧可选地构成扩展现实(xr)环境的视觉场景。可选地，显示设备被实施为头戴式显示器(hmd)。术语“头戴式显示器”是指被配置为当所述hmd在操作中由用户戴在他/她的头上时向用户呈现xr环境的专用设备。例如，hmd被实施为xr耳机、一副xr眼镜等，其可用于向用户显示xr环境的视觉场景。在这种情况下，图像帧构成了视觉场景。术语“扩展现实”包括虚拟现实(vr)、增强现实(ar)、混合现实(mr)等。[0075]值得注意的是，显示设备包括至少一个光源。在整个本公开中，术语“光源”是指从其发出光的元件。驱动光源以显示系统产生的图像帧。可选地，给定光源被实施为显示器。就这一点而言，在显示器上显示图像帧。这种显示器的示例包括但不限于液晶显示器(lcd)、基于发光二极管(led)的显示器、基于有机led(oled)的显示器、基于微oled的显示器、基于有源矩阵oled(amoled)的显示器和基于硅上液晶(lcos)的显示器。或者，可选地，给定光源被实施为投影仪。就这一点而言，将图像帧投影到投影屏幕上或直接投影到用户眼睛的视网膜上。这种投影仪的示例包括但不限于基于lcd的投影仪、基于led的投影仪、基于oled的投影仪、基于lcos的投影仪、基于数字光处理(dlp)的投影仪和激光投影仪。[0076]可选地，给定光源是多分辨率光源，或单分辨率光源。多分辨率光源被配置为以两种或更多种显示分辨率显示图像帧，而单分辨率光源被配置为仅以单个显示分辨率(即，统一显示分辨率)显示图像帧。给定光源的术语“显示分辨率”是指给定光源的每个维度中的总像素数，或给定光源的像素密度(即，每单位距离或面积的像素数)。[0077]在一些实施方式中，系统与显示设备集成。在这样的实施方式中，系统物理地耦接到显示设备(例如，经由机械和/或电连接附接到显示设备的部件)。可选地，在这样的实施方式中，系统的第一图形处理单元用作显示设备的处理器。或者，可选地，在这样的实施方式中，第一图形处理单元无线地和/或以有线方式可通信地耦接到显示设备的处理器。[0078]在其它实施方式中，在与显示设备分离的远程设备上实施该系统。在这样的实施方式中，第一图形处理单元和显示设备的处理器以无线和/或有线方式可通信地耦接。可选地，系统安装在远程设备上。远程设备的示例包括但不限于无人机、交通工具和机器人。可选地，远程设备被物理地定位在真实世界环境中，而显示设备的用户被定位在远离远程设备(例如，有一定距离)的地方。术语“真实世界环境”指的是用户所处的物理环境。[0079]在整个本公开中，术语“图形处理单元”是指能够执行图形处理操作的专用处理设备。给定图形处理单元可以包括至少一个算术逻辑单元(alu)。应当理解，第一图形处理单元和第二图形处理单元以无线和/或有线方式可通信地相互耦接。作为示例，第一图形处理单元和第二图形处理单元可以借助于nvlink以有线方式可通信地相互耦接。应当理解，与使用用于可通信地耦接第一图形处理单元和第二图形处理单元的数据总线相比，使用nvlink提供了几个优点。这些优点包括高数据传输速率(例如，接近每秒600gb)和最小的延迟/滞后(例如，几毫秒)，带宽问题最小。[0080]在整个本公开中，术语“姿势跟踪装置”是指用于检测和/或跟踪显示设备的设备姿势的专用设备。术语“姿势”包括位置和取向。可选地，当用户将显示设备戴在他/她的头上时，姿势跟踪装置跟踪用户在真实世界环境中的头部姿势，并且所述姿势对应于显示设备的设备姿势。根据本公开的实施例，姿势跟踪装置被实施为真正的六自由度(6dof)跟踪系统。换句话说，姿势跟踪装置在真实世界环境的三维(3d)空间内跟踪显示设备的设备位置和设备取向。具体地，所述姿势跟踪装置被配置为跟踪显示设备在3d空间内的平移运动(即，波动、起伏和摇摆运动)和旋转运动(即，滚动、俯仰和偏航运动)。[0081]姿势跟踪装置可以被实施为显示设备的内部部件、显示设备外部的跟踪系统或其组合。姿势跟踪装置可以被实施为以下至少一个：基于光学的跟踪系统(其利用例如红外信标和检测器、红外相机、可见光相机、可检测对象和检测器等)、基于声学的跟踪系统、基于无线电的跟踪系统、基于磁性的跟踪系统、加速度计、陀螺仪、惯性测量单元(imu)、定时和惯性测量单元(timu)。作为示例，可检测对象可以是有源红外(ir)led、可见led、激光照明器、快速响应(qr)码、aruco标记器、锚标记器、射频识别(rfid)标记器等。检测器可以被实施为以下至少一个：ir相机、ir收发器、可见光相机、rfid读取器。[0082]可选地，第二图形处理单元采用至少一个数据处理算法来处理姿势跟踪数据。姿势跟踪装置被配置为生成姿势跟踪数据。姿势跟踪数据可以是图像、imu/timu值、运动传感器数据值、磁场强度值或类似的形式。相应地，采用必要的数据处理算法来处理姿势跟踪数据，以确定显示设备(例如hmd)的设备姿势。至少一个数据处理算法的示例包括特征检测算法、环境映射算法、数据外推算法等。[0083]应当理解，当用户将显示设备戴在他/她的头上时，设备姿势改变的速度和/或加速度对应于用户头部姿势改变的速度和/或加速度。可选地，测量设备姿势改变的速度和/或加速度作为设备姿势改变的速率，并且测量用户头部姿势改变的速度和/或加速度作为用户头部姿势改变的速率。可选地，就这一点而言，第二图形处理单元被配置为处理姿势跟踪数据以确定用户头部姿势改变的速率，其中，所述速率对应于用户设备姿势改变的速率。当前时刻的姿势跟踪数据指示在当前时刻的设备姿势和用户的头部姿势，而当前时刻以及至少一个先前时刻的姿势跟踪数据指示设备姿势和用户的头部姿势改变的速度和/或加速度。使用用户头部的速度和加速度来确定用户观看xr环境的当前视点和当前视点方向变化的速度(在当前时刻)。可选地，根据用户头部的位置速度和/或角速度来确定用户头部的速度。可选地，根据用户头部的线性加速度和/或角加速度来确定用户头部的加速度。[0084]在整个本公开中，术语“渲染应用程序”指的是基于设备姿势生成对应于图像帧的帧缓冲区数据的软件应用程序。至少一个渲染应用程序是在第二图形处理单元上执行的程序或进程。应当理解，如果至少一个应用程序与多个图形处理单元兼容，则可以有多个图形处理单元(除了第二图形处理单元之外)来执行至少一个渲染应用程序。术语“渲染应用程序”还包括使生成对应于图像帧的帧缓冲区数据的行为成为可能的软件。可选地，至少一个渲染应用程序是xr应用程序，其基于设备姿势生成对应于xr图像帧的帧缓冲区数据。xr图像帧可以涉及xr游戏、xr教程、xr教学模拟器、xr电影、xr教育视频等。帧缓冲区数据生成在本领域中是众所周知的。应当理解，至少一个渲染应用程序生成对应于图像帧的设备姿势一致的帧缓冲区数据。通常，帧缓冲区是存储器的一部分，包括驱动至少一个光源的帧缓冲区数据(例如，诸如位图)。帧缓冲区可以是二维(2d)帧缓冲区、帧环形缓冲区等。可选地，至少一个渲染应用程序和帧缓冲区经由应用程序编程接口(api)连接。[0085]可选地，至少一个渲染应用程序包括用于提供显示系统的操作功能的至少一个系统应用程序。可选地，就这一点而言，在第二图形处理单元上执行至少一个系统应用程序，其中，第二图形处理单元被配置为使用至少一个系统应用程序生成与系统图像帧相对应的系统帧缓冲区数据。在一个示例中，至少一个系统应用程序可以是与显示系统的用户界面(ui)相关的应用程序，并且系统图像帧可以表示显示系统的ui的菜单。[0086]可选地，帧缓冲区数据包括以下至少一项：颜色数据、不透明度数据、深度数据、速度数据。应当理解，除了上述数据之外，帧缓冲区数据还可以包括其他数据，例如，亮度数据。术语“颜色数据”是指图像帧中所有像素的颜色信息。可选地，颜色数据是以下中的一个：红-绿-蓝(rgb)颜色数据，青-品红-黄-黑(cmyk)颜色数据。可选地，颜色数据包括图像帧中所有像素的多个颜色值。给定像素的术语“颜色值”是指指示给定像素的颜色的值。颜色值可以表示为单个颜色值或相加颜色值(即，给定像素的多个颜色分量的单独颜色值的和)。在一个示例中，颜色值可以等于180，即单个灰度值。在另一个示例中，颜色值可以等于“496”，即红色、绿色和蓝色分量的单独颜色值“64”、“224”和“208”的总和。术语“不透明度数据”是指图像帧中所有像素的不透明度信息(即透明度信息)。可选地，不透明度数据包括指示图像帧中所有像素的颜色不透明度的多个阿尔法值。在一个示例中，可以从与红-绿-蓝-阿尔法(rgba)颜色模型相关联的阿尔法信道获得多个阿尔法值。可选地，给定的阿尔法值位于0到1的范围内。这里，0表示最低不透明度(或最高透明度)，而1表示最高不透明度(或最低透明度)。例如，给定的阿尔法值可以从0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8或0.9一直到0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9或1。或者，可选地，给定的阿尔法值位于0到100的范围内。这里，0表示最低的不透明度，而100表示最高的不透明度。例如，给定的阿尔法值可以从0、10、20、30、40、50、60、70、80或90一直到10、20、30、40、50、60、70、80、90或100。其他范围的阿尔法值也是可行的。术语“深度数据”是指图像帧的所有像素的深度信息。可选地，深度数据包括图像帧的所有像素的多个深度值。可选地，从深度图导出多个深度值，深度图是数据结构，该数据结构包括与真实世界环境的给定真实世界场景内的至少一个对象的光学深度有关的信息。可选地，就这一点而言，第二图形处理单元被配置为：控制深度相机以捕获给定现实世界场景的至少一个深度图像，并处理该至少一个深度图像以生成给定现实世界场景的深度图。深度图也可以称为z缓冲区数据。可选地，至少一个深度图像是二维图像或三维图像。术语“速度数据”是指图像帧的所有像素的速度信息。这样的速度信息包括运动矢量，该运动矢量包括由图像帧的像素表示的对象的移动(即，运动)的幅度和方向。给定的运动矢量的幅度是给定对象的初始位置(在初始图像帧中)和给定对象的后续位置(在后续图像帧中)之间的偏移(即，距离)的幅度，而给定运动矢量的方向可以是从初始位置向给定对象的后续位置延伸的方向。可选地，使用当前设备姿势和至少一个先前设备姿势来确定给定的运动矢量。此外，可选地，使用当前设备姿势和设备姿势变化的速度和/或加速度来确定给定的运动矢量。[0087]值得注意的是，帧缓冲区数据被发送到第一图形处理单元，以用于基于指示设备姿势和设备姿势改变的速度和/或加速度的信息进行进一步处理。给定的合成应用程序是指处理(即，预处理和/或后处理)帧缓冲区数据的软件应用程序。“第一合成应用程序”也可称为“显示设备合成器”。应当理解，对帧缓冲区数据进行后处理以增强图像帧的感知质量和真实感，从而在显示时，图像帧向用户提供设备姿势一致的视图和丰富的沉浸式观看体验。根据指示设备姿势以及设备姿势改变的速度和/或加速度的信息对帧缓冲区数据进行后处理。结果，后处理的帧缓冲区数据与更新的设备姿势一致，该更新的设备姿势使用指示设备姿势和设备姿势改变的速度和/或加速度的信息来确定。该更新的设备姿势是在对帧缓冲区数据进行后处理时显示设备的估计设备姿势。还应当理解，可选地，第一图形处理单元进一步被配置为执行第一合成应用程序，以便还基于其他因素，例如用于光学校正的显示设备中的光学装置的布置、用于视频透视(vst)滞后最小化的相机滞后等，对帧缓冲区数据进行后处理。[0088]通常，以位于100赫兹至1000赫兹范围内的频率驱动至少一个光源。当使用多个后处理的帧缓冲区数据驱动多个光源时，这样的频率范围可能更高。由于驱动至少一个光源是高优先级和计算量大的操作，因此极度占用的图形处理单元经常导致覆盖和上下文切换问题。根据本公开的实施例，采用多个图形处理单元来有效地使用多个图形处理单元而不是单个图形处理单元的计算资源，从而消除与仅使用单个图形处理单元相关联的图形处理单元覆盖问题。这还减少了通常由于单个图形处理单元上的同时多个任务的干扰而引起的上下文切换和开销问题。应当理解，采用第一图形处理单元(即，专用图形处理单元)来使用后处理的帧缓冲区数据驱动显示设备的至少一个光源。在这种情况下，存在大量的图形处理单元资源，并且以第一图形处理单元的最大效率绘制图像帧(具有最小的图形处理单元覆盖和上下文切换问题)。可选地，第一图形处理单元被配置为将图像帧(作为后处理的帧缓冲区数据)存储到与至少一个光源相关联的给定帧缓冲区中，其中，给定的帧缓冲区驱动至少一个光源以经由至少一个光源显示图像帧。[0089]可选地，当对帧缓冲区数据进行后处理时，第一图形处理单元被配置为执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。[0090]可选地，基于更新的显示设备的设备姿势，执行重新投影以修改对应于图像帧的帧缓冲区数据。换句话说，根据更新的设备姿势，以图像帧对应于更新的设备姿势的方式，在时间上重新投影和/或外推图像帧。作为示例，图像帧可以使用位于图像帧的右下区域中的一组像素来表示对象。设备姿势变化的速度可以指向左。当基于指示设备姿势和所述速度的信息对帧缓冲区数据进行后处理时，图像帧可以被重新投影(根据将位于设备姿势左侧的更新的设备姿势)，使得对象在图像帧中不再可见。可选地，使用投影矩阵执行重新投影。这样的重新投影技术在本领域是众所周知的。应当理解，重新投影(即，时间扭曲)最小化运动到光子的延迟，并显著增加帧速率(例如，从每秒40帧(fps)到90fps)。这改善了用户的观看体验。[0091]可选地，执行畸变校正以根据显示设备的至少一个光源和显示设备中的光学元件的特定配置来调整帧缓冲区数据。在一个示例中，可以执行镜头畸变校正以调整对应于帧缓冲区数据的视觉内容以适应显示设备中的至少一个光源和光学元件的设置。[0092]可选地，执行颜色校正以根据所需的白和黑电平、曝光值、对比度值和白平衡来调整帧缓冲区数据。这种颜色校正方式在随后产生的图像帧中提供了高颜色保真度，并在图像帧中模拟人类的视觉颜色感知。[0093]可选地，基于至少一个移动对象的预测运动，执行运动预测以移位视觉场景中所示的至少一个移动对象。可选地，当移位至少一个移动对象时，基于预测的运动来移位表示至少一个移动对象的像素的像素值。作为示例，可以以如下方式生成帧缓冲区数据：向上移动的移动对象将由图像帧中的给定像素组表示。在使用运动预测生成的后处理帧缓冲区数据中，给定像素组的后像素值可以向上移位特定单位(例如，15像素)。[0094]可选地，执行vst合成以使用帧缓冲区数据(由至少一个渲染应用生成)和至少一个相机图像帧合成(即，构建或生成)要在至少一个光源处显示的图像帧。vst合成至少包括与图像帧的生成有关的合成任务。[0095]可选地，执行三维(3d)重建以使用至少两个图像帧创建给定现实世界场景的3d数据模型。可选地，就这一点而言，给定图形处理单元被配置为采用至少一种图像处理技术。至少一种图像处理技术可选地是以下至少一种：图像拼接技术、图像合并技术、图像组合技术、图像分层技术、图像混合技术或类似技术。可选地，3d数据模型是以下之一：3d点云模型、3d三角网格模型、3d四边形网格模型、基于体素的模型、参数化模型、基于深度图的模型。还可以执行3d重建以使用至少两个图像帧在现实世界环境中创建给定对象的3d数据模型。[0096]可选地，执行图像增强以提高图像帧的质量。可以使用一种或多种图像增强操作来执行图像增强，例如图像锐化、图像增亮、图像裁剪、图像缩放、图像大小调整、图像平滑等。可选地，执行图像增强以将虚拟内容数字地叠加在图像帧的至少一部分上，以使用图像帧(特别地，对应于图像帧的帧缓冲区数据)产生xr图像帧。术语“虚拟内容”是指计算机生成的内容(即数字内容)。虚拟内容可以包括至少一个虚拟对象。至少一个虚拟对象的示例可以包括但不限于：虚拟导航工具(如虚拟地图，虚拟的方向标牌，等等)，虚拟小工具(如虚拟计算器，虚拟计算机，等等)、虚拟消息(例如虚拟即时消息、虚拟聊天对话、虚拟待办事项等)、虚拟实体(例如虚拟人、虚拟动物、虚拟幽灵等)、虚拟娱乐媒体(例如虚拟绘画、虚拟视频、虚拟交互式广告等)、虚拟车辆或其部分(例如虚拟汽车、虚拟座舱等)以及虚拟信息(例如虚拟新闻描述、虚拟公告、虚拟数据等)。[0097]可选地，执行修复以重建(即，恢复或填充)与图像帧相对应的帧缓冲区数据中丢失和/或消除的视觉信息。视觉信息可能丢失和/或被消除，因为视觉信息可能没有被至少一个相机捕获到，或者可能被捕获到模糊的视觉细节等。应当理解，通过执行修复，丢失和/或被消除的视觉信息将被准确地重建，以表示与图像帧相对应的整个帧缓冲区数据中的视觉信息。以这种方式，如此产生的图像帧在图像数据方面将是沉浸式的、逼真的和丰富的(因为图像数据现在将可用于整个图像帧)。修复操作在本领域是众所周知的。可选地，当执行修复时，给定图形处理单元被配置为采用至少一种修复算法。可选地，至少一种修复算法是以下至少一种：快速频率选择重建(fsr)算法、快速行进法(fmm)算法、基于navier stokes(ns)的修复算法、基于相干传输的修复算法、基于示例的修复算法、criminisi算法、基于组的稀疏表示(gsr)算法、面向压缩的基于边缘的修复算法、基于湮没滤波器的低秩hankel矩阵方法(aloha)算法、使用基于贴片的合成算法的图像融合。[0098]在一个实施例中，第一图形处理单元被配置为在对帧缓冲区数据进行后处理之前，执行第一合成应用程序，以将帧缓冲区数据从原始形式预处理为合成形式。帧缓冲区数据的原始形式是指帧缓冲区数据的可以具有较大的尺寸的非结构化形式，而帧缓冲区数据的合成形式是指帧缓冲区数据的具有比帧缓冲区数据的原始形式相对较小的尺寸的结构化形式。应当理解，当将帧缓冲区数据从原始形式预处理到合成形式时，帧缓冲区数据的进一步处理(即，后处理)将需要第一图形处理单元的最小计算资源和时间。这大大提高了第一图形处理单元的效率。[0099]在另一实施例中，第二图形处理单元被配置为在将帧缓冲区数据发送到第一图形处理单元之前，执行第二合成应用程序以将帧缓冲区数据从原始形式预处理为合成形式。“第二合成应用程序”也可称为“应用程序合成器”。应当理解，与将帧缓冲区数据的原始形式发送到第一图形处理单元相比，以最小的延迟和/或衰减将帧缓冲区数据的合成形式发送到第一图形处理单元。这是因为与帧缓冲区数据的原始形式相比，帧缓冲区数据的合成形式结构化程度更高，尺寸更小。当第二图形处理单元执行多个渲染应用程序，并且要从第二图形处理单元发送到第一图形处理单元的帧缓冲区数据量相当大时，这是特别有益的。[0100]可选地，第二图形处理单元被配置为在将帧缓冲区数据发送到第一图形处理单元之前，至少基于设备姿势和设备姿势改变的速度和/或加速度，执行第二合成应用程序以对帧缓冲区数据进行后处理。在一些实施方式中，帧缓冲区数据的后处理完全由第一图形处理单元完成。在其他实施方式中，帧缓冲区数据的后处理完全由第二图形处理单元完成。在又一实施方式中，帧缓冲区数据的后处理由第一图形处理单元和第二图形处理单元两者以共享的方式完成。在这种情况下，不能由第一图形处理单元执行的特定后处理操作将由第二图形处理单元执行。应当理解，可选地，第二图形处理单元进一步被配置为执行第二合成应用程序，以便基于其他因素，例如显示设备中的用于光学校正的光学装置的布置、用于视频透视(vst)滞后最小化的相机滞后等，对帧缓冲区数据进行后处理。[0101]可选地，当对帧缓冲区数据进行后处理时，第二图形处理单元被配置为执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。这里，第二图形处理单元的处理资源用于执行上述操作中的至少一个。以上已经详细描述了这些操作，并且如先前在描述中所讨论的，这些操作中的一些可以由第一图形处理单元执行，并且其他操作可以由第二图形处理单元执行。在一个示例中，当对帧缓冲区数据进行后处理时，第一图形处理单元可被配置为执行重新投影、畸变校正、运动预测和vst合成，而第二图形处理单元可被配置为执行图像增强和修复。[0102]本公开还涉及如上所描述的方法。上面公开的关于前述第一方面的各种实施例和变体比照适用于该方法。[0103]可选地，该方法进一步包括在将帧缓冲区数据发送到第一图形处理单元之前，在第二图形处理单元上执行第二合成应用程序，以将帧缓冲区数据从原始形式预处理为合成形式。[0104]可选地，该方法进一步包括在将帧缓冲区数据发送到第一图形处理单元之前，至少基于设备姿势和设备姿势改变的速度和/或加速度，在第二图形处理单元上执行第二合成应用程序，以对帧缓冲区数据进行后处理。[0105]可选地，在该方法中，对帧缓冲区数据进行后处理的步骤包括执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。[0106]可选地，该方法进一步包括在对帧缓冲区数据进行后处理之前，在第一图形处理单元上执行第一合成应用程序，以将帧缓冲区数据从原始形式预处理为合成形式。[0107]可选地，在该方法中，帧缓冲区数据包括以下至少一项：颜色数据、不透明度数据、深度数据、速度数据。[0108]可选地，在该方法中，对帧缓冲区数据进行后处理的步骤包括执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。[0109]本公开还涉及如上所描述的显示设备。上面公开的关于前述第一方面和前述第二方面的各种实施例和变型比照适用于该显示设备。[0110]可选地，在显示系统中，第二图形处理单元被配置为在将帧缓冲区数据发送到第一图形处理单元之前，执行第二合成应用程序以将帧缓冲区数据从原始形式预处理为合成形式。[0111]可选地，在显示系统中，第二图形处理单元被配置为在将帧缓冲区数据发送到第一图形处理单元之前，至少基于设备姿势和设备姿势改变的速度和/或加速度，执行第二合成应用程序以对帧缓冲区数据进行后处理。[0112]可选地，在显示系统中，当对帧缓冲区数据进行后处理时，第二图形处理单元被配置为执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。[0113]可选地，在显示系统中，第一图形处理单元被配置为在对帧缓冲区数据进行后处理之前，执行第一合成应用程序，以将帧缓冲区数据从原始形式预处理为合成形式。[0114]可选地，在显示系统中，显示设备包括第一图形处理单元，而第二图形处理单元在显示设备外部，第一图形处理单元和第二图形处理单元以有线方式相互可通信地耦接。可选地，就这一点而言，第一图形处理单元具有比第二图形处理单元更少的图形处理资源。可选地，在可通信地耦接到显示设备的计算机中实施第二图形处理单元。应当理解，当第一图形处理单元和第二图形处理单元以有线方式相互可通信地耦接时，可以容易地在第一图形处理单元和第二图形处理单元之间传输大量数据(没有任何延迟/滞后)。[0115]可选地，在显示系统中，帧缓冲区数据包括以下至少一项：颜色数据、不透明度数据、深度数据、速度数据。[0116]可选地，在显示系统中，当对帧缓冲区数据进行后处理时，第一图形处理单元被配置为执行以下至少一项：重新投影、畸变校正、颜色校正、运动预测、视频透视合成、三维重建、图像增强、修复。[0117]附图的具体描述[0118]参考图1，示出了根据本公开的实施例的用于产生用于在显示设备102上显示的图像帧的系统100的架构的框图。系统100包括多个图形处理单元，多个图形处理单元包括相互可通信地耦接的第一图形处理单元104和第二图形处理单元106，以及可通信地耦接到第二图形处理单元106的姿势跟踪装置108。显示设备102包括至少一个光源(描绘为光源110)。第一图形处理单元104可通信地耦接到光源110。[0119]参考图2，示出了根据本公开的实施例的显示系统200的架构的框图。显示系统200包括：显示设备202，显示设备202包括至少一个光源(描绘为光源204)；多个图形处理单元，多个图形处理单元包括相互可通信地耦接的第一图形处理单元206和第二图形处理单元208，以及可通信地耦接到第二图形处理单元208的姿势跟踪装置210。第一图形处理单元206可通信地耦接到光源204。[0120]参考图3a，示出了根据本公开的实施例的实施第一图形处理单元302和第二图形处理单元304的第一示例性场景。这里，第二图形处理单元304被配置为执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据，而第一图形处理单元302被配置为对帧缓冲区数据进行预处理，对帧缓冲区数据进行后处理，以及驱动显示设备(未示出)的至少一个光源(未示出)，以显示图像帧。第二图形处理单元304的时间上的资源利用由3个长矩形条306(对应于执行至少一个渲染应用程序以生成帧缓冲区数据)来描绘。此外，第一图形处理单元302的时间上的资源利用由3个短矩形条308(对应于预处理)和18个小矩形条310(对应于后处理并驱动至少一个光源)来描绘。这里，虚线矩形框描绘第一图形处理单元302的用于执行多个图形处理任务的同时资源利用。对应于虚线矩形框的时刻与高的图形处理负载相关联。在该示例性场景中，在第一图形处理单元302和第二图形处理单元304两者之间有效地分担该高图形处理负载。[0121]参考图3b，示出了根据本公开的另一实施例的实施第一图形处理单元302和第二图形处理单元304的第二示例性场景。这里，第二图形处理单元304被配置为执行至少一个渲染应用程序以生成对应于图像帧的帧缓冲区数据，并对帧缓冲区数据进行预处理，而第一图形处理单元302被配置为对帧缓冲区数据进行后处理，以及驱动显示设备(未示出)的至少一个光源(未示出)，以显示图像帧。第二图形处理单元304的时间上的资源利用由3个长矩形条306(对应于执行至少一个渲染应用程序以生成帧缓冲区数据)和3个短矩形条308(对应于预处理)来描绘。此外，第一图形处理单元302的时间上的资源利用由18个小矩形条310(对应于后处理和驱动至少一个光源)来描绘。这里，虚线矩形框描绘第二图形处理单元304的用于执行多个图形处理任务的同时资源利用。对应于虚线矩形框的时刻与高图形处理负载相关联。在该示例性场景中，在第一图形处理单元302和第二图形处理单元304两者之间有效地分担该高图形处理负载。[0122]参考图4，示出了根据本公开的实施例的用于产生用于在显示设备上显示的图像帧的方法的步骤。该方法由多个图形处理单元实施，多个图形处理单元包括彼此可通信地耦接的第一图形处理单元和第二图形处理单元。在步骤402，在第二图形处理单元处理从姿势跟踪装置获得的姿势跟踪数据，以确定显示设备的设备姿势和设备姿势改变的速度和/或加速度。在步骤404，基于设备姿势，在第二图形处理单元上执行至少一个渲染应用程序，以生成对应于图像帧的帧缓冲区数据。在步骤406，从第二图形处理单元向第一图形处理单元发送帧缓冲区数据和指示设备姿势以及设备姿势改变的速度和/或加速度的信息。在步骤408，至少基于所述信息，在第一图形处理单元上执行第一合成应用程序，以对帧缓冲区数据进行后处理。在步骤410，使用后处理的帧缓冲区数据驱动显示设备的至少一个光源，以显示图像帧。[0123]步骤402、404、406、408和410仅是说明性的，并且还可以提供其他替代方案，其中添加一个或多个步骤，删除一个或多个步骤，或者以不同的顺序提供一个或多个步骤，而不脱离本文权利要求的范围。[0124]在不脱离由所附权利要求限定的本公开的范围的情况下，对前述所描述的本公开的实施例的修改是可能的。用于描述和要求保护本公开的诸如“包括”、“包含”、“结合”、“具有”、“是”的表达式旨在以非排他性的方式解释，即允许还存在未明确描述的项目、部件或元件。对单数的引用也应被解释为涉及复数。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!