图像处理设备、图像处理方法、摄像装置、图像处理系统与流程

计算;推算;计数设备的制造及其应用技术1.本公开涉及图像处理设备、图像处理方法、摄像装置、图像处理系统。背景技术：2.在现有技术中，在所有方向上拍摄图像的摄像装置执行的处理是，使用多个广角透镜(或鱼眼透镜)来拍摄多个图像，并校正多个图像的失真和转换多个图像的投影，以及拼接由各个透镜拍摄的部分图像以提供球面图像。作为拼接图像的处理，已知一种技术是对部分图像的重叠区域使用图案匹配法等来检测被拍摄的物体的图像彼此重叠的位置并拼接图像。3.在某些情况下，当开发了新的图像处理技术时，期望随后将图像校正处理应用于现存图像。还存在有期望根据摄像元件或光学系统(透镜等)的特性来执行的图像校正处理。4.然而，在图像被拼接一次之后，现有技术的系统不能在拍摄期间简单地应用关于光学系统或摄像元件的信息，并因此而不能从图像来适当地应用取决于摄像元件或光学系统的图像校正技术。期望一种保存拼接之后的图像和拼接之前的图像的方法。然而，这需要过多的存储容量，就可能增加成本。5.jp-2003-199034-a公开了一种存储用于形成全景图像的多个静止图像的方法。jp-2003-199034-a公开了将多个静止图像存储在存储器中，并且计算当前图像与存储在存储器中的先前图像之间的全景参数，并将全景参数存储在存储器中。然而，jp-2003-199034-a既没有公开将使用多个光学系统和与光学系统相对应的多个摄像元件来拍摄的多个图像拼接在一起以创建一个图像，也没有公开图像拼接在一起之后应用取决于例如摄像元件或光学系统等的摄像单元的图像校正技术。6.引文列表7.专利文献8.[专利文献1]jp-2003-199034-a技术实现要素：[0009]技术问题[0010]本公开是鉴于上述问题而做出的，本公开的目的是提供一种能够将对应于多个摄像单元的图像校正技术应用于使用多个摄像单元拍摄的图像上的图像处理设备。[0011]解决问题的方案[0012]为了解决上述缺点，本公开提供了本公开的实施方式所涉及的具有以下特征的图像处理设备。该图像处理设备包括判定装置，其判定用于拍摄合成图像中的至少一个特定部分的摄像单元，在所述合成图像中，使用第一摄像单元拍摄的第一部分图像和使用第二摄像单元拍摄的第二部分图像被拼接在一起。该图像处理设备还包括校正装置，其基于所述判定装置的判定结果对所述合成图像应用图像校正。[0013]本发明的效果[0014]通过上述构成，对应于多个摄像单元的图像校正技术能够应用于由多个摄像单元拍摄的图像。附图说明[0015]附图旨在记述本发明的示例性实施方式，而不应被解释为限制其范围。除非明确指出，否则附图不应被视为按比例绘制。另外，在所有附图中，相同或相似的附图标记表示相同或相似的部件。[0016]图1所示是实施方式所涉及的全景相机的剖视图。[0017]图2a所示是本实施方式所涉及的全景相机的硬件构成图。[0018]图2b所示是另一实施方式所涉及的用户终端装置的硬件构成图。[0019]图3所示是本实施方式所涉及的全景相机的图像处理路径的示意图。[0020]图4a和图4b所示是与本实施方式所涉及的全景相机中执行的图像拼接处理和随后的图像校正处理有关的主要功能块。[0021]图5a和图5b所示是本实施方式所涉及的全景相机中的投影关系。[0022]图6a和图6b所示是实施方式中使用的等距圆柱投影图像(球面图像)格式的图像数据的数据构造。[0023]图7a和图7b所示是本实施方式所涉及的由位置检测失真校正单元和图像合成失真校正单元参照的转换数据。[0024]图8所示是在本实施方式所涉及的位置检测处理中由两个鱼眼透镜拍摄的部分图像对球面坐标系统的映射。[0025]图9所示是本实施方式所涉及的模板生成单元生成模板图像的方法。[0026]图10所示是本实施方式所涉及的拼接位置检测结果的数据构造。[0027]图11所示是在本实施方式所涉及的图像合成处理中由两个鱼眼透镜拍摄的部分图像对球面坐标系统的映射。[0028]图12a和图12b所示是本实施方式所涉及的与图像数据相关联地存储在图像存储部中的拼接信息。[0029]图13a、图13b和图13c所示是本实施方式所涉及的使用校正表的图像校正方法。[0030]图14所示是本实施方式所涉及的由全景相机执行的事后的图像校正处理的流程图。[0031]图15a所示是本实施方式所涉及的由全景相机执行的坐标转换处理的流程图。[0032]图15b所示是本实施方式所涉及的由全景相机执行的坐标转换处理的流程图。[0033]图16所示是没有进行天顶校正时由本实施方式的全景相机执行的旋转转换。[0034]图17所示是进行天顶校正时由本实施方式的全景相机执行的旋转转换。[0035]图18所示是由本实施方式的全景相机执行的拼接转换。[0036]图19所示是由本实施方式所涉及的全景相机执行的对拼接前图像的判定处理。[0037]图20a和图20b所示是由本实施方式所涉及的全景相机执行的对拼接之前图像的坐标值的获取处理。[0038]图21a和图21b所示是由本实施方式所涉及的全景相机执行的坐标值校正处理。[0039]图22a和图22b所示是由本实施方式所涉及的全景相机执行的像素值获取和像素值校正的实际的处理。[0040]图23所示是由本实施方式所涉及的全景相机执行的事后的环境光强度校正处理的流程图。[0041]图24a至图24e所示是特定的实施方式所涉及的当图像校正是环境光强度校正时的处理。[0042]图25所示是由本实施方式所涉及的全景相机执行的事后的模糊校正处理的流程图。[0043]图26a至图26d所示是卷帘快门在模糊校正中的影响。[0044]图27a和图27b所示是特定的实施方式所涉及的当图像校正是考虑卷帘快门的模糊校正时的处理。[0045]图28所示是根据特定的实施方式记录的转换信息的格式的一例。[0046]图29所示是本实施方式所涉及的与图像校正处理有关的表依存关系的图。[0047]图30所示是本实施方式所涉及的再次执行图像校正时的表依存关系的图。[0048]图31所示是本实施方式所涉及的事后的图像校正处理的流程的概要图。具体实施方式[0049]以下，对实施方式进行说明，但实施方式并不限定于以下说明的实施方式。如本文所使用的，单数形式"一"、"一个"和"该"旨在也包括复数形式，除非上下文另有明确说明。在记述附图所示的实施方式时，为了清楚起见采用了特定词。然而，本说明书的公开内容并不旨在限于所选择的特定词，并且应当理解为，每个特定要素包括具有类似功能、以类似方式操作并且实现类似结果的所有技术等同物。以下使用包括两个鱼眼透镜(广角透镜)的全景相机110作为图像处理设备、图像处理系统和摄像装置的示例来说明实施方式。虽然在下面的实施方式中使用两个鱼眼透镜，但是可以使用三个或更多个鱼眼透镜。[0050]全景相机的构成[0051]参照图1和图2说明本实施方式所涉及的全景相机110的全体构成。图1所示是本实施方式所涉及的全景相机110的剖视图。图1所示的全景相机110包括摄像设备12、保持摄像设备12和例如控制器及电池等的组件的壳体14，以及设置在壳体14上的操作按钮18。[0052]图1所示的摄像设备12具有两个成像光学系统20a、20b以及两个摄像元件22a、22b。摄像元件22a和22b是电荷连接器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器。成像光学系统20a和20b均包括例如鱼眼透镜，该鱼眼透镜包括六组中的七个透镜。根据图1所示的实施例，鱼眼透镜具有大于180度(＝360/n度，其中n是光学系统的数量，并且在这种情况下，n＝2)的全视角，并且优选地具有190度或更大的视角。这样的广角成像光学系统20a和20b中的一个和这样的摄像元件22a和22b中的对应的一个的合成被称为广角摄像光学系统。[0053]两个成像光学系统20a和20b的光学元件(透镜、棱镜、滤光器和孔径光阑)相对于摄像元件22a和22b的位置被判定。成像光学系统20a和20b的光学元件的位置均被判定为使得成像光学系统20a或20b的光轴与摄像元件22a和22b中对应的一个的受光区域的中心正交，并且使得受光区域限定对应的鱼眼透镜的成像面。[0054]在图1所示的实施方式中，成像光学系统20a和20b具有相同的规格。成像光学系统20a和20b被合成成彼此朝向相反，使得成像光学系统20a和20b的光轴彼此一致。摄像元件22a和22b都将接收到的光的分布转换为图像信号，并且顺序地将图像帧输出到控制器上的图像处理块。详细将在后面说明，但是由摄像元件22a和22b拍摄的图像被合成为具有4π球面度的立体角的图像(以下称为"球面图像")。通过拍摄从摄像地点能够看到的所有方向上的图像来获得球面图像。在这里说明的实施方式中，是生成了球面图像，然而，可以生成通过拍摄360度的水平平面中的图像而获得的全景图像。或者，可以使用通过拍摄球体的整个区域的一部分或360度水平平面的一部分而获得的图像。球面图像可以被作为静止图像来保存，或者作为动画来保存。[0055]图2a所示是本实施方式所涉及的全景相机110的硬件构成图。全景相机110包括中央处理单元(cpu)112、只读存储器(rom)114、图像处理块116、动画压缩块118、经由dram接口120连接的动态随机存取存储器(dram)132、以及经由外部传感器接口124(可被称为传感器接口)连接的加速度传感器136和陀螺仪传感器137，它们经由总线142来连接。[0056]cpu112控制全景相机110的各部的动作和整体的动作。rom114存储可由cpu112解释的代码所记述的控制程序和各种参数。图像处理块116与两个摄像元件130a和130b(对应于图1中的摄像元件22a和22b)连接，并且接收由摄像元件130a和130b拍摄和输入的图像的图像信号。图像处理块116包括图像信号处理器(isp)等，并且对从摄像元件130a和130b输入的图像信号执行阴影校正、拜耳插值、白平衡校正、伽马校正等。图像处理块116进一步合成从摄像元件130a和130b获取的多个图像，并由此来生成上述球面图像。[0057]动画压缩块118是对例如动态图象专家组-4(mpeg-4)avc/h.264所涉及的动画进行压缩和解压缩的编译码器块。动画压缩块118用于生成所生成的球面图像的动画数据。静止图像压缩块119是对例如联合图像专家组(jpeg)或标记图像文件格式(tiff)所涉及静止图像进行压缩和解压缩的编译码器块。静止图像压缩块119用于生成所生成的球面图像的静止图像数据。dram132在执行各种信号处理和图像处理时，提供存储区域来临时存储数据。加速度传感器136检测三个轴的加速度分量。加速度分量用于检测垂直方向来对球面图像执行天顶校正。陀螺仪传感器137检测三个轴的角速度分量。角速度分量用于检测全景相机110的移动来校正模糊。当全景相机110以加速度来移动时，由于加速度传感器136不检测垂直方向，因此也使用陀螺仪传感器137的数据来检测垂直方向。[0058]全景相机110还包括外部存储器接口122、通用串行总线(usb)接口126、串行块128和视频输出接口129。外部存储器134与外部存储器接口122连接。外部存储器接口122对于诸如插入到存储器卡槽中的存储器卡的外部存储器134进行读取和写入的控制。为了简单起见，外部存储器134被显示在全景相机110内，但是外部存储器134可以从全景相机110移除。[0059]usb连接器138与usb接口126连接。usb接口126控制与经由usb连接器138连接的诸如个人计算机(pc)的外部装置的usb通信。串行块128控制与诸如pc之类的外部装置的串行通信。无线模块140与串行块128连接。视频输出接口129是与诸如高清晰多媒体接口(hdmi，注册商标)的外部显示器连接的接口。视频输出接口129可以将拍摄的图像作为视频输出到外部显示器等。[0060]当电源通过电源开关的操作被接通时，上述控制程序被加载到主存储器中。cpu112根据加载到主存储器的程序来控制装置各部的动作，并将控制所需的数据暂时存储在存储器中。由此，来执行全景相机110的各功能单元和处理(后述)。[0061]包括图像拼接处理和后续图像校正处理的全体处理的流程下面参照图3来说明全景相机110的图像拼接处理和随后的图像校正处理。图3所示是实施方式所涉及的全景相机的图像处理流程的示意图。[0062]在部分图像获取处理210中，全景相机110控制两个摄像元件130a和130b来依次拍摄连续帧的图像。由摄像元件130a和130b分别拍摄的图像是将球(全方位)的大致半球部分收纳在视野内的鱼眼图像，并构成球面图像的部分的图像。以下，将由各摄像元件130a和130b拍摄到的各帧的图像称为部分图像。[0063]执行检测两个所获取的部分图像之间的拼接位置的拼接位置检测处理220。在拼接位置检测处理220中，对于每一帧执行检测重叠区域中的多个对应点的各自的位置偏移量的处理，以生成拼接位置检测结果。该重叠区域存在于多个部分图像之间。[0064]在拼接位置检测处理220之后，执行倾斜检测处理230。在倾斜检测处理230中，全景相机110控制图2a所示的加速度传感器136和陀螺仪传感器137，来检测全景相机110相对于预定参照方向的倾斜。预定参照方向典型的是重力加速度所作用的垂直方向。在倾斜检测处理230中，对每一帧来测量加速度传感器136的三个轴的各个的加速度分量和陀螺仪传感器137的三个轴的各个的角速度分量，以生成倾斜检测结果。[0065]在拼接位置检测处理220中获得的拼接位置检测结果和在倾斜检测处理230中获得的倾斜检测结果构成用于合成每帧的多个部分图像的拼接参数240。[0066]全景相机110随后基于所获得的拼接参数240执行拼接处理250来拼接在部分图像获取处理210中获取的两个部分图像。在拼接处理250中，多个部分图像的位置基于拼接位置检测结果在拼接位置处对齐，并且基于倾斜检测结果来执行天顶校正。因此，在部分图像获取处理210中获取的两个部分图像被合成以生成球面图像。在三个或更多个鱼眼透镜的情况下，合成三个或更多个部分图像以生成球面图像。[0067]由于检测拼接位置和倾斜是对每一帧来检测的，因此拼接参数240是针对每一帧来动态地更新的。拼接处理通过应用反映了这些检测结果的拼接参数240来对每一帧执行的。因此，即使全景相机110的倾斜或朝向改变时或者位于重叠区域附近的被摄体在拍摄期间移动时，也能够以已经适当地应用了天顶校正和拼接校正的状态来生成输出图像。[0068]在完成拼接处理250之后，全景相机110执行数据输出处理260，以将各帧依次保存到图像存储部270中，并在全景相机110所包括的显示器上提供监视器显示，或者从全景相机110向外部用户终端装置输出数据，并且基于输出图像在外部用户终端装置所包括的显示器上提供监视器显示。[0069]在监视器显示中，输出数据上的图像被显示到包括在全景相机110中的显示器上或包括在外部用户终端装置中的显示器上。对于监视器显示，既可以在没有改变的情况下显示球面图像，也可以通过以预定视角投影球面图像来生成图像(可以从球面图像以指定的视角来提取的图像)并且可以显示所生成的图像。[0070]此外，对于存储在图像存储部270中的拼接后球面图像，可以在图像校正处理280中事后地应用图像校正。这将在后面详细记述。[0071]图像拼接处理的详细说明[0072]下面参照图4a和图4b至图11来说明图像拼接处理的详细情况。图4a和图4b所示是在本实施方式所涉及的全景相机110中实现的主要功能块。如图4a和图4b所示，本实施方式所涉及的图像处理块300包括位置检测失真校正单元302、拼接位置检测单元304、表校正单元306、表生成单元308、倾斜检测单元310、图像合成失真校正单元312和图像合成单元314。[0073]投影方法在将各种图像信号处理应用于两个部分图像之后，图像处理块300对于每一帧接收从两个摄像元件130a和130b输入的两个部分图像。在这种情况下，将以摄像元件130a为源来获得的帧的图像称为"部分图像0"，并将以摄像元件130b为源来获得的帧的图像称为"部分图像1"。基于例如每个摄像元件130a和130b的透镜光学系统的设计数据，图像处理块300还包括由制造商等根据预定的投影模型来预先创建的位置检测转换表330。[0074]位置检测失真校正单元302使用位置检测转换表330对输入的部分图像0、1应用失真校正，来生成位置检测校正图像(以下，有时仅称为校正图像)0和位置检测校正图像1。所输入的部分图像0和1是在平面坐标系(x，y)中表示的图像数据。与此相对地，使用位置检测转换表330进行失真校正后的校正图像是用球面坐标系(具有径向量为1、两个振幅为θ、φ的极坐标系)来表示的等距圆柱投影图像数据。[0075]图5a和图5b所示是实施方式所涉及的全景相机110中的投影关系。由一个鱼眼透镜拍摄的图像是从拍摄地点沿大致半球部分的方向拍摄的图像。如图5a所示，鱼眼透镜以对应于光轴的入射角φ的像高h来生成图像。像高h和入射角φ之间的关系由对应于预定投影模型的投影函数来判定。这里说明的实施方式采用的是具有比图像对角线小的像圈(imagecircle)直径的所谓圆形鱼眼透镜的构成。如图5b所示，获得的部分图像是包括被投影的拍摄范围的大致半球部分的整个像圈的平面图像。[0076]图6a和图6b所示是本实施方式中使用的等距圆柱投影图像数据的数据构造图。如图6a和图6b所示，等距圆柱投影图像数据被表示为具有与相对于预定轴的角度相对应的垂直角φ和与围绕该轴的旋转角相对应的水平角θ的坐标的像素值的阵列。坐标值(θ，φ)与表示以拍摄地点为中心的所有方向的球面上的每个点相关联，并且所有方向被映射在等距圆柱投影图像上。[0077]图7a和图7b所示是本实施方式所涉及的位置检测失真校正单元302参照的转换数据图。转换表330决定从平面坐标系表现的部分图像向球坐标系表现的图像的投影。如图7a和图7b所示，对每个鱼眼透镜的全坐标值(θ，φ)，转换表330保持将校正后图像的坐标值(θ，φ)与要映射到该坐标值(θ，φ)的校正之前的部分图像的坐标值(x，y)相关联的信息。在图7a和图7b的示例中，分配给一个像素的角度在φ方向和θ方向上都是1/10度。转换表对每个鱼眼透镜都具有表示3600×1800的对应关系的信息。在拼接位置检测中使用的位置检测转换表330是对关于理想的镜片模型的失真进行校正之后预先计算的，并由制造商等配置在表中。[0078]拼接位置检测[0079]图8所示是在本实施方式所涉及的位置检测处理中由鱼眼透镜拍摄的部分图像对球面坐标系统的映射图。作为位置检测失真校正单元302的处理结果，由鱼眼透镜拍摄的两个部分图像0和1如图8所示地被展开为球面图像格式。由鱼眼透镜0拍摄的部分图像0典型的是被映射在球的大致上半球部分上，由鱼眼透镜1拍摄的部分图像1典型的是被映射在球体的大致下半球部分上。由于鱼眼透镜具有超过180度的全视角，以球面格式表示的校正图像0和校正图像1从它们的半球部分突出。其结果是，当校正图像0和校正图像1彼此重叠时，会产生图像的拍摄范围彼此重叠的重叠区域。[0080]拼接位置检测单元304接收由位置检测失真校正单元302转换的校正图像0和1的输入，并通过图案匹配处理来检测输入的校正图像0和1之间的拼接位置，并生成拼接位置检测结果332。如图8所示，本实施方式所涉及的位置检测转换表330被创建为，两个透镜光学系统的光轴被投影到球面的两个极点上，并且图像之间的重叠区域被投影到球面的赤道附近的位置处。在球面坐标系统中，朝着垂直角度φ为0度或180度的极点，失真增大，并且拼接位置检测精度劣化。与此相对地，通过采用上述投影，能够增加拼接位置检测精度。图8所示是由两个鱼眼透镜拍摄的两个部分图像对球面坐标系的映射，然而，可以使用三个或更多个鱼眼透镜。[0081]图9所示是本实施方式所涉及的拼接位置检测处理。在本实施方式中，模板用图像500是位置检测校正图像1的重叠区域的一部分的图像，检索用图像510是位置检测校正图像0的重叠区域的一部分的图像。当假设以指定尺寸w和指定生成间隔step来生成模板图像时，以图9所示的方式来生成多个模板图像502-1至502-#(例如，502-1至502-6)。[0082]对于所生成的多个模板图像502-1至502-#，通过模板匹配在预定的检索范围512内检索检索用图像510上的对应部分514。对于模板图像502-1至502-#的每一个，来检测从参照位置开始的具有最大匹配得分的位置的偏移量。[0083]拼接参数图10所示是本实施方式所涉及的拼接位置检测结果的数据构造。如图10所示，基于拼接位置检测处理，生成对全坐标值来保持信息的数据，该信息是使偏移量(δθ，δφ)与转换后的各坐标值相关联的信息。此时，将通过拼接位置检测获得的每个模板块的偏移量(δθi，δφi)设置为模板块的中心坐标的值，并且对与坐标值(θ，φ)相对应的偏移量(δθ，δφ)进行插值以计算拼接位置数据。[0084]表校正单元306根据拼接位置检测结果332来校正所准备的位置检测转换表330，并将校正后的位置检测转换表330提供给表生成单元308。如图10所示，由于是通过拼接位置检测来获得球面图像格式的每个坐标值的偏移量，在用于对部分图像0的失真校正的检测失真校正表0中，表校正单元306将校正之前已经与(θ+δθ，φ+δφ)相关联的(x，y)与输入坐标值(θ，φ)相关联地对校正过的位置检测转换表330进行校正。另外，对于用于部分图像1的失真校正的检测失真校正表1不需要改变关联。[0085]表生成单元308基于旋转坐标转换，从由表校正单元306校正的转换数据来生成图像合成转换表336。此时，可以基于由倾斜检测单元310生成的倾斜检测结果334通过反映倾斜校正来生成图像合成转换表336。[0086]如此，就对于每帧来地检测拼接位置，并更新图像合成转换表336。由位置检测失真校正单元302、拼接位置检测单元304、表校正单元306以及表生成单元308执行的处理对应于图3所示的拼接位置检测处理220。由倾斜检测单元310执行的处理对应于倾斜检测处理230。图像合成转换表336对应于拼接参数240。[0087]图像合成失真校正单元312使用图像合成转换表336作为图像合成处理之前的处理来对部分图像0和部分图像1应用失真校正，以生成图像合成校正图像0和图像合成校正图像1。所生成的图像合成校正图像0、1与位置检测校正图像同样地以球面坐标系来表现，但是，通过上述旋转坐标变换，具有与位置检测校正图像的坐标轴的定义为不同的定义的坐标轴。图像合成单元314合成所获得的图像合成校正图像0和图像合成校正图像1，以生成球面图像(等距圆柱投影图像)格式的合成图像的帧。[0088]图11所示是在本实施方式所涉及的图像合成处理中由鱼眼透镜拍摄的部分图像对球面坐标系统的映射。通过上述旋转坐标转换，如图8所示的基于透镜光学系统之一的光轴的水平角度和垂直角度的坐标轴的定义被转换成如图11所示的基于垂直于光轴的轴的水平角度和垂直角度的坐标轴的定义。作为图像合成失真校正单元312的处理结果，由鱼眼透镜拍摄的两个部分图像0和1被展开为如图11所示的球面图像(等距圆柱投影图像)格式。由鱼眼透镜0拍摄的部分图像0典型的是被映射在球的大致左半球部分上，由鱼眼透镜1拍摄的部分图像1典型的是被映射在球体的大致右半球部分上。虽然图11所示是由两个鱼眼透镜拍摄的两个部分图像对球面坐标系的映射，但是在三个或更多个鱼眼透镜的情况下，合成三个或更多个部分图像以生成球面图像。[0089]基于图像合成转换表336来执行拼接处理。由图像合成失真校正单元312和图像合成单元314执行的处理对应于图3所示的拼接处理250。[0090]显示、保存[0091]图4a和图4b所示的图像处理块300还可以包括监视图像生成单元322。如上所述地生成的合成图像以球面图像格式来表现。因此，当合成图像没有变化地显示在诸如显示器的平面显示设备上时，朝着0度和180度的垂直角度，图像显示有更大的失真。根据理想的的实施方式，可以执行用于在平面显示设备上投影球面图像的图像处理。[0092]监视图像生成单元322执行的处理是，将球面图像形式的合成图像从球面坐标系依次转换为特定视角的特定方向的平面坐标系，来投影到由使用者指定的特定视野方向的一定视角的图像上。因此，观看者可以监视与在预定视点和预定视野中进行观察的情况相对应的图像。[0093]在以上说明中，已经记述了在拍摄之前或在拍摄期间的监视图像显示。或者，可以生成由上述图像处理路径生成的球面图像的静止图像，或者可以通过压缩包括球面图像的多个帧的一系列图像来生成动画，并且可以保存静止图像或动画的图像数据。[0094]如图4a和图4b所示，本实施方式所涉及的图像处理块300还包括图像存储部270。图像存储部270将球面图像的静止图像或动画作为图像数据来保存。在静止图像的情况下，静止图像压缩块119可以将静止图像压缩成诸如jpeg或tiff之类的静止图像格式的图像数据。在动画的情况下，动画压缩块118可以将动画压缩成诸如mpeg-4avc/h.264的动画格式的图像数据。然后，可以将压缩图像存储在图像存储部270中。图像存储部270例如由外部存储器134的存储区域来提供。[0095]上面已经说明了对使用全景相机110中的多个鱼眼透镜和多个摄像元件的组合来拍摄的部分图像进行拼接以生成球面图像并存储该图像的处理。[0096]特别地，在以上说明中，已经说明了使用全景相机110的内部资源来对图像执行拼接处理的情况。可替换地，也可以使用与全景相机110的内部资源不同的外部资源(例如，诸如pc的外部用户终端装置)来对图像执行拼接处理。[0097]在全景相机110中执行拼接处理时，使用全景相机110的资源(cpu112、gpu等)执行拼接处理，并且如上所述地保存应用了拼接处理的图像。与此相对地，在全景相机110的外部执行拼接处理时，已经由摄像元件130a和130b拍摄但尚未被拼接的图像(例如，部分图像)可以作为各图像或一个图像来保存。此时，将拍摄期间的光学信息作为元数据嵌入到图像中或作为分开的文件来保存。然后，基于拼接前图像(例如，部分图像)和拍摄期间的光学信息使用外部资源来执行拼接处理以生成拼接图像。[0098]当新的图像校正技术被开发时，在一些情况下，期望将新开发的图像校正技术应用于已经拍摄的图像。此时，已经在全景相机110外部执行了拼接处理时，由于拼接前图像数据和拍摄期间的光学信息被保持，在由外部用户终端装置执行的现有的拼接处理的中途，能够添加新的图像校正技术。[0099]然而，在全景相机110内部执行拼接处理时，已经拼接的图像已被保存，通常情况下，仅使用已保存的拼接后的图像，是难以对取决于诸如摄像元件或光学系统之类的摄像单元来应用图像校正技术的。即使在外部用户终端装置中执行拼接处理时，在执行一次拼接处理之后，拼接前图像和元数据也可能被删除。此外，在某些情况下，使用全景相机110的内部资源不能对拍摄的图像执行新的图像校正技术，或者即使能够执行新的图像校正技术，但处理时间的时间长度可能不足。特别地，例如拍摄动画时，在要求在预定时间的时间长度内完成每帧的处理的情况下，会难以实现新的图像校正技术。虽然可以采用保存拼接了的图像和还没有拼接的图像等两者的方法，然而，特别是在动画的情况下，存储容量可能不足。[0100]因此，期望提供一种能够将取决于摄像元件或光学系统的图像校正技术事后地应用于拼接后的球面图像的技术。[0101]本实施方式所涉及的全景相机110从拼接后的球面图像的坐标值来判定用于拍摄的摄像元件或光学系统，并基于判定结果来执行图像校正。以下，参照图4a和图4b、图12a和图12b～图31来更详细地说明本实施方式所涉及的在图像拼接处理之后执行的图像校正处理。[0102]在这里说明的实施方式中，当拼接之后的球面图像(静止图像或动画)数据存储到图像存储部270时，图像数据与在拼接处理中使用的信息(拼接信息)相关联并被存储，从而在事后适用图像校正。[0103]拼接信息[0104]参照图12a和图12b说明本实施方式所涉及的与图像数据相关联地存储在图像存储部270中的拼接信息。图12a所示是作为拼接信息的拼接表的数据构造。拼接表被配置为，将构成作为拼接后图像的球面图像(等距圆柱投影图像)的每个像素的坐标值，与拼接前图像(上述部分图像0和1)的坐标值以及作为参照图9和10说明的拼接位置检测处理结果的拼接位置相关联。通过多个摄像单元(摄像元件130a、130b和光学系统的组合)来拍摄拼接前图像。因此，关于图12a所示的拼接表的数据构造，添加识别信息的一项作为拼接前图像的信息，来识别哪个摄像元件已经拍摄图像(同时也识别对应的光学系统)。拼接表的内容相当于图4a和图4b所示的位置检测转换表330和拼接位置检测结果332的组合。[0105]图12a中所示的数据构造仅仅是示例。数据构造不限于如图12a和图12b所示的与双方的拼接前图像相对应的表中的数据构造，也可以为每个拼接前图像准备拼接表。如图12b所示，拼接表还用于允许从拼接后图像(由图中的矩形表示的等距圆柱投影图像)的坐标值来参照拼接前图像(由图中具有符号a和b的圆表示的鱼眼图像)的坐标值。拼接前图像的坐标值的参照方法是如图7a和图7b所说明的，省略冗余的说明。[0106]如图12a所示的拼接表以与全景相机110拍摄时的球面图像(静止图像或动画)相关联的方式被保存。例如，在静止图像的情况下，可以使用诸如可交换图像文件格式(exif)或tiff之类的现有的元数据格式来记录拼接表。在动画的情况下，可以使用诸如mpeg-4(mp4)part14之类的现有的收纳格式来记录拼接表，或者可以通过创建特定的元数据格式来记录拼接表。可替换地，拼接表可以被记录为与静止图像或动画的文件为不同的文件。[0107]在动画的情况下，期望对每帧记录拼接表。然而，关于依存于帧而不变化的信息(例如，拼接前图像的信息)，可以对于一个动画来保持一个表值，或者可以仅保持在帧之间变化的部分(拼接位置或差异)的信息。[0108]在以上说明中，仅将拼接信息与图像数据相关联地存储。然而，可以存储应用了天顶校正的球面图像。在这种情况下，也可以将天顶校正数据(对应于倾斜检测结果334的内容)作为与多个摄像单元的姿势变化相关的信息，与图像数据关联地存储到图像存储部270中。倾斜检测结果334也可以以类似于拼接表的方式与图像数据相关联地作为元数据来存储在图像存储部270中。[0109]如上所述，球面图像的图像数据与从由多个摄像单元拍摄的多个部分图像用于生成球面图像的转换表、应用于球面图像的坐标转换(旋转转换或对应于拼接位置检测结果的转换(拼接转换))的信息，以及多个摄像单元的姿态变化的信息所组成的组中选择的至少一条信息相关联并存储图像数据。[0110]如图4a和图4b所示，本实施方式所涉及的图像处理块300还包括图像校正处理单元350来将图像校正处理应用于拼接处理之后的图像。多个摄像单元可以在与摄像元件和光学系统的一方或双方相关的特性上具有差异。因此，图像校正处理单元350基于与图像数据相关联地存储的信息，来对拼接处理之后的球面图像应用取决于对应的摄像元件或光学系统的图像校正。[0111]更具体地，图4a和图4b所示的图像校正处理单元350包括图像输入单元352、坐标转换单元354、判定单元356和图像校正单元358。[0112]图像校正处理单元350从图像存储部270读取被保存的球面图像(静止图像或动画的每一帧)，并将球面图像输入到图像输入单元352。要输入到图像输入单元352的图像可以是通过对分别由摄像元件130a和130b拍摄的部分图像0和1应用失真校正并在每个区域的拼接位置处拼接校正后的部分图像0和1而获得的球面图像(合成图像)。图像校正处理单元350还读取拼接表和天顶校正数据。拼接表是关于用于拍摄球面图像的多个摄像单元的信息。图像校正处理单元350构成根据本实施例的图像输入机构和信息读取单元。[0113]图像校正单元358对输入的球面图像应用图像校正。虽然没有特别限制，但是图像校正可以包括对构成球面图像的像素的坐标校正和像素值校正中的一者或两者。像素值校正可以包括对构成球面图像的每个像素的独立的校正，以及取决于每个像素的周边像素的校正。[0114]坐标转换单元354执行坐标转换来容易地执行包括在上述图像校正中的坐标校正。坐标转换将输入的球面图像转换为符合存储在图像存储部270中的拼接表的状态的形式。如上所述，在这里记述说明的实施方式中，表示部分图像0覆盖上半部分、部分图像1覆盖下半部分以及重叠区域和拼接位置被转换到赤道上的位置检测转换表330的内容用作拼接表的表值。因此，是以基于图像合成转换表336生成的球面图像符合位置检测转换表330的状态的方式来执行坐标转换的。稍后将详细说明坐标转换。[0115]判定单元356判定用于拍摄球面图像中的多个部分中的每一个的摄像单元(以下，称为对应摄像单元)。可以对构成球面图像的每个像素进行判定。由上述坐标转换单元354进行的坐标转换以更容易地判定摄像单元的方式来执行。[0116]图像校正单元358基于对多个部分(例如，像素)中的每一个的对应摄像单元的判定结果来对球面图像应用图像校正。图像校正单元358可以优选地基于预先准备的数据来对所判定的对应摄像单元执行图像校正。可替换地，基于上述球面图像的多个部分(例如，像素)的坐标，或者与拼接表中的多个部分(例如，像素)中的每一个相关联的对应摄像单元中的像素位置，来执行图像校正。各部分的坐标变换后的坐标以及与该部分相关联的像素位置表示对应摄像单元中的光学位置。判定结果包括对应摄像单元的识别结果和对应摄像单元中的光学位置的特定的结果。图像校正单元358构成本实施方式所涉及的校正机构。[0117]根据特定的实施方式，作为上述图像校正的一种的坐标校正可以是模糊校正。在这种情况下，基于所判定的对应摄像单元和对应的拼接前图像的像素位置(光学位置)，以对应于帧内对光的曝光时间的差的校正量来执行坐标校正。[0118]根据另一特定的实施方式，作为上述图像校正的一种的像素值校正是光强度校正，基于所判定的对应摄像单元和对应的球面图像的坐标或拼接前图像中的像素位置，以对应于像高的校正量来执行。[0119]在优选的实施方式中，图像校正单元358在图像校正处理期间生成预定的校正表，并基于所生成的校正表对球面图像进行图像校正。图像校正单元358能够将对球面图像应用图像校正时生成的校正表与校正之后的图像数据相关联地输出，从而使得另一图像校正能够事后地应用到已经应用了图像校正的图像上。[0120]对于校正之后的图像(球面图像)的各坐标，校正表保持校正之前的图像(球面图像)的各坐标、用于指定校正方式的方式指定值、以及由该方式指定值指定的方式的校正的校正量。[0121]以下，参照图13a-图13c说明本实施方式的使用校正表的图像校正方法。图13a所示是用于从校正前图像生成校正后图像的校正表的数据构造。图13b所示是使用校正表的图像校正方法。如图13所示，对于校正后图像的坐标值，参照校正表，从校正前图像来获取对应坐标的坐标值(v0)，并且通过对像素值(v0)应用校正处理而获得的值用作校正后图像的像素值(v1)。在图13a所示的校正表中，对于校正后图像的坐标值来设置校正前图像的坐标值和校正方法。在这种情况下，校正方法是对校正前图像的像素值执行校正计算所需的信息。[0122]图13c所示是将作为校正模式的四则运算与用于指定四则运算的指定值相关联的表。值"1"、"2"、"3"和"4"分别被给予"加法"、"减法"、"乘法"和"除法"的校正模式。[0123]因此，如图13c所示地对校正模式设置四则运算时，图13a的校正表记述的是作为对校正后图像的坐标值(θa，φa)的校正，获取校正前图像的坐标值(θb，φb)的像素值(v0)，并且使用校正模式＝1(加法)和校正量(n)来校正像素值(v0)，即，v1＝f1(v0，n)＝v0+n用作校正后图像的坐标值(θa，φa)的像素值。[0124]以下，参照图13a-图13c～22来说明本实施方式的事后的图像校正处理的处理流程。在以下的说明中，作为球面图像格式使用的是通过等距圆柱投影方法来表示的图像(以下，称为等距圆柱投影图像)。在该说明中，对象是由全景相机110拍摄并保存在外部存储器134中的拼接后的静止图像或拼接后的动画，并且在全景相机110中执行本实施方式所涉及的的处理流程。可替换地，该处理流程也可以在例如用户终端装置等的全景相机110的外部的装置中执行(后述)。[0125]图14所示是本实施方式所涉及的使用全景相机110来执行的事后的图像校正处理的流程图。图14所示的处理响应于来自操作者的图像校正的应用的指令而从步骤s100开始。该指令指定待校正图像和图像校正的种类。[0126]在步骤s101中，全景相机110通过图像输入单元352从图像存储部270读取待校正图像和与拍摄待校正图像时使用的多个摄像单元有关的信息(拼接表和天顶校正数据)。[0127]在从步骤s102到步骤s111的循环中，对于构成校正之后的图像的每个像素执行从步骤s103到步骤s110的处理，直到完成对所有像素的处理。以下，将作为从步骤s103到步骤s110的处理的对象的来关注的校正后图像的像素称为待处理像素。[0128]在步骤s103中，全景相机110使用坐标转换单元354对待处理像素的坐标值应用第一坐标转换。第一坐标转换可包括基于各区域的拼接位置的旋转转换和拼接转换。[0129]参照图15a和图16～图18来更详细地说明第一坐标转换。图15a所示是第一坐标转换处理的流程图。图15a所示的第一坐标转换响应于图14所示的步骤s103中的调用而从步骤s200开始。[0130]在步骤s201中，全景相机110判定是否需要第一旋转转换。第一旋转转换是在球面坐标系中用于使拼接之后的等距圆柱投影图像的拼接位置(重叠区域)移动到赤道面上的旋转处理。如上所述，代之以图8所示的坐标系，为了用户容易观看，被保存的等距圆柱投影图像已经过旋转转换来成为图11所示的坐标系，或者进行也是旋转转换的天顶校正。因此，拼接位置(重叠区域)处于除球面的赤道之外的位置。如此，需要第一旋转转换的处理来抵消应用到输入的等距圆柱投影图像的坐标系上的旋转转换。在步骤s201中判定为需要第一旋转转换时(是)，处理分支到步骤s202，并且全景相机110将第一旋转转换应用于待处理像素的坐标值。[0131]参照图16和17来说明在步骤s202中执行的第一旋转转换的处理。[0132]图16所示是还没有应用天顶校正时的旋转转换图。参照图16，在等距圆柱投影图像上表现的图像区域a(灰色)表示来自于摄像元件130a(22a)的区域，图像区域b(白色)表示来自于摄像元件130b(22b)的区域。图16中的虚线表示当从两个摄像元件130a和130b获得的图像被拼接时的拼接位置。对每个待处理像素执行从步骤s103到步骤s110的处理，然而，可以不生成将旋转转换应用于所有像素的图像。图16示意性地表现当步骤s202中的旋转转换被应用于所有像素时期望获得的图像。这同样适用于具有相似表现的其他图。[0133]参照图16，当将球面坐标系中的等距圆柱投射图像400的坐标值转换为三维正交坐标系中的球面402上的坐标值时，并当坐标值在三维正交坐标系中围绕z轴旋转-90°时，拼接位置移动到球面404的赤道面上。然后，在三维正交坐标系中应用了旋转转换的球面404上的坐标值转换成球面坐标系统中的坐标值时，获得图像的上半部分用作图像区域a、图像的下半部分用作图像区域b，并且图像的垂直方向上的中心用作拼接位置(虚线)的等距圆柱投影图像406。[0134]图17所示是已经应用了天顶校正时的旋转转换图。图17与图16的不同之处在于，天顶校正已经被应用于图17中的等距圆柱投影图像410。参照图17，类似于图16，将球面坐标系中的等距圆柱投影图像410的坐标值转换为三维正交坐标系中的球面412上的坐标值。对于三维正交坐标的每个轴以(x，y，z)＝(x，y，z)的角度对等距圆柱投影图像410应用了天顶校正时，执行(x，y，z)＝(-x，-y，-z)的旋转处理来抵消天顶校正，从而提供到三维正交坐标系中的球面414上的坐标值的转换。随后的处理类似于参照图16所说明的处理。当三维正交坐标系中的球面414上的坐标值绕z轴旋转-90度时，拼接位置移动到球面416的赤道面上。在应用了旋转转换的球面416上的坐标值转换成球面坐标系统中的坐标值时，获得图像的上半部分用作图像区域a、图像的下半部分用作图像区域b，并且图像的垂直方向上的中心用作拼接位置(虚线)的等距圆柱投影图像418。[0135]这里再次参照图15a和图15b，在步骤s203中，全景相机110判定是否需要第一拼接转换。第一拼接转换表示当拼接之后的等距圆柱投影图像的拼接位置基于例如通过图9所示的图案匹配处理的拼接位置检测结果来拼接时，用于校正为了拼接处理而扩大或缩小的坐标值的转换。[0136]在步骤s203中判定为需要第一拼接转换时(是)，在步骤s204，全景相机110使用坐标转换单元354将第一拼接转换应用于待处理像素的坐标值。与此相对地，当拼接之后的等距圆柱投影图像在没有拼接检测的情况下通过以一样的被摄体距离来进行拼接而获得时，就判定为不需要步骤s204中的第一拼接转换，处理分支到步骤s205，并结束该处理。[0137]参照图18来说明在步骤s204中执行的第一拼接转换。图18所示是通过第一旋转转换将拼接位置移动到球面的赤道面上之后的状态下的等距圆柱投影图像420。由于拼接是基于拼接位置检测结果通过拼接处理来提供的，因此对每个区域来拼接的被摄体距离会互不不同。第一拼接转换转换坐标来将通过以根据区域而不同的被摄体距离来拼接而扩大或缩小的坐标值改变为以一样的被摄体距离来拼接的状态。[0138]第一拼接转换需要用于拼接处理的拼接信息。使用参照图12a和图12b来说明的拼接表来执行图像拼接处理的相反的处理。在图12a所示的拼接表中，对拼接位置的值添加了负号的表用作在步骤s204中的第一拼接转换所使用的拼接转换用表。图18还示出了第一拼接转换的坐标转换的图422。转换后图像(对应于424)的坐标值参照来自拼接转换表的转换前图像(对应于420)的坐标值。图422中的虚线部分表示拼接位置。通过第一拼接转换执行与以一样的被摄体距离来拼接的状态为同等的坐标值转换时，在转换后图像(对应于424)中，拼接位置移动到从赤道面偏离的位置。[0139]再次参照图14，在步骤s104中，全景相机110使用判定单元356来对待处理像素的坐标值判定拼接前图像。更具体地，在步骤s104中，可以基于等距圆柱投影图像的垂直位置来判定拼接前图像。没有执行第一拼接转换(s204)时，等距圆柱投影图像的上半部分是使用摄像元件130a(22a)拍摄的图像区域a，等距圆柱投影图像的下半部分是使用摄像元件130b(22b)拍摄的图像区域b。[0140]也就是说，当要处理的图像的坐标(应用第一坐标转换之后的坐标值)位于等距圆柱投影图像中相对于垂直坐标的上半部分(小于90度)时，判定该图像是使用摄像元件130a(22a)拍摄的拼接前图像。另一方面，当坐标位于下半部分(小于或等于90度)时，判定该图像是使用摄像元件130b(22b)拍摄的拼接前图像。对拼接前图像的判定等同于判定用于拍摄待处理像素的一部分的对应摄像单元，即，判定来自于待处理像素的对应摄像单元。[0141]与此相对地，执行了第一拼接转换(s204)时，例如，如图19所示，可以使用在执行第一旋转转换(s202)之后并且在执行第一拼接转换(s204)之前的阶段430中的坐标的垂直坐标432来进行判定。也就是说，可以基于在第一坐标转换中通过旋转转换的应用而获得的坐标来进行拼接前图像(对应摄像单元)的判定。[0142]再次参照图14，在步骤s105中，全景相机110针对待处理像素的坐标值来获取拼接前图像中的坐标值。参照图20a和图20b来说明在步骤s105中执行的获取拼接前图像的坐标值的处理。[0143]图20(a)所示是获取拼接前图像的坐标值的处理的流程图。图20(a)所示的处理响应于图14所示的步骤s105中的调用而从步骤s400开始。在步骤s401中，全景相机110判定是否需要获取拼接前图像的坐标值。根据校正处理的种类，在没有拼接前图像的坐标值的情况下也可以执行校正处理。因此，在所请求的校正的种类相当于需要拼接前图像的坐标值的预定种类的处理时，就判定为需要拼接前图像的坐标值。优选的是，针对校正处理的各种种类来保持拼接前图像的坐标值的要求，并且可以根据要执行的校正处理的种类来切换该要求。[0144]在步骤s401中，当判定为需要获取拼接前图像的坐标值(是)时，处理分支到步骤s402。在步骤s402中，全景相机110选择拼接表。更具体地，全景相机110选择对应于通过对拼接前图像的判定而判定的拼接前图像的拼接表(s104)。如图12a所示，为等距圆柱投影图像仅准备一个拼接表时，可以省略步骤s402中对拼接表的选择。[0145]在步骤s403中，全景相机110参照所选择的拼接表来获取对应于待处理像素的坐标(应用坐标转换之后的坐标)的拼接前图像的坐标值(x，y)，并且如图20(b)所示结束步骤s404中的处理。与此相对地，在步骤s401中，当判断为不需要获取拼接前图像的坐标值(否)时，处理直接分支到步骤s404。[0146]再次参照图14，在步骤s106中，全景相机110使用图像校正单元358计算待处理像素的校正值。在步骤s106中，计算用于在图13a所示的校正表中设置校正前图像的坐标值和校正方法(校正模式和校正量)中的一者或两者的值。校正前图像的坐标值和校正方法是根据对待处理像素判定的对应摄像单元来判定的。稍后使用具体示例来详细说明校正值计算。因此，这里基于以下假设来继续说明校正值得到计算，并且在校正表中的校正前图像的坐标值和校正方法中的一者或两者中设置了值。[0147]在步骤s107中，全景相机110使用图像校正单元358来应用坐标值校正。下面参照图21a和图21b来说明在图14所示的步骤s107中执行的坐标值校正的处理。在步骤s107中执行的坐标值校正是通过参照由步骤s106中的校正值计算来设置的校正表中的校正前图像的坐标值来进行的。在没有坐标值校正的情况下，如图21(a)所示，校正后图像和校正前图像具有相同的坐标值。与此相对地，在进行了坐标值校正的情况下，如图21(b)所示，校正后图像与校正前图像具有不同的坐标值。因为该判定是基于校正表的校正前图像中的参照目的地的坐标值，所以存在着有坐标校正的情况和没有坐标校正的情况。[0148]在步骤s108中，全景相机110使用坐标转换单元354对待处理像素的坐标值(在步骤s107中应用坐标值校正之后的坐标值)应用第二坐标转换。虽然第二坐标转换可以包括旋转转换和基于各区域的拼接位置的拼接转换，但是第二坐标转换是在步骤s103中执行的第一坐标转换的相反的转换。[0149]参照图15b和图16～图18来更详细地说明第二坐标转换。图15b所示是第二坐标转换处理的流程图。图15b所示的第二坐标转换响应于图14所示的步骤s108中的调用而从步骤s300开始。[0150]在步骤s301中，全景相机110判定是否需要第二拼接转换。当通过图8所示的图案匹配处理等检测到的结果被用作拼接位置时，由于已经通过步骤s103中的第一坐标转换进行了第一拼接转换，因此需要第二拼接转换来恢复第一拼接转换。与此相对地，在没有使用拼接位置检测结果并且以一样的被摄体距离进行了拼接处理时，没有通过步骤s103中的第一坐标转换执行第一拼接转换，且不需要第二拼接转换。[0151]在步骤s301，在步骤s301中判定为需要第二旋转转换时(是)，处理分支到步骤s302，并且全景相机110将第二旋转转换应用于待处理像素的坐标。与此相对地，在没有进行拼接检测并且已经以一样的被摄体距离进行了拼接时，就判定不需要步骤s302中的第二拼接转换，并且处理直接分支到步骤s303。[0152]参照图18来说明第二拼接转换的处理。参照图18，等距圆柱投影图像424处于已经进行了与通过第一拼接转换以一样的被摄体距离来拼接的状态为洞等的坐标值转换的状态。第二拼接转换使用图12a和图12b所说明的拼接表来将拼接位置转换到基于拼接位置检测结果的位置。第二拼接转换使用拼接表中的拼接位置来进行与拼接处理同等的处理。具有在图12a和图12b中的拼接表中保持不变的拼接位置的值的表用作第二拼接转换所使用的拼接转换表。[0153]图18还示出了第二拼接转换的坐标值转换的图426。对于转换后图像(对应于420)，参照拼接转换表来获取转换前图像(对应于424)的坐标值。图18中的虚线部分表示拼接位置。通过第二拼接转换来执行反映了拼接位置检测结果的坐标值转换时，转换后图像的拼接位置(对应于420)移动到赤道面上。[0154]返回参照图15b，在步骤s303中，全景相机110判定是否需要第二旋转转换。判定是否需要从拼接之后的等距圆柱投影图像的拼接位置位于球面的赤道面上的状态开始进行第二旋转转换。如上所述，为了用户容易观看，等距圆柱投影图像已经过旋转转换来成为图11所示的坐标系，或者进行也是旋转转换的天顶校正。因此，拼接位置不在球面坐标的赤道面上。在这种情况下，由于已经通过步骤s103中的第一坐标转换进行了第一旋转转换，在步骤s103，就需要第二旋转转换来恢复第一旋转转换。在步骤s301中判断为需要第二旋转转换时(是)，处理分支到步骤s304，并且全景相机110将第二旋转转换应用于待处理像素的坐标值。[0155]再次参照图16和17，来说明在步骤s304中执行的第二旋转转换的处理。[0156]图16所示是还没有应用天顶校正时的第二旋转转换图。当将球面坐标系中的等距圆柱投射图像406的坐标值转换为三维正交坐标系中的球面404上的坐标值时，并当球面404在三维正交坐标系中围绕z轴旋转+90°时，拼接位置移动到球面402的长度方向上。在三维正交坐标系中应用了旋转转换的球面402上的坐标值转换成球面坐标系统中的坐标值时，获得未应用天顶校正的等距圆柱投影图像400。[0157]图17所示是应用了天顶校正时的第二旋转转换图。图17与图16的不同之处在于，在图17中应用了天顶校正。参照图17，球面坐标系中的等距圆柱投影图像418的坐标值转换为三维坐标系中的球面414上的坐标值时，该转换类似于如图16所示的没有应用天顶校正的情况。然后，在三维正交坐标系中从球面414对各轴以(x，y，z)＝(x，y，z)的角度应用天顶校正的旋转，转换为三维正交坐标系中的球面412的坐标值，并进一步转换为球面坐标系中的坐标值。因此，获得了应用天顶校正的等距圆柱投影图像410。[0158]如上所述，在步骤s304中，对待处理像素的坐标值应用坐标校正，然后执行相反的第二旋转转换，以恢复到所输入的球面图像的状态。[0159]再次参照图14，在步骤s109中，全景相机110参照图13a所示的校正表，使用图像校正单元358来对待处理像素的坐标值获取校正前图像的像素值。在步骤s110中，全景相机110对于待处理像素的坐标值，是以指定的校正模式对所获取的的像素值应用预定校正量的校正。已经参照图13a-图13c说明了步骤s109和步骤s110中的像素值获取和像素值校正的基本处理，因此这里省略其说明。[0160]这里，参照图22a和图22b来说明执行作为像素值获取和像素值校正的实际的处理的两种种类的图像校正的情况。[0161]图22(a)所示是使用两个校正表时的校正前图像的像素值获取和像素值校正。校正表包括第一校正表和第二校正表，每个校正表具有与图13a所示的格式相似的格式。第一校正表中的校正后图像的坐标值对应于第二校正表中的校正前图像的坐标值。[0162]不执行像素值校正时，校正后图像的待处理像素的像素值(v1)对于校正后图像的待处理像素的坐标值(θa，φa)，以第二校正表和第一校正表的顺序参照校正表来获得校正前图像的坐标值(θb，φb)，并成为从校正前图像的坐标值获取的像素值(v0)。[0163]执行像素值校正时，对从校正前图像获取的像素值(v0)执行通过第一校正表中的校正方法的校正来获得像素值(v2＝f1m(v0，n1)，其中f1m()表示第一校正表中的校正模式(m)中的校正函数，并且n1表示由第一校正表给出的校正量)。更进一步地，对所获取的像素值(v2)执行通过第二校正表中的校正方法的校正来获得像素值(v3＝f2m(v2，n2)，其中f2m()表示第二校正表中的校正模式(m)中的校正函数，并且n2表示由第二校正表给出的校正量)。像素值(v2)成为校正后图像的待处理像素的像素值(v1)。当图像校正包括第一图像校正和第二图像校正时，图22(a)对应于以直接叠加方式来应用第一图像校正和第二图像校正的情况。[0164]与此相对地，图22(b)所示是同样地使用两个校正表并在中途生成中间图像时的校正前图像的像素值获取和像素值校正。在这种情况下，执行创建中间图像的处理。该方法基本上类似于参照图13b来说明的方法。参照第一校正表，针对中间图像的待处理像素的坐标值(θc，φc)获取校正前图像的坐标值(θb，φb)，并从校正前图像的坐标值获取像素值(v0)。通过第一校正表中的校正方法来校正所获取的像素值(v0)，从而获得用作中间图像的像素值(v4)的像素值(v2＝f1m(v0，n1))。在这种情况下，对中间图像的所有像素执行基于第一校正表的处理，并创建一次中间图像。[0165]然后，同样地创建校正后图像。对于校正后图像的待处理像素，参照第二校正表从校正后图像的待处理像素的坐标值(θa，φa)获取中间图像的对应的坐标值(θc，φc)，并从中间图像获取所获取的坐标值的像素值(v4)。通过第二校正表中的校正方法来校正像素值(v4)以获得像素值(v3＝f2m(v4，n2))，并将所获得的像素值用作校正后图像的待处理像素的像素值(v1)。当图像校正包括第一图像校正和第二图像校正时，图22(b)对应于对通过应用第一图像校正而获得的中间图像应用第二图像校正的情况。[0166]在上面的说明中，校正表参照参照目的地的一个像素值。可替换地，也可以使用待处理像素附近的像素来进行图像校正。图22(b)所示的中间图像的创建方法在还使用这种待处理像素附近的像素来进行图像校正的情况下是有效的，在应用多种图像校正的情况下以及需要对待处理像素附近的像素进行前次的校正处理的结果的情况下，能够适当地使用。与此相对地，图22(a)的不创建中间图像的方法在简单地计算待处理像素就足够的情况下，能够适当地使用。[0167]再次参照图14，对所有的待处理像素的处理都结束，并且处理退出从步骤s102到步骤s111的循环时，在步骤s112中，全景相机110将校正后图像和校正表写出到图像存储部270等，并且在步骤s113中结束处理。[0168]以下，参照图23、图24a至图24e及图25～图27a和图27b，通过两个具体示例，更详细地说明图14所示的步骤s106中的校正值计算。[0169]环境光强度校正的情况[0170]第一具体示例是图像校正为环境光强度校正的情况。参照图23和图24a至图24e对事后的环境光强度校正进行说明。图23所示是事后的环境光强度校正处理的流程图。图24a所示是校正之前和之后的等距圆柱投影图像。校正前图像是没有进行天顶校正的图像。校正后图像是已经进行了环境光强度校正和天顶校正的图像。图23的基本的部分与图14所示的流程图共通，这里主要说明新的步骤。[0171]在图23所示的步骤s500中，全景相机110参照环境光强度校正表并计算校正值。步骤s500对应于图14所示的步骤s106中的校正值计算处理。[0172]参照图24a至图24e来说明环境光强度校正表。图24b所示是由两个鱼眼透镜(20a、20b)获得的部分图像。各部分图像中的点oa和点ob表示与对应的鱼眼透镜的光轴中心相当的坐标值。[0173]这里，说明在一个鱼眼图像上的点p的位置处的环境光强度校正。通常，点p处的环境光强度的下降取决于从透镜的光轴中心oa到点p的距离l(以下称为像高)而产生。图24c所示是对校正前的等距圆柱投影图像应用第一坐标转换之后的图像。在图24c所示的等距圆柱投影图像中，其上端在相当于鱼眼透镜(20a)的光轴中心oa的位置，其下端在相当于鱼眼透镜(20b)的光轴中心ob的位置。在图24a至图24e中，点p属于图像区域a，并具有相当于从图像的上端到点p的距离(l)的像高。如果点p属于图像区域b，从图像的下端开始的距离相当于像高。[0174]图24d所示是透镜的像高与环境光强度校正量之间的关系。图24e所示是表现图24d所示的透镜的像高与环境光强度校正量的关系的表。随着像高增加，环境光强度的下降增加，因此环境光强度校正量增加。环境光强度校正量是与校正前像素值相乘的增益值。对每个像高设置环境光强度校正量，并如图24e所示地，将设置的这种值用作环境光强度校正表。由于光学系统具有不同的特性，因此针对每个鱼眼透镜(摄像元件)设置环境光强度校正量。[0175]下面参照图23更详细地说明环境光强度校正的处理。如图23所示，对每个待处理像素进行处理。在步骤s103中，执行第一坐标转换来改变坐标布置，以更容易地使用校正前图像判定拼接前图像。在步骤s104中，执行对拼接前图像的判定，以判定待处理像素所属的拼接前图像(对应摄像单元)。[0176]在环境光强度校正中，不需要获取步骤s105中的拼接前图像的坐标值。因此，根据环境光强度校正的种类，预先保持表示不需要获取拼接前图像的坐标值的要求信息。选择了环境光强度校正时，获取该信息，在步骤s105的拼接前图像的坐标值的获取处理中，根据是否获取坐标值的判定(s401)来绕过步骤s402和s403中的处理。在这里说明的实施方式中，由于像高作为等距圆柱投影图像上的距离l来获得，就不需要获取拼接前图像的坐标值。然而，也可以获取与待处理像素相对应的拼接前图像的坐标值，并且可以使用拼接前图像的坐标值来计算到校正前图像的光轴中心的距离，以获得像高。使用像高和像素位置来进行校正时，会获取拼接前图像的坐标值。[0177]参照步骤s500中的环境光强度校正表时，就参照在步骤s103中对拼接前图像的判定中所判定的针对拼接前图像的环境光强度校正表，并根据与待处理像素的坐标相对应的像高来获取环境光强度校正量(校正值)，并对图13a所示的校正表中的校正方法设置校正模式和校正量。对于校正模式，设置表示乘法的"3"。此外，对于校正表中的校正前图像的坐标值，设置与校正后图像的坐标值相同的值。如上所述，基于所判定的对应摄像单元以及等距圆柱投影图像上的坐标或拼接前图像的像素位置，以对应于像高的校正量来进行校正。[0178]步骤s106中的坐标值校正参照校正表来获取对应于待处理像素的坐标值的校正前图像的坐标值。如上所述，环境光强度校正在校正表中对校正前图像的坐标值和校正后图像的坐标值设置相同的值。因此，就不执行坐标值校正。在环境光强度校正的情况下，可以省略步骤s106。[0179]步骤s108中的第二坐标转换恢复在步骤s103中由第一坐标转换旋转的状态，并使用所保存的天顶校正数据执行天顶校正的旋转处理。如上所述，校正前图像是没有进行天顶校正的图像，校正后图像是已经进行了环境光强度校正和天顶校正的图像。在这种情况下，第一坐标转换和第二坐标转换不是严格的相反的转换。[0180]在步骤s108中，从校正前图像中的坐标获取像素值，并根据在步骤s500中设置的校正表中的校正方法来校正像素值。在环境光强度校正的情况下，对校正表中的校正方法设置表示乘法的"3"。因此，通过对步骤s108中获取的像素值乘以校正量来应用环境光强度校正。[0181]考虑了卷帘快门的模糊校正的情况[0182]第二具体示例是图像校正为关于卷帘快门的模糊校正的情况。参照图25至图27a和图27b来说明考虑了卷帘快门的事后的模糊校正。图25所示是考虑了卷帘快门的事后的模糊校正处理的流程图。图26a所示是校正之前和之后的等距圆柱投影图像。校正前图像是没有进行天顶校正的图像。校正后图像是仅执行模糊校正而没有执行天顶校正的图像。图25的基本的部分与图14所示的流程图共通，这里主要说明新的步骤。[0183]图25所示的处理是对动画的处理。在从步骤s600到步骤s604的循环中，对每一帧执行循环内的处理直到最后的帧。在步骤s601中，全景相机110获取要处理的当前帧的图像来作为要处理的图像，并且获取与该帧的区间对应的陀螺仪数据。陀螺仪数据作为元数据等提供给图像信息。在这种情况下，假定获取的是与要处理的帧相对应的数据。[0184]在步骤s602中，全景相机110计算卷帘快门(以下缩写为rs)校正表。参照图26a至图26d和27来说明步骤s602中的rs校正表计算处理。参照图26a至图26d说明考虑了卷帘快门的模糊校正的概要。图26b所示是卷帘快门的动作状态。典型的摄像元件130a和130b各自在从图像的上端到图像的下端扫描每行的像素值的同时读取数据。当t1表示图像的上端被摄像元件130a和130b中的一个读取的时间，t5表示图像的中间被读取的时间，t9表示图像的下端被读取的时间，并从摄像元件130a和130b中的一个读取一个帧的图像时，会在帧内产生曝光时间的差，并在图像的下端和图像的上端之间产生(t9-t1)的时间差。[0185]对该帧执行图像校正(例如，模糊校正)时，可以参照帧内的一个时间点(例如，中间的t5)来应用校正。然而，在这种情况下，即使当在与指定时间相对应的区域中正确地执行了校正，由于上述的时间差，在其它区域中也可能不正确地执行校正。[0186]例如，假定在如图26c所示的鱼眼图像中，图26b中的卷帘快门的扫描时间t1、t5和t9分别对应于鱼眼图像的图像上端、图像中间和图像下端。在这种情况下，以图像中间的时间t5来执行校正处理时，会在图像的上端t1和图像的下端t9产生不适当地校正的部分(校正不足或过度的部分)。此外，如图26d所示，当将鱼眼图像转换为等距圆柱投影图像时，不适当地校正的部分变得复杂。[0187]参照图27a和图27b，接着说明rs校正表计算。图27a所示是用于减小卷帘快门对模糊校正的影响的rs校正表。横轴的时间t1～t9与参照图26a至图26d说明的卷帘快门的扫描时间相对应。纵轴的角度变化是从一个帧内每个一定周期采样的陀螺仪传感器数据来计算的。角度变化涉及x、y和z三个轴的值，并且表示多个摄像单元的姿势变化。图27a和图27b所示的角度变化是以时间t5为参照的值。即，在时间t5，角度变化量为0。图27b是表示图27a的关系的表，是在步骤s603中参照的rs校正表。在一些情况下，校正值可能由于摄像元件的组装而变化。因此，为每个摄像元件准备表。此外，以帧单位来计算rs校正表。[0188]参照图25更详细地说明考虑了卷帘快门的模糊校正处理。[0189]如图25所示，对每个待处理像素进行处理。在步骤s103中，执行第一坐标转换来改变坐标布置。在步骤s104中，执行对拼接前图像的判定，以判定待处理像素所属的拼接前图像(对应摄像单元)。[0190]在考虑了卷帘快门的模糊校正中，获取步骤s105中的拼接前图像的坐标值。因此，对于考虑了卷帘快门的模糊校正的种类，预先保持是否需要拼接前图像的坐标值的信息。当选择了考虑卷帘快门的模糊校正的执行时就获取该信息，并执行获取拼接前图像的坐标值的处理，获取与待处理像素相对应的拼接前图像的坐标值。[0191]在步骤s603中参照rs校正表时，参照在步骤s104中对拼接前图像的判定中判定的拼接前图像(鱼眼透镜)的rs校正表以获取rs校正量(校正值)。从在步骤s105中获取的拼接前图像的坐标值来指定rs校正表中的时间(行)，并获取与所指定的时间相关联且对应于帧内的曝光时间差的校正量。通过将校正后图像的坐标值转换为三维正交坐标系中的球面上的坐标值，使用rs校正量(x、y、z的校正值)在三个轴(x、y、z)的方向上对转换后的坐标值执行旋转转换，并且将转换后的坐标值恢复到球面坐标系中的等距圆柱投影图像的坐标值，来获得对图13a-图13c所示的校正表中的校正前图像的坐标值所设置的值。在考虑了卷帘快门的模糊校正中，不执行像素值校正。因此，对于校正表中的校正方法进行的是不校正像素值的设定(例如，"1"指示作为校正模式的相加，并且校正量为0)。步骤s603中的参照rs校正表的步骤对应于步骤s106中的校正值计算。[0192]步骤s107中的坐标值校正使用校正表来获取对应于待处理像素的坐标值的校正前图像的坐标值。校正表中的校正前图像的坐标值不同于模糊校正情况下的校正后图像的坐标值，因此执行坐标值校正。步骤s108中的第二坐标转换执行恢复到由步骤s103中的第一坐标转换来旋转的状态的处理。步骤s109中的像素值获取获取校正前图像的像素值。在步骤s110中，通过校正表中的校正方法来校正通过像素值校正获取的像素值，以获得校正后的像素值。由于考虑了卷帘快门的模糊校正具有使得像素值不基于校正表中的校正方法来校正的设定，所以在步骤s109中获取的校正前图像的像素值直接用作校正后图像的像素值。在考虑了卷帘快门的模糊校正中，可以省略步骤s109。[0193]通过对球面图像的动画应考虑了卷帘快门的上述模糊校正，可以提供在整个帧中减少了模糊的球面图像的动画。[0194]转换信息[0195]在图14中的第一坐标转换(s103)和第二坐标转换(s108)中，为了执行使得拼接位置在球面的赤道面上的坐标转换，需要例如旋转轴、旋转角度和天顶校正数据等的转换信息。用户可能难以计算这样的转换信息。此外，值可能因全景相机110的型号或制造商而不同。如此，由于在全景相机110的拍摄期间预先记录转换信息，因此可以在用户没有麻烦的工作的情况下执行事后的图像校正处理。[0196]图28所示是转换信息的格式例。转换信息优选的是与图12a和图12b所示的拼接表一起与全景相机110的拍摄期间的图像相关联地记录。当使用图12a和图12b中的拼接表将应用了第一坐标转换的处理的坐标值设定为校正后图像的坐标值时，即使没有转换信息也可以执行坐标转换。[0197]对校正后图像的校正表的添加[0198]图29所示是本实施方式所涉及的与图像校正处理有关的表依存关系的图。在拍摄期间作为例如拼接后图像(校正前图像)600的元数据来保存拼接表602。保持与鱼眼图像604的对应关系的拼接表602被用于计算校正值，并且所计算的校正值被设定在校正表612中。如此，基于校正表612应用图像校正以从校正前图像610获得校正后图像614。[0199]当希望对校正后图像再次校正时，可以预期的情况是，坐标值已经通过前面的校正处理从初始的坐标值改变而没有被适当地校正。为了避免这种有缺陷的情况，根据理想的实施方式，将用于校正的校正表612和拼接表602一起与校正后图像614相关联地保存。[0200]图30所示是再次执行图像校正时的表依存关系的图。图30所示的表依存关系与图29不同。在图30的情况下，是在参照拼接表602之前，参照与校正后图像(进行这一次的图像校正的图像(拼接后图像))614一起保存的校正表612。然后，将参照校正表612和拼接表602来计算的校正值设置在这一次的校正表622中，以对校正前图像620执行图像校正并获得校正后图像624。如此，可以在不受前面的校正处理(主要是坐标值校正)的影响的情况下计算校正值。[0201]图31所示是本实施方式所涉及的事后的图像校正处理的流程的概要图。在图像校正处理中，按照(1)参照坐标计算和(2)像素值校正的顺序来执行处理。参照图31，箭头表示参照目的地。从校正前图像获取通过上述(1)参照坐标计算获得的坐标值的像素值，并将上述(2)像素值校正应用于所获取的像素值。不执行坐标值校正时，上述(1)参照坐标计算不一定需要，也可以使用校正后图像的待处理像素的坐标值。[0202]第一坐标转换和第二坐标转换被应用于一时地转换为图像区域a覆盖上半部分而图像区域b覆盖下半部分的状态。这是因为图12a所示的拼接表被配置为使得图像区域a覆盖上半部并且图像区域b覆盖下半部，并在通过拼接表执行映射时，拼接位置在赤道上。拼接前图像与拼接后图像之间的关系通过图12a所示的拼接表来判定，因此将拼接后图像的状态对齐后来计算坐标值校正时，可以容易地执行坐标值校正的计算。拼接表可以是具有不同映射的表。然而，鉴于降低复杂性，基于应用第一坐标转换和第二坐标转换的假设，理想的是存储其中以与图像数据相关联的方式来存储的上述拼接位置的拼接表，从而使得拼接位置在赤道上。[0203]如上所述，根据上述实施方式，对于使用多个摄像单元来拍摄的图像，能够提供可以应用对应于多个摄像单元的图像校正技术的图像处理设备、图像处理方法、摄像装置、图像处理系统及程序。[0204]在上述实施方式中，根据拼接后的图像(静止图像或动画)的坐标值来判定用于拍摄的摄像单元(摄像元件和光学系统的组对)，并根据所判定的摄像单元来执行图像校正处理。如此，可以将取决于摄像单元的图像校正技术应用于已经由多个摄像单元拍摄并且已经被拼接了的静止图像或动画。特别地，可以将最新的图像校正技术应用于过去保存的静止图像或动画。此外，不需要另外保持拼接前图像，并且可以避免存储器容量的增加，从而降低成本。[0205]对于将全景相机110用作图像处理设备和图像处理系统的一例，已经说明了在全景相机110中执行事后的图像校正处理的情况。然而，事后地执行图像校正处理的图像处理设备和图像处理系统的构成不限于上述构成。[0206]图2b所示是另一实施方式所涉及的作为图像处理设备和图像处理系统的用户终端装置150的硬件构成。图2b所示的用户终端装置150包括经由总线168连接的cpu152、随机存取存储器(ram)154、硬盘驱动器(hdd)156、输入设备158、外部存储器160、显示器162、无线模块164以及usb连接器166。[0207]cpu152控制用户终端装置150的各部的动作和整体动作。ram154提供cpu152的工作区。hdd156存储以通过cpu152可读的代码编写的操作系统以及例如负责本实施方式所涉及的上述图像校正处理单元350的处理的应用软件等的程序。[0208]输入设备158是例如鼠标、键盘、触摸板或触摸屏等的输入设备，并提供用户接口。外部存储器160是可装卸地插入存储器卡槽的记录介质，并记录例如动画格式的图像数据和静止图像数据等的各种数据。无线模块164建立与诸如全景相机110的外部设备的无线局域网(lan)通信的连接。usb连接器166与诸如全景相机110的外部设备建立usb连接。例示的是无线模块164和usb连接器166。然而，连接的标准不限于特定的标准，可以通过诸如蓝牙(注册商标)或无线usb的其它无线通信或者诸如有线lan的有线通信来提供与外部设备的连接。[0209]显示器162为用户的操作提供操作画面的显示、拍摄前或拍摄期间的全景相机110拍摄的图像的监视器图像的显示、以及用于所保存的动画或静止图像的再现和浏览的显示。通过显示器162和输入设备158，用户可以经过操作画面关于全景相机110给出拍摄指令并且可以改变各种设定。[0210]当向用户终端装置150供电并接通电源时，从rom或hdd156读取程序并将其加载到ram154中。cpu152根据加载到ram154的程序来控制装置各部的动作，并将控制所需的数据暂时存储在存储器中。如此，执行了上述图像校正处理单元350及其处理。[0211]此外，根据另一实施方式，除了上述部分图像获取处理210之外的图像处理可以分开地安装在图像处理设备上，诸如包括用户终端装置150的至少一个外部pc或至少一个外部服务器。例如，根据特定的实施方式，可以在用作图像处理设备的用户终端装置150中执行图像处理220至280。上述图像处理280可以以分布式方式安装在图像处理设备上，诸如包括用户终端装置150的至少一个外部pc或至少一个外部服务器。[0212]此外，在上述实施方式中，在天顶校正中是参照垂直方向来获得倾斜角。然而，也可以将垂直方向以外的方向、例如水平方向或其他所期望的方向设定为参照方向，并根据例如全景相机110或摄像元件130a和130b等的预定的物体的倾斜度来校正图像的倾斜度。在上述实施方式中，加速度传感器和陀螺仪传感器用于检测倾斜度。可替换地，例如加速度传感器和地磁传感器的组合、陀螺传感器和地磁传感器的组合、加速度传感器和陀螺传感器及地磁传感器的组合等的其他倾斜传感器也可以检测全景相机110、固定于全景相机110的摄像元件130a和130b以及传感器的倾斜。在这种情况下，除了天顶校正，还可以应用对围绕垂直方向的旋转进行校正的旋转校正。[0213]上述功能单元可以通过以诸如汇编语言、c、c++、c#或java(注册商标)的传统编程语言或面向对象的编程语言所编写的计算机可执行程序来实现。用于执行功能单元的程序可以通过例如rom、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、闪存、软盘、紧凑型光盘rom(cd-rom)、可重写cd(cd-rw)、数字多功能盘rom(dvd-rom)、dvd-ram、dvd-rw、蓝光光盘、安全数字(sd)卡或磁光(mo)盘等的设备可读记录介质来存储并发布，或者可以经由电信线路来发布。此外，上述功能单元中的一部分或全部可以被安装在例如现场可编程门阵列(fpga)等的可编程设备(pd)上，或者作为专用集成电路(asic)来执行。可替换地，作为下载到pd中以在pd上实现功能单元的电路构成数据(比特流数据)，或者为了生成电路构成数据以硬件描述语言(hdl)、超高速集成电路硬件描述语言(vhdl)或verilog-hdl编写的数据，上述功能单元可以通过记录介质来发布。[0214]以上，对本发明的实施方式进行了说明，但本发明并不限定于上述实施方式，只要是本领域技术人员能够进行的其他实施方式的追加、实施方式的变更、实施方式的删除等的变形，以及实现本发明的作用效果的所有方式都包含在本发明的范围内。[0215]本发明可以以任何方便的形式来实现，例如使用专用硬件或专用硬件和软件的混合。本发明可以由通过一个或多个联网处理装置执行的计算机软件来实现。处理装置可涉及任何适于编程的装置，例如通用计算机、个人数字助理、移动电话(诸如无线应用协议(wap)或第三代(3g)兼容电话)等。由于本发明可以由软件来实现，因此本发明的每个方面都包括可在可编程设备上实现的计算机软件。使用任何常规的载体介质(载体装置)能够将计算机软件提供给可编程设备。载体介质可涉及瞬态载体介质，诸如携带计算机代码的电、光、微波、声或射频信号。这种瞬态介质的示例是在诸如因特网之类的ip网络上携带计算机代码的tcp/ip信号。载体介质还涉及用于存储处理器可读代码的存储介质，诸如软盘、硬盘、cdrom、磁带设备或固态存储器设备。[0216]所述实施例的功能中的每一个可以由一个或一个以上处理电路或电路来实施。处理电路包括编程的处理器，处理器包括电路系统。处理电路还包含专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)和布置为执行所述功能的常规电路元件等设备。[0217]本专利申请基于并要求2020年3月10日向日本专利局提交的日本专利申请no.2020-041189的优先权，该日本专利申请的全部公开内容通过引用并入本文。[0218]附图标记列表[0219]12摄像设备[0220]14壳体[0221]18操作按钮[0222]20成像光学系统[0223]22摄像元件[0224]110全景相机[0225]112cpu[0226]114rom[0227]116图像处理块[0228]118动画压缩块[0229]119静止图像压缩块[0230]120dram接口[0231]122外部存储器接口[0232]124外部传感器接口[0233]126usb接口[0234]128串行块[0235]129视频输出接口[0236]130摄像元件[0237]132dram[0238]134外部存储器[0239]136加速度传感器[0240]137陀螺仪传感器[0241]138usb连接器[0242]140无线模块[0243]142总线[0244]150用户终端装置[0245]152cpu[0246]154ram[0247]156hdd[0248]158输入设备[0249]160外部存储器[0250]162显示器[0251]164无线模块[0252]166usb连接器[0253]168总线[0254]200图像处理[0255]210部分图像获取处理[0256]220拼接位置检测处理[0257]230倾斜检测处理[0258]240拼接参数[0259]250拼接处理[0260]260数据输出处理[0261]270图像存储部[0262]280图像校正处理[0263]300图像处理块[0264]302位置检测失真校正单元[0265]304拼接位置检测单元[0266]306表校正单元[0267]308表生成单元[0268]310倾斜检测单元[0269]312图像合成失真校正单元[0270]314图像合成单元[0271]316图像提取单元[0272]322监视图像生成单元[0273]330位置检测转换表[0274]332拼接位置检测结果[0275]334倾斜检测结果[0276]336图像合成转换表[0277]350图像校正处理单元[0278]352图像输入单元[0279]354坐标转换单元[0280]356判定单元[0281]358图像校正单元[0282]500模板用图像[0283]502模板图像[0284]510检索用图像[0285]512检索范围[0286]514对应部分。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!