图像选择辅助装置、图像选择辅助方法及图像选择辅助程序与流程

医药医疗技术的改进;医疗器械制造及应用技术1.本发明涉及一种辅助由内窥镜拍摄而获得的图像的选择的图像选择辅助装置、图像选择辅助方法及图像选择辅助程序。背景技术：2.以往，已知有蓄积由内窥镜拍摄而获得的图像的图像管理系统。蓄积于图像管理系统中的图像例如作为关键图像插入到针对基于内窥镜的检查所制作的报告中。3.关于图像的获取，例如在由内窥镜的操作者进行了图像的获取操作的时刻进行、即手动进行。4.或者，关于图像的获取，自动进行而不依赖于由内窥镜的操作者进行的图像的获取操作。例如，在专利文献1中，公开有如下结构：为了无遗漏且可靠地保存病变图像等对诊断最适当的图像，根据由内窥镜拍摄观察对象而获得的图像信号计算出粘膜信息的指标值，并自动保存根据该指标值判别为图像信号满足特定条件的特定图像信号。5.以往技术文献6.专利文献7.专利文献1：日本特开2016-67782号公报技术实现要素：8.发明要解决的技术课题9.期望报告的关键图像等中所使用的图像能够从手动及自动获取的各图像中选择。10.例如，手动获取的图像有时由于操作者的获取操作的延迟而成为抖动大等不适当的时刻的图像。并且，仅通过手动获取的图像，有时由于操作者忘记获取操作或者获取操作失败而无法获得所需要的图像。11.另一方面，在自动获取图像的情况下，难以确定用于自动获取所需要的图像的完整基准。因此，在自动获取的图像中，有时包含不需要的图像。并且，仅通过自动获取的图像，有时无法获得所需要的图像。12.然而，若设为从手动及自动获取的各图像中选择图像的结构，则难以从这些图像中选择适当的图像。例如，针对手动获取的图像，图像的选择者难以确定在与该图像的拍摄时刻接近的拍摄时刻自动获取的图像为哪一个，难以比较这些图像。13.本发明是鉴于上述情况而完成的，其目的在于提供一种能够容易地从手动及自动获取的各图像中选择适当的图像的图像选择辅助装置、图像选择辅助方法及图像选择辅助程序。14.用于解决技术课题的手段15.本发明的图像选择辅助装置具有处理器和存储器，并辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，其中，在上述存储器中记录有根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，上述处理器进行如下处理：从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，将上述第1静止图像与上述第3静止图像建立关联。16.本发明的图像选择辅助方法辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，在上述图像选择辅助方法中，使用根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，将上述第1静止图像与上述第3静止图像建立关联。17.本发明的图像选择辅助程序辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，上述图像选择辅助程序用于使计算机执行如下处理：使用根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，将上述第1静止图像与上述第3静止图像建立关联。18.发明效果19.根据本发明，能够提供一种能够容易地从手动及自动获取的各图像中选择适当的图像的图像选择辅助装置、图像选择辅助方法及图像选择辅助程序。附图说明20.图1是表示医院内部系统整体结构的一例的图。21.图2是表示图1所示的系统中的内窥镜部门系统的概略结构的图。22.图3是表示图2所示的内窥镜部门系统中的客户端pc的内部结构的框图。23.图4是表示客户端pc22的应用的基本画面的一例的图。24.图5是表示内窥镜装置24的一例的图。25.图6是表示图5所示的内窥镜装置24的内部结构的示意图。26.图7是表示由图6所示的光源装置5产生的光的光谱的一例的图。27.图8是表示第1静止图像及第2静止图像的蓄积的一例的图。28.图9是表示客户端pc22的图像选择画面的一例的图。29.图10是表示客户端pc22的容易看漏图像显示画面的一例的图。30.图11是表示基于图像处理装置23的后端ai分析的一例的图。31.图12是表示基于特殊光观察时的自动获取的通常光拍摄的一例的时序图。具体实施方式32.以下，参考附图并对本发明的实施方式进行说明。33.(实施方式的一例)34.图1是表示医院内部系统整体结构的一例的图。图1所示的系统具备医院信息系统(his：hospital information system)10、内窥镜部门系统20、病理部门系统30、医用图像保管系统40及其他部门系统50，它们能够与医院内部lan(local area network：局域网)60连接而彼此协作。35.his10为包含医疗事务会计系统、诊疗预约系统、诊疗信息系统等的综合系统，并且具有电子病历数据库等。在电子病历数据库中保管有记录了患者的诊疗信息的电子病历。36.若发出与从其他诊疗科向内窥镜部门进行检查委托时的检查的委托(指令)相关的信息(以下，称为检查委托信息)，则该信息经由his10发送到内窥镜部门系统20。37.在检查委托信息中，例如包含患者信息、指令键信息(“指令编号”“发生日期和时间”等)、委托源信息(“委托科名”“委托医生名”“委托日期”等)、指令信息(“委托病名”“检查目的”“检查种类”“检查项目”“检查部位”“评论”等)、检查预约信息(“检查日期”“实施时刻”等)等。患者信息为与患者相关的信息，并且包含作为患者固有的信息的“患者id”、“患者姓名”、“出生年月日”、“年龄”、“性别”、“住院/门诊区分”等。38.内窥镜部门系统20为用于进行内窥镜部门的管理的系统。39.病理部门系统30为用于进行病理部门的管理的系统。40.医用图像保管系统40为电子保存、搜索、分析来自内窥镜装置、ct(computed tomography：计算机断层扫描)、mri(magnetic resonance imaging：磁共振成像)等医疗图像诊断装置的检查图像的系统。医用图像保管系统40例如可以为pacs(picture archiving and communication systems：医学影像存档与传输系统)，也可以为能够保存医疗用图像的其他系统。41.其他部门系统50为用于进行其他部门的管理的系统。42.图2是表示图1所示的系统中的内窥镜部门系统的概略结构的图。在内窥镜部门中包括受理处20a、前处置室20b、多个内窥镜检查室(以下为检查室)20c、清洗室20d及洽谈室(conference room)20e。43.受理处20a为进行检查的受理的地点。前处置室20b为用于进行在内窥镜检查之前进行的问诊及前处置的房间。检查室20c为用于进行内窥镜检查的房间。清洗室20d为用于进行在内窥镜检查中所使用的观测器等的清洗的房间。44.图2所示的内窥镜部门系统20具备内窥镜部门服务器21、多个客户端pc(personal computer：个人电脑)22、图像处理装置23、内窥镜装置24、清洗管理装置25及清洗机26。内窥镜部门服务器21、多个客户端pc22、图像处理装置23及清洗管理装置25与部门内部lan27连接。部门内部lan27与医院内部lan60连接。45.图像处理装置23及内窥镜装置24分别设置于多个检查室20c上。图像处理装置23及内窥镜装置24通过彼此通信来进行使彼此的内部时刻同步的同步处理。46.内窥镜装置24具备在前端具有摄像元件的插入部(观测器)，并将通过摄像元件连续拍摄而获得的连续的拍摄图像数据输入到图像处理装置23中。在图5中，对内窥镜装置24的结构例在后面叙述。47.并且，内窥镜装置24生成基于在由内窥镜装置24的操作者进行了静止图像的获取操作(例如，按下按钮)时由摄像元件获得的拍摄图像数据的第1静止图像。第1静止图像为通过由操作者进行获取操作而获取的手动获取图像。并且，内窥镜装置24在所生成的第1静止图像中附加作为获得了该第1静止图像时的内窥镜装置24的内部时刻的拍摄时刻的信息。然后，内窥镜装置24将所生成的第1静止图像输入到图像处理装置23中。48.图像处理装置23与设置有图像处理装置23的检查室20c的内窥镜装置24连接。图像处理装置23构成从内窥镜装置24接收拍摄图像数据的分析装置。49.通过由内窥镜装置24连续拍摄而获得的拍摄图像数据连续输入到图像处理装置23中。图像处理装置23生成基于从内窥镜装置24连续输入的拍摄图像数据中、与由内窥镜装置24的操作者进行了静止图像的获取操作时不同之时的拍摄图像数据的第2静止图像。第2静止图像为不依赖于来自操作者的获取操作而获取的自动获取图像。并且，图像处理装置23在所生成的第2静止图像中附加作为获得了该第2静止图像时的图像处理装置23的内部时刻的拍摄时刻的信息。50.例如，图像处理装置23根据连续输入的拍摄图像数据，并由ai(artificial intelligence：人工智能)进行分析。然后，图像处理装置23生成基于从内窥镜装置24连续输入的拍摄图像数据中基于分析的结果时的拍摄图像数据的第2静止图像。基于分析结果时为与进行了上述获取操作时不同之时的一例，例如为根据拍摄图像数据检测到异常所见时。异常所见例如为恶性肿瘤等病变，但是并不限于此，能够设为各种异常所见。51.并且，图像处理装置23将从内窥镜装置24输入的第1静止图像和所生成的第2静止图像经由部门内部lan27发送到内窥镜部门服务器21。由图像处理装置23发送的第1静止图像及第2静止图像在内窥镜部门服务器21的控制下，由图1所示的医用图像保管系统40保管。52.另外，对将由内窥镜装置24生成的第1静止图像经由图像处理装置23发送到内窥镜部门服务器21的结构进行了说明，但是也可以设为内窥镜装置24不经由图像处理装置23而将第1静止图像发送到内窥镜部门服务器21的结构。并且，作为内窥镜装置24，可以使用将图像处理装置23一体化的内窥镜装置。53.清洗机26和清洗管理装置25设置于清洗室20d中。清洗机26为进行在内窥镜检查中所使用的观测器等的清洗的设备。54.清洗管理装置25与清洗机26连接，并且为用于将基于清洗机26的清洗履历等信息存储于内窥镜部门服务器21中的计算机。55.内窥镜部门服务器21为集中控制客户端pc22、图像处理装置23及清洗管理装置25的计算机。在内窥镜部门服务器21中内置有数据库db，在该数据库db中存储有各种信息(检查委托信息、检查结果信息等)。56.在客户端pc22中安装有规定的应用程序，通过该程序，能够进行记录于数据库db中的数据的参考及编辑、数据库中的数据的存储等。57.图3是表示图2所示的内窥镜部门系统中的客户端pc的内部结构的框图。如图3所示，客户端pc22的各自由输入部22a、显示部22b、记录部22c、收发部22d及控制部22e构成。58.输入部22a为用于进行各种输入的输入机构，并由键盘、触摸面板等输入设备或鼠标、轨迹球等指示设备构成。59.显示部22b为用于进行图像、报告等各种显示的显示器，并由lcd(liquid crystal display：液晶显示器)或crt(cathode ray tube：阴极射线管)等构成。60.记录部22c由用于记录各种数据的硬盘等构成。61.收发部22d由收发接口电路等构成，并执行经由部门内部lan27收发各种指示、各种要求及各种数据的处理。62.控制部22e包括执行程序而进行处理的各种处理器、ram(random access memory：随机存取存储器)及rom(read only memory：只读存储器)。63.作为各种处理器，包括执行程序而进行各种处理的通用的处理器即cpu(central processing unit：中央处理器)、fpga(field programmable gate array：现场可编程阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(programmable logic device：pld)或asic(application specific integrated circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。64.更具体而言，这些各种处理器的结构为将半导体元件等电路元件组合而成的电路。65.控制部22e可以由各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个fpga的组合或cpu与fpga的组合)构成。66.控制部22e按照经由上述程序、部门内部lan27从外部发送的各种要求及从输入部22a输入的指示信息等进行客户端pc22的各部的控制。67.图4是表示客户端pc22的应用的基本画面的一例的图。在用户在客户端pc22中启动应用并登录时，控制部22e从数据库db中获取基本画面数据，并使图4所示的基本画面显示在显示部22b上。另外，客户端pc22例如为检查室20c的客户端pc22，但是并不限于此，也可以为图2所示的其他客户端pc22。68.该基本画面由显示检查委托信息(摘录了一部分的信息)的一览列表的区域a、显示各种操作按钮的区域b及显示对在区域a的列表中选择的检查委托信息有效的启动器(launcher)的区域c构成。69.在区域a的列表中，对各检查委托信息设置“就诊”“受理”“检查”“会计”等处理项目，在对各检查委托信息在各处理项目中所示的处理结束的情况下，在各处理项目中显示“○”标记。70.关于用于显示该标记的数据，在各处理结束时，通过内窥镜部门服务器21存储于数据库db中。例如，在基于检查委托信息的检查结束时，内窥镜部门服务器21将表示检查结束的信息与该检查委托信息建立关联而存储于数据库db中。由此，在“检查”的处理项目中显示“○”标记。各处理是否结束的信息可以手动输入，也可以设成能够从客户端pc22或内窥镜装置24自动通知。71.该应用具有“报告”按钮c1作为操作按钮，“报告”按钮c1显示在图4所示的基本画面的区域c中。该按钮c1为用于针对基于从区域a的列表中选择的检查委托信息的检查进行报告的制作作业的按钮。72.客户端pc22的控制部22e从数据库db中定期获取用于显示该基本画面的数据，并使其显示在显示部22b上。73.在图2所示的系统中，在进行了针对所实施的检查制作报告的指示的情况下，客户端pc22的控制部22e辅助由报告制作者(例如医生)选择用于插入到报告中的静止图像。74.图5是表示内窥镜装置24的一例的图。如图5所示，内窥镜装置24具备内窥镜1和与该内窥镜1连接的控制装置4及光源装置5。75.控制装置4与显示装置7和输入部6连接，所述显示装置7显示通过内窥镜1拍摄受检体内而获得的摄像图像等，所述输入部6为用于对控制装置4输入各种信息的接口。控制装置4控制内窥镜1、光源装置5及显示装置7。76.显示装置7具有显示像素以二维状排列的显示面，通过在该显示面的各显示像素上描绘构成图像数据的像素数据来进行基于该图像数据的图像的显示。显示装置7构成根据来自控制装置4的指令来切换显示图像的显示部。77.内窥镜1包括：插入部110，为沿一个方向延伸的管状部件，并且插入到受检体内；操作部11，设置于插入部110的基端部，并且设置有用于进行观察模式切换操作、摄像记录操作、钳子操作、送气送水操作及抽吸操作等的操作部件；弯角钮12，与操作部11相邻而设置；及通用塞绳13，包括将内窥镜1分别装卸自如地连接于控制装置4和光源装置5上的连接器部13a、13b。78.另外，虽在图5中省略，但是在操作部11及插入部110的内部设置有插入用于采集细胞或息肉等生物组织的钳子的钳子孔、送气及送水用通道、抽吸用通道等各种通道。79.插入部110由具有挠性的柔性部10a、设置于柔性部10a的前端的弯曲部10b及设置于弯曲部10b的前端的硬质的前端部10c构成。80.弯曲部10b构成为通过弯角钮12的转动操作而弯曲自如。该弯曲部10b根据使用内窥镜1的受检体的部位等，能够向任意方向及任意角度弯曲，从而能够使前端部10c朝向所希望的方向。81.图6是表示图5所示的内窥镜装置24的内部结构的示意图。图7是表示由图6所示的光源装置5产生的光的光谱的一例的图。82.光源装置5能够切换并照射通常光和特殊光作为照明光。通常光为具有白色光等适合由医生等人类识别的发光光谱的光。特殊光为发光光谱与通常光不同的、具有适合由iee(image-enhanced endoscopy：图像增强内镜)等计算机分析的发光光谱的光。83.具体而言，光源装置5具备光源用处理器151、光源部152及光路耦合部154。光源用处理器151与控制装置4的系统控制部44连接，并根据来自系统控制部44的指令来控制光源部152。84.光源部152例如具有多个半导体光源，将它们分别点亮或熄灭，在点亮的情况下，通过控制各半导体光源的发光量来发出照亮观察对象的照明光。在本实施方式中，光源部152具有v-led(violet light emitting diode：紫光发光二极管)152a、b-led(blue light emitting diode：蓝光发光二极管)152b、g-led(green light emitting diode：绿光发光二极管)152c及r-led(red light emitting diode：红光发光二极管)152d这4种颜色的led。85.光源用处理器151通过分别独立地控制v-led152a、b-led152b、g-led152c及r-led152d，能够将紫色光v、蓝色光b、绿色光g或红色光r分别独立地改变光量来发光。如图7所示，v-led152a产生中心波长405±10nm、波长范围380～420nm的紫色光v。b-led152b产生中心波长450±10nm、波长范围420～500nm的蓝色光b。g-led152c产生波长范围达到480～600nm的绿色光g。r-led152d产生中心波长为620～630nm且波长范围达到600～650nm的红色光r。86.并且，在照射通常光时，光源用处理器151控制各led152a～52d，以使紫色光v、蓝色光b、绿色光g及红色光r之间的光量比成为vc∶bc∶gc∶rc的白色光发光。另外，vc、bc、gc、rc＞0。87.并且，在照射特殊光时，光源用处理器151控制各led152a～52d，以使作为短波长的窄频带光的紫色光v、蓝色光b、绿色光g及红色光r之间的光量比成为vs∶bs∶gs∶rs的特殊光发光。88.光量比vs∶bs∶gs∶rs与照射通常光时所使用的光量比vc∶bc∶gc∶rc不同，根据观察目的适当确定。例如，在强调表层血管的情况下，优选使vs大于其他bs、gs、rs，在强调中深层血管的情况下，优选使gs大于其他vs、gs、rs。89.光路耦合部154将从v-led152a、b-led152b、g-led152c及r-led152d射出的各光进行耦合，并将耦合的光作为照明光射出。从光源部152的光路耦合部154射出的照明光入射到内置在通用塞绳13中的后述光导件153上，并穿过设置于插入部110的前端部10c的照明用透镜150而照射到被摄体上。90.在内窥镜1的前端部10c设置有包括物镜121及透镜组122的摄像光学系统、穿过该摄像光学系统而拍摄被摄体的摄像元件123、ram等存储器125、通信接口(i/f)126、摄像驱动部127、用于将从光源部152射出的照明光引导到照明用透镜150的光导件153。摄像元件123构成本发明的摄像部。91.光导件153从前端部10c延伸至通用塞绳13的连接器部13a。在通用塞绳13的连接器部13a与光源装置5连接的状态下，从光源装置5的光源部152射出的照明光成为能够入射到光导件153的状态。92.摄像元件123可以使用ccd(charge coupled device：电荷耦合元件)图像传感器或cmos(complementary metal oxide semiconductor：互补金属氧化物半导体)图像传感器等。在本实施方式中，摄像元件123为使用卷帘快门的cmos。93.摄像元件123具有多个像素以二维状配置的受光面，将通过上述摄像光学系统在该受光面上成像的光学像在各像素中转换成电信号(摄像信号)。然后，摄像元件123将转换后的摄像信号从模拟信号转换成规定位数的数字信号，并将转换成数字信号的摄像信号输出至存储器125。摄像元件123例如可以使用搭载原色或补色等滤色器的摄像元件。94.摄像元件123可以在受光面与物镜121的光轴ax垂直的状态下配置于前端部10c，也可以在受光面与物镜121的光轴ax平行的状态下配置于前端部10c。95.设置于内窥镜1上的摄像光学系统由摄像元件123与物镜121之间的位于来自被摄体的光的光路上的透镜、棱镜等光学部件(包括上述透镜组122)和物镜121构成。摄像光学系统也有时仅由物镜121构成。96.存储器125临时记录从摄像元件123输出的数字摄像信号。97.通信i/f126与控制装置4的通信接口(i/f)41连接。通信i/f126通过通用塞绳13内的信号线将记录于存储器125中的摄像信号传输至控制装置4中。98.摄像驱动部127经由通信i/f126与控制装置4的系统控制部44连接。摄像驱动部127根据由通信i/f126接收的来自系统控制部44的指令来驱动摄像元件123及存储器125。99.控制装置4具备通过通用塞绳13与内窥镜1的通信i/f126连接的通信i/f41、信号处理部42、显示控制器43、系统控制部44及记录介质45。100.通信i/f41接收从内窥镜1的通信i/f126传输过来的摄像信号并传递至信号处理部42中。101.信号处理部42内置有临时记录从通信i/f41接收到的摄像信号的存储器，对作为记录于存储器中的摄像信号的集合的摄像图像信号进行处理(去马赛克处理或伽马补正处理等图像处理)以生成能够进行识别处理等的形式的摄像图像信息。由信号处理部42生成的摄像图像信息记录于硬盘或闪存等记录介质45中。102.显示控制器43将基于由信号处理部42生成的摄像图像信息的摄像图像显示在显示装置7上。构成由信号处理部42生成的摄像图像信息的各像素数据的坐标与构成显示装置7的显示面的任一个显示像素的坐标建立关联而进行管理。103.系统控制部44控制控制装置4的各部，并向内窥镜1的摄像驱动部127和光源装置5的光源用处理器151发送指令，从而集中控制内窥镜装置24的整体。例如，系统控制部44经由摄像驱动部127进行摄像元件123的控制。并且，系统控制部44经由光源用处理器151进行光源部152的控制。104.系统控制部44或信号处理部42包括执行程序而进行处理的各种处理器、ram及rom。105.作为各种处理器，包括执行程序而进行各种处理的通用的处理器即cpu、fpga等在制造后能够变更电路结构的处理器即可编程逻辑器件或asic等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路等。106.更具体而言，这些各种处理器的结构为将半导体元件等电路元件组合而成的电路。107.系统控制部44或信号处理部42可以由各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器的组合(例如，多个fpga的组合或cpu与fpga的组合)构成。108.接着，对内窥镜装置24中的照明光的发光光谱的切换方法和随着内窥镜装置24中的照明光的发光光谱的切换而图像处理装置23中的第2静止图像的生成方法的具体例进行说明。109.例如，内窥镜装置24在由内窥镜装置24连续拍摄时周期性地切换照明光的发光光谱。作为一例，内窥镜装置24周期性地进行如下切换：仅9帧量的时间将照明光设为白色光等通常光，之后的仅1帧量的时间将照明光设为窄频带光等特殊光。在此所述的帧为基于内窥镜装置24的拍摄帧。另外，各周期中的通常光的时间与特殊光的时间的比率并不限于1∶9，能够任意设定。110.此时，在通过由内窥镜装置24连续拍摄而获得的拍摄图像数据中包括通过使用通常光进行拍摄而获得的拍摄图像数据(通常光的拍摄图像数据)和通过使用特殊光进行拍摄而获得的拍摄图像数据(特殊光的拍摄图像数据)。111.内窥镜装置24例如由显示装置7显示基于通常光的拍摄图像数据的通常光的影像和基于特殊光的拍摄图像数据的特殊光的图像。或者，内窥镜装置24针对基于特殊光的拍摄图像数据的特殊光的图像，可以不由显示装置7显示(即在后台)而作为分析等的处理对象。112.并且，内窥镜装置24将通过连续拍摄而获得的拍摄图像数据中通常光的拍摄图像数据和特殊光的拍摄图像数据中的至少任一个输入到图像处理装置23中。113.图像处理装置23可以根据从内窥镜装置24连续输入的拍摄图像数据中通常光的拍摄图像数据进行异常所见的检测，也可以根据特殊光的拍摄图像数据进行异常所见的检测，也可以根据这两个拍摄图像数据进行异常所见的检测。114.并且，例如若根据通常光的拍摄图像数据检测异常所见，则图像处理装置23生成基于该拍摄图像数据的通常光的第2静止图像。或者，若根据特殊光的拍摄图像数据检测异常所见，则图像处理装置23生成基于该拍摄图像数据的特殊光的第2静止图像。115.或者，若根据特殊光的拍摄图像数据检测异常所见，则图像处理装置23可以生成基于该特殊光的拍摄图像数据的特殊光的第2静止图像和基于通常光的拍摄图像数据的通常光的第2静止图像这两个。此时的通常光的拍摄图像数据例如为从内窥镜装置24输入到图像处理装置23中的通常光的拍摄图像数据中具有与检测到异常所见的特殊光的拍摄图像数据的拍摄时刻最近的拍摄时刻的拍摄图像数据。116.对内窥镜装置24将照明光交替地切换成通常光和特殊光的情况进行了说明，但是照明光的切换并不限于此。即，内窥镜装置24可以将照明光周期性地切换成发光光谱不同的2个以上的照明光。例如，内窥镜装置24可以周期性地切换成通常光、第1特殊光及发光光谱与第1特殊光不同的第2特殊光。图像处理装置23根据从内窥镜装置24连续输入的拍摄图像数据中任意发光光谱的拍摄图像数据检测异常所见。117.图8是表示第1静止图像及第2静止图像的蓄积的一例的图。在图8中，横轴表示时间。118.例如，在使用了内窥镜装置24的诊断中，医生在一边观察显示在内窥镜装置24的显示器(例如，图5的显示装置7)上的实时图像，一边发现了异常所见的情况等任意时刻，对内窥镜装置24进行静止图像的获取操作。119.由此，在内窥镜装置24中生成第1静止图像。在图8所示的例中，生成手动获取图像51、52作为第1静止图像。手动获取图像51、52与表示分别生成手动获取图像51、52的时刻的时刻信息一起蓄积于医用图像保管系统40中。120.并且，与基于医生的诊察并行地，图像处理装置23通过基于从内窥镜装置24连续输入的拍摄图像数据的ai分析来检测异常所见(例如，恶性肿瘤等病变)。该ai分析例如在从医生等看不到的状态下(在后端)进行后端ai分析。121.例如，图像处理装置23根据由内窥镜装置24拍摄观察对象而获得的拍摄图像数据，并由ai计算出粘膜信息的指标值。指标值例如为表示在图像信号中所显示的观察对象的血管、腺管、红肿、褶皱、粘液中的至少1种的状态的值。然后，图像处理装置23通过根据计算出的指标值来判定观察对象的粘膜信息(粘膜的状态)是否对应于恶性肿瘤等病变，从而检测恶性肿瘤等病变(异常所见)。122.图像处理装置23生成基于从内窥镜装置24连续输入的拍摄图像数据中通过后端ai分析检测到异常所见时的拍摄图像数据的第2静止图像。在图8所示的例中，生成自动获取图像53～57作为第2静止图像。自动获取图像53～57与表示分别生成自动获取图像53～57的时刻的时刻信息一起蓄积于医用图像保管系统40中。123.图9是表示客户端pc22的图像选择画面的一例的图。若通过使用了内窥镜装置24的诊断将第1静止图像及第2静止图像蓄积于医用图像保管系统40中之后，指示基本画面的区域c中所包含的“画面显示”按钮c2，则显示区域d～f来代替图2所示的区域a、b。124.在区域f中，配置有用于对区域d、e进行各种操作的按钮等操作部。125.在区域d、e中，生成针对对象患者所生成的第1静止图像(手动获取图像)及第2静止图像(自动获取图像)。客户端pc22的控制部22e通过从医用图像保管系统40中获取这些静止图像来显示。126.在区域d中，并列显示针对对象患者所生成的第1静止图像。在图9所示的例中，4张第1静止图像显示在区域d中。另外，也可以通过画面滚动等能够将更多的第1静止图像显示在区域d中。127.粗框d1以包围显示在区域d中的第1静止图像中选中的第1静止图像的方式显示。在图9所示的例中，选择左上的第1静止图像。例如，通过对区域f的操作部进行操作来切换显示在区域d中的第1静止图像中选中的第1静止图像，粗框d1也随之移动。128.在区域e中，并列显示针对对象患者所生成的第2静止图像中在与在区域d中选中的第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的自动获取图像作为第3静止图像。129.具体而言，控制部22e从第2静止图像中提取具有与选中的第1静止图像的时刻信息之差的大小为阈值(一定值)以下的时刻信息的第2静止图像，并将所提取的第2静止图像作为第3静止图像并列显示在区域e中。阈值例如为几秒至几十秒的范围内的值，但是并不限于该范围内的值。在图9所示的例中，5张第2静止图像作为第3静止图像显示在区域e中。130.如此，控制部22e将第1静止图像与第3静止图像建立关联而显示在显示部22b上。将第1静止图像与第3静止图像建立关联而显示是指将第1静止图像和第3静止图像以能够对比的方式显示，例如如图9所示，将第1静止图像和第3静止图像同时显示在显示部22b的各自不同的区域中。131.报告制作者通过对区域f的操作部进行操作，能够从建立关联而显示的第1静止图像及第3静止图像中选择关键图像。关键图像为插入到报告中的1个以上的静止图像。在图9所示的例中，报告制作者能够从区域d的左上的1张第1静止图像和区域e的5张第3静止图像中选择关键图像。所选择的关键图像构成从第1静止图像及第3静止图像中由用户进行了选择操作的选择静止图像，并且成为插入到基于内窥镜装置24的检查的报告中的图像的候补图像。132.这些第1静止图像及第3静止图像为拍摄时刻彼此接近的各静止图像。由此，报告制作者能够选择手动获取的第1静止图像或者与该第1静止图像相同时期自动获取的第3静止图像中的任一个作为关键图像。因此，例如在第1静止图像的品质差(例如，抖动大)的情况下，能够从第3静止图像中选择品质良好的图像并进行替换。133.并且，若通过由报告制作者对区域f的操作部进行操作来将区域d的选中的第1静止图像切换成右上的第1静止图像，则控制部22e从第2静止图像中提取具有与右上的第1静止图像的时刻信息之差的大小为阈值以下的时刻信息的第2静止图像，并将所提取的第2静止图像作为第3静止图像并列显示在区域e中。此时也同样地，报告制作者能够从建立关联而显示的第1静止图像及第3静止图像中选择关键图像。134.对区域d的其他第1静止图像也同样地，报告制作者从第1静止图像及第3静止图像中选择关键图像。另外，可以通过对区域f的操作部进行操作，能够删除区域d中的一部分的第1静止图像。135.图10是表示客户端pc22的容易看漏图像显示画面的一例的图。通过对图9所示的区域f的操作部进行操作，控制部22e使显示部22b显示区域g来代替区域d、e。136.在区域g中，并列显示控制部22e从第2静止图像中提取的第4静止图像。第4静止图像为第2静止图像中在与区域d的所有第1静止图像的拍摄时刻之间具有不符合上述条件的拍摄时刻的第2静止图像。137.具体而言，在显示区域g来代替区域d、e的情况下，控制部22e从第2静止图像中提取具有与区域d的所有第1静止图像的时刻信息之差的大小大于阈值的时刻信息的第2静止图像，并将所提取的第2静止图像作为第4静止图像并列显示在区域g中。138.即，第4静止图像为在未进行静止图像的获取操作的时间带内通过基于后端ai分析的自动拍摄而获得的第2静止图像。因此，在第4静止图像中包含在由内窥镜装置24进行诊察时容易看漏的图像。139.报告制作者通过对区域f的操作部进行操作，能够从显示在区域g中的第4静止图像中选择关键图像。140.由此，即使内窥镜装置24的操作者(例如，医生)忘记静止图像的获取操作或者获取操作失败，也能够从自动获取的第4静止图像中选择关键图像而内插。并且，内窥镜装置24的操作者能够仅关注自身发现的明确的病变部等进行静止图像的获取操作。141.在图10所示的例中，对仅将所提取的第4静止图像显示在区域g中的情况进行了说明，但是第4静止图像的显示方法并不限于此。例如，控制部22e可以将多个第4静止图像与时刻信息一起按照时间顺序并列显示。或者，控制部22e可以通过图9所示的画面将第4静止图像与已选择的关键图像一起按照时间顺序显示。由此，报告制作者能够容易地掌握容易看漏的第4静止图像为在由内窥镜装置24进行诊察时的哪个阶段的静止图像。142.若选择基于图9、图10所示的画面的关键图像之后，报告制作者指示区域c的“报告”按钮c1，则用于进行报告的制作作业的报告制作画面显示在显示部22b上。143.然后，在报告制作画面中，通过在图9中所说明的各操作而作为关键图像选择的各静止图像能够作为插入到报告中的图像进行选择。由此，报告操作者能够容易地制作插入有从第1静止图像(手动获取图像)及第2静止图像(自动获取图像)中选择的适当的关键图像的报告。144.所制作的报告例如保存于内窥镜部门服务器21的数据库db中。145.图11是表示基于图像处理装置23的后端ai分析的一例的图。在图11中，横轴表示时间。拍摄图像数据组80为从内窥镜装置24连续输入到图像处理装置23中的各拍摄图像数据。146.作为后端ai分析的一例，图像处理装置23以拍摄图像数据组80中所包含的拍摄图像数据的各自为对象，计算出基于对象的拍摄图像数据的正确诊断率。正确诊断率为根据基于拍摄图像数据的静止图像进行正确诊断的几率。关于基于拍摄图像数据的正确诊断率，例如能够使用通过拍摄图像数据与正确诊断率的组合的多个样品而学习完毕的ai模型进行。147.然后，在连续一定数量(作为一例为6帧)的计算出的正确诊断率为阈值(作为一例为90％)以上的拍摄图像数据的情况下，图像处理装置23根据该连续的拍摄图像数据中的至少一部分来生成第2静止图像。在图11所示的例中，图像处理装置23根据拍摄图像数据组80中的拍摄图像数据81来生成第2静止图像。然后，图像处理装置23将所生成的第2静止图像经由内窥镜部门服务器21蓄积于医用图像保管系统40中。148.图12是表示基于特殊光观察时的自动获取的通常光拍摄的一例的时序图。首先，内窥镜装置24将基于光源部152的照明光设定为特殊光(步骤s1)。接着，内窥镜装置24开始由摄像元件123连续拍摄，并开始将通过连续拍摄而获得的连续的拍摄图像数据输入到图像处理装置23中(步骤s2)。该拍摄图像数据成为通过照射特殊光的状态下的拍摄而获得的拍摄图像数据。149.并且，图像处理装置23开始基于来自内窥镜装置24的拍摄图像数据的上述后端ai分析(步骤s3)。150.接着，假设图像处理装置23根据来自内窥镜装置24的拍摄图像数据检测到异常所见(步骤s4)。此时，图像处理装置23停止后端ai分析(步骤s5)，并生成基于检测到异常所见的拍摄图像数据的静止图像(特殊光)(步骤s6)。151.接着，图像处理装置23将表示检测到异常所见的检测信号发送到内窥镜装置24(步骤s7)。与此相应，内窥镜装置24将基于光源部152的照明光设定为通常光(例如，白色光)(步骤s8)。152.接着，内窥镜装置24将通过由摄像元件123拍摄而获得的拍摄图像数据输入到图像处理装置23中(步骤s9)。该拍摄图像数据成为通过照射通常光的状态下的拍摄而获得的拍摄图像数据。153.接着，图像处理装置23根据从内窥镜装置24输入的拍摄图像数据来生成静止图像(通常光)(步骤s10)。154.接着，内窥镜装置24将基于光源部152的照明光设定为特殊光(步骤s11)。接着，内窥镜装置24再次开始由摄像元件123连续拍摄，并开始将通过连续拍摄而获得的连续的拍摄图像数据输入到图像处理装置23中(步骤s12)。该拍摄图像数据成为通过照射特殊光的状态下的拍摄而获得的拍摄图像数据。155.并且，图像处理装置23再次开始基于来自内窥镜装置24的拍摄图像数据的上述后端ai分析(步骤s13)。之后，若在图像处理装置23中再次检测到异常所见，则重复步骤s5～s12。156.在图12所示的处理中，图像处理装置23将在步骤s10中生成的通常光的静止图像作为上述第2静止图像蓄积于医用图像保管系统40中。157.如此，在特殊光观察时，若通过后端ai分析自动获取静止图像，则与其联动而无需由内窥镜装置24的操作者进行切替操作便能够同时拍摄和记录面向报告的通常光的静止图像。158.由此，不需要由内窥镜装置24的操作者进行照明光的切替操作，能够减少操作负载或操作的麻烦。并且，由于不存在照明光的切替操作，因此可以获得与特殊光的拍摄时几乎相同时刻的通常光的静止图像，因此能够获得针对同一场景的特殊光的静止图像及通常光的静止图像。并且，内窥镜装置24的操作者能够专注于检查或诊断而不考虑报告或静止图像的记录。159.在图12所示的例中，对如下处理进行了说明：在步骤s8～s10中，内窥镜装置24将通常光的拍摄图像数据发送到图像处理装置23，图像处理装置23根据该拍摄图像数据来生成通常光的静止图像的处理，但是并不限于这种处理。例如，也可以设为内窥镜装置24根据通常光的拍摄图像数据来生成通常光的静止图像，并将所生成的通常光的静止图像发送到图像处理装置23的处理。160.并且，对在根据拍摄图像数据检测到异常所见的情况下，图像处理装置23停止后端ai分析的处理进行了说明，但是也可以在检测到异常所见的情况下，图像处理装置23继续进行后端ai分析。161.(变形例)162.作为所选择的静止图像的用途，对插入到针对基于内窥镜的检查所制作的报告中的关键图像进行了说明，但是所选择的静止图像的用途并不限于此，能够设为各种用途。163.并且，作为后端ai分析的例，对正确诊断率的计算进行了说明，但是后端ai分析并不限于此，能够设为能够检测异常所见的各种分析。并且，作为用于自动获取静止图像的分析，对使用了ai的分析进行了说明，但是也可以设成根据不使用ai的特定的算法进行用于自动获取静止图像的分析。164.并且，对将第1静止图像及第2静止图像蓄积于医用图像保管系统40中的结构进行了说明，但是也可以设为将第1静止图像及第2静止图像蓄积于内窥镜部门服务器21、客户端pc22或图像处理装置23等中的结构。165.并且，作为将第1静止图像和第3静止图像以能够对比的方式显示的例，在图9中，对将第1静止图像和第3静止图像同时显示在显示部22b的各自不同的区域中的情况进行了说明，但是客户端pc22的控制部22e通过一边在时间上切换第1静止图像和第3静止图像一边显示在显示部22b上，可以将第1静止图像和第3静止图像以能够对比的方式显示。166.如以上所说明，在本说明书中公开有如下事项。167.(1)168.一种图像选择辅助装置，其具有处理器和存储器，并辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，其中，169.在上述存储器中记录有根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，170.上述处理器进行如下处理：171.从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，172.将上述第1静止图像与上述第3静止图像建立关联。173.(2)174.根据(1)所述的图像选择辅助装置，其中，175.上述处理器将上述第1静止图像与上述第3静止图像建立关联而显示在显示器。176.(3)177.根据(2)所述的图像选择辅助装置，其中，178.上述处理器将上述第1静止图像和上述第3静止图像以能够对比的方式显示在上述显示器。179.(4)180.根据(2)或(3)所述的图像选择辅助装置，其中，181.上述处理器将上述第1静止图像和上述第3静止图像同时显示在上述显示器的各自不同的区域中。182.(5)183.根据(2)或(3)所述的图像选择辅助装置，其中，184.上述处理器一边在时间上切换上述第1静止图像和上述第3静止图像一边显示在上述显示器。185.(6)186.根据(2)至(5)中任一项所述的图像选择辅助装置，其中，187.上述处理器从建立关联而显示在上述显示器的上述第1静止图像及上述第3静止图像中选择由用户进行了选择操作的静止图像作为选择静止图像。188.(7)189.根据(2)至(6)中任一项所述的图像选择辅助装置，其中，190.上述处理器进行如下处理：191.从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有不符合上述条件的拍摄时刻的第4静止图像，192.将上述第4静止图像显示在上述显示器，193.从上述第4静止图像中选择由用户进行了选择操作的静止图像作为选择静止图像。194.(8)195.根据(6)或(7)所述的图像选择辅助装置，其中，196.上述选择静止图像为插入到基于上述内窥镜的检查的报告中的图像的候补图像。197.(9)198.根据(1)至(8)中任一项所述的图像选择辅助装置，其中，199.上述第2静止图像为根据基于上述拍摄图像数据的分析的异常所见的检测从上述拍摄图像数据中获取的静止图像。200.(10)201.根据(9)所述的图像选择辅助装置，其中，202.上述分析包括计算出根据基于上述拍摄图像数据的上述第2静止图像进行正确诊断的几率即正确诊断率，203.上述第2静止图像为连续获得一定数量以上的计算出的上述正确诊断率为一定值以上的上述拍摄图像数据时从上述拍摄图像数据中获取的静止图像。204.(11)205.根据(9)或(10)所述的图像选择辅助装置，其中，206.上述分析由从上述内窥镜接收上述拍摄图像数据的分析装置进行，207.上述第2静止图像为由上述分析装置从上述拍摄图像数据中获取的静止图像。208.(12)209.根据(9)至(11)中任一项所述的图像选择辅助装置，其中，210.上述第2静止图像包含如下静止图像：从在根据基于上述拍摄图像数据的分析的上述异常所见的检测而切换了上述内窥镜拍摄的照明光的发光光谱的状态下，由上述内窥镜获得的拍摄图像数据中获取的静止图像。211.(13)212.根据(12)所述的图像选择辅助装置，其中，213.上述第2静止图像包含如下静止图像：从检测到上述异常所见的上述拍摄图像数据中获取的静止图像；及从在根据上述异常所见的检测而切换了上述内窥镜拍摄的照明光的发光光谱的状态下，从由上述内窥镜获得的拍摄图像数据中获取的静止图像。214.(14)215.根据(1)至(13)中任一项所述的图像选择辅助装置，其中，216.上述处理器从上述1个以上的第2静止图像中提取具有与上述第1静止图像的拍摄时刻之差为一定值以下的拍摄时刻的上述第3静止图像。217.(15)218.根据(1)至(14)中任一项所述的图像选择辅助装置，其中，219.在获取了多个上述第1静止图像的情况下，上述处理器从所获取的上述第1静止图像中针对由用户进行了选择操作的第1静止图像提取上述第3静止图像。220.(16)221.一种图像选择辅助方法，其辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，在上述图像选择辅助方法中，222.使用根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，223.从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，224.将上述第1静止图像与上述第3静止图像建立关联。225.(16)226.一种图像选择辅助程序，其辅助基于由内窥镜获得的拍摄图像数据的静止图像的选择，上述图像选择辅助程序用于使计算机执行如下处理：227.使用根据由上述内窥镜的操作者进行了静止图像的获取操作时的上述拍摄图像数据而获取的第1静止图像和从与进行了上述获取操作时不同之时的上述拍摄图像数据中获取的1个以上的第2静止图像，228.从上述1个以上的第2静止图像中提取在与上述第1静止图像的拍摄时刻之间具有满足预先设定的条件的拍摄时刻的第3静止图像，229.将上述第1静止图像与上述第3静止图像建立关联。230.以上，参考附图并对各种实施方式进行了说明，但是本发明并不限定于该例，这是理所当然的。显然，若为本领域技术人员，则明确可知在权利要求书中所记载的范围内能够想到各种变更例或修正例，并且关于这些变更例或修正例，也应理解为当然属于本发明的技术范围内。并且，在不脱离发明的宗旨的范围内可以任意组合上述实施方式中的各构成要件。231.另外，本技术基于2020年3月3日申请的日本专利申请(日本专利申请2020-036270)，其内容作为参考援用于本技术中。232.符号说明233.1-内窥镜，4-控制装置，5-光源装置，6、22a-输入部7-显示装置，10-hi s，10a-柔性部，10b-弯曲部，10c-前端部，11-操作部，12-弯角钮，13-通用塞绳，13a-连接器部，13b-连接器部，20-内窥镜部门系统，20a-受理处，20b-前处置室，20c-检查室，20d-清洗室，20e-洽谈室，21-内窥镜部门服务器，22-客户端pc，22b-显示部，22c-记录部，22d-收发部，22e-控制部，23-图像处理装置，24一内窥镜装置，25-清洗管理装置，26-清洗机，27-部门内部la n，30-病理部门系统，40-医用图像保管系统，41、126-通信i/f，42-信号处理部，43-显示控制器，44-系统控制部，45-记录介质，50-其他部门系统，51、52-手动获取图像，53～57-自动获取图像，60-医院内部lan，80-拍摄图像数据组，81-拍摄图像数据，110-插入部，121-物镜，122-透镜组，123-摄像元件，125-存储器，127-摄像驱动部，150-照明用透镜，151-光源用处理器，152-光源部，152a-v-led，152b-b-led，152c-g-led，152d-r-led，153-光导件，154-光路耦合部，d1-粗框。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!