用于飞行状况分析和通信的基于神经网络的系统的制作方法

航空航天装置制造技术用于飞行状况分析和通信的基于神经网络的系统1.相关申请的交叉参考2.本技术要求2020年5月15日在美国专利商标局提交的第63/025,825号美国临时专利申请的优先权及权益，所述美国临时专利申请的全部公开内容以引用的方式并入本文中。技术领域3.本公开的实施例的方面涉及用于使用神经网络分析飞行状况的系统和方法和用于将飞行分析信息传送给飞行员的用户界面。背景技术：4.当飞行器飞行时，人类飞行员集成来自各种不同标准的传感器或仪表的信息以维持态势感知。来自传感器和仪表的不同测量值可为飞行员指示不同操作情境，这些情境可对应于不同飞行阶段，例如起飞、上升、巡航、下降和着陆，并且还可包含其它情境，例如低能见度情形、暴风雨情形、扰流和飞行器系统部分故障。来自不同仪表的信息可在不同操作情境下具有不同等级的相关性或重要性。此外，飞行员可通过致动各种飞行器控件对特定状况做出响应，例如进行转向以绕过扰流。技术实现要素：5.本公开的实施例的方面涉及用于使用神经网络分析飞行状况的系统和方法和用于将飞行分析信息传送给飞行员的用户界面。例如，在一些实施例中，神经网络或其它统计模型接收传感器输入以将当前飞行状况分类为多个不同飞行情境中的一个。在一些实施例中，神经网络或其它统计模型还基于检测到的当前飞行情境预测或估计遗漏传感器输入的值。在一些实施例中，神经网络或其它统计模型通过飞行器仪表报告其分析结果。在各种实施例中，分析结果包含在当前飞行情境中特别重要的仪表的指示、基于传感器输入推断的关于当前情境的语义标记，以及对当前飞行状况作出响应的控制建议的指示。6.根据本公开的一个实施例，飞行员支持系统包含：处理电路；以及存储指令的存储器，所述指令在由处理电路执行时使处理电路：接收关于载具的当前状态的输入数据；编码输入数据以产生经编码的输入数据；将经编码的输入数据供应到经训练的统计模型；使用经训练的统计模型基于输入数据计算载具的当前情境；使用经训练的统计模型基于当前情境计算一个或多个飞行员反馈指示；以及将一个或多个飞行员反馈指示提供到载具的驾驶舱。7.经训练的统计模型可包含神经网络。8.神经网络可包含受限波兹曼机(restricted boltzmann machine)。9.输入数据可包含驾驶舱传感器数据和驾驶舱控件数据。10.载具可为飞行器，驾驶舱传感器数据可包含：飞行器俯仰角和飞行器偏航角，驾驶舱控件数据可包含：飞行操纵杆位置。11.经训练的统计模型可使用对应于专家飞行员的操作的训练数据来训练，训练数据包含：训练传感器数据；训练驾驶舱控件数据；以及与不同情境相关联的语义标记。12.用于编码输入数据的指令可包含在由处理电路执行时使处理电路进行以下操作的指令：将输入数据划分到多个时间窗口中；以及产生每个时间窗口的汇总值，所述汇总值包含：均值；最大值；以及最小值。13.飞行员反馈指示可包含与当前情境相关的仪表，且提供一个或多个飞行员反馈指示的指令可包含在由处理电路执行时使处理电路点亮与相关于当前情境的仪表相关联的灯的指令。14.飞行员反馈指示可包含推荐控件致动，且提供一个或多个飞行员反馈指示的指令可包含在由所述处理电路执行时使处理电路显示要致动驾驶舱控件的推荐方向的指令。15.飞行员反馈指示可包含语义标记，且提供一个或多个飞行员反馈指示的指令可包含在由处理电路执行时使处理电路将语义标记显示在驾驶舱中的显示装置上的指令。16.根据本发明的一个实施例，用于向飞行员提供反馈的方法包含：通过处理电路接收关于飞行员所操作的载具的当前状态的输入数据；通过处理电路编码输入数据以产生经编码的输入数据；通过处理电路将经编码的输入数据供应到经训练的统计模型；通过处理电路使用经训练的统计模型基于输入数据计算载具的当前情境；通过处理电路使用经训练的统计模型基于当前情境计算一个或多个飞行员反馈指示；以及通过处理电路将一个或多个飞行员反馈指示提供到载具的驾驶舱。17.经训练的统计模型可包含神经网络。18.神经网络可包含受限波兹曼机。19.输入数据可包含驾驶舱传感器数据和驾驶舱控件数据。20.载具可为飞行器，驾驶舱传感器数据可包含：飞行器俯仰角和飞行器偏航角，驾驶舱控件数据可包含：飞行操纵杆位置。21.经训练的统计模型可使用对应于专家飞行员的操作的训练数据来训练，训练数据包含：训练传感器数据；训练驾驶舱控件数据；以及与不同情境相关联的语义标记。22.编码输入数据可包含：将输入数据划分到多个时间窗口中；以及产生每个时间窗口的汇总值，所述汇总值包含：均值；最大值；以及最小值。23.飞行员反馈指示可包含与当前情境相关的仪表，且提供一个或多个飞行员反馈指示可包含点亮与相关于当前情境的仪表相关联的灯。24.飞行员反馈指示可包含推荐控件致动，且提供一个或多个飞行员反馈指示可包含显示要致动驾驶舱控件的推荐方向。25.飞行员反馈指示可包含语义标记，且提供一个或多个飞行员反馈指示可包含将语义标记显示在驾驶舱中的显示装置上。附图说明26.附图连同说明书一起说明本发明的示例性实施例，并连同描述一起用以解释本发明的原理。27.图1为根据本公开的一个实施例的说明飞行员支持系统的作用的示意性框图。28.图2为根据本公开的一个实施例的说明用于训练统计模型，确切来说是训练神经网络作为飞行员支持系统的组件的过程的示意性框图。29.图3为根据本公开的一个实施例的训练例如神经网络的统计模型作为飞行员支持系统的组件的方法的流程图。30.图4a和4b为当经训练的统计模型在操作期间用于报告情境状况时，例如在飞行器处于飞行期间，通过所述经训练的统计模型的信息流的示意性绘图。31.图5a和5b分别为根据本公开的一个实施例的从载具传感器和驾驶舱传感器到神经网络的用于推断当前情境的信息流和从神经网络到驾驶舱指示器和控件的信息流的示意性绘图。32.图6为根据本公开的一个实施例的用于使用飞行员支持系统检测情境并产生飞行员支持信息的方法的流程图。33.图7是可以与本发明的实施例结合使用的计算机系统的框图。34.图8是一些形式的非易失性存储介质的描绘。具体实施方式35.在以下详细描述中，借助于图示仅示出并描述本发明的某些示例性实施例。所属领域的技术人员将认识到，本发明可以许多不同形式体现且不应被理解为限于本文中所阐述的实施例。贯穿本说明书，相似的附图标记表示相似元件。36.本发明的实施例的方面涉及飞行员支持，包含不断检测飞行状况且将情形情境信息传送给操作飞机的飞行员的系统和方法。虽然在此关于飞行员飞行飞机的支持描述了本公开的各种实施例，但本公开的实施例并不限于此，并且还可应用于其它用于帮助飞行员操作载具的系统，所述载具例如其它类型的飞行器(例如滑翔机和直升飞机)、陆地载具(例如汽车和卡车)和船艇(例如小艇、轮船和潜艇)。此外，本公开的实施例可适于其它机械的操作，例如机械工具、木工工具和其它设备，其中传感器用于将反馈提供给控制机械的用户。37.各种载具可包含各种各样的传感器和其它仪表以向飞行员提供关于载具的当前状态的信息。陆地载具可包含指示当前陆地速度的速度计和指示当前引擎速度的转速计。飞行器可包含飞行仪表，例如高度计、空速指示器、垂直速度指示器、航向指示器(例如指南针)、陀螺俯仰倾斜指示器(例如人工地平仪)等等。潜艇可包含指示当前深度、垂直和水平速度、浮力等等的仪表。38.许多载具包含各种等级的自动操作，例如飞行器的自动驾驶功能性和汽车中的高级驾驶员辅助系统(adas)和各种等级的自动化。然而，一些任务极难自动化，但许多其它任务由自动化系统处理比由人类处理有效得多。这给如何在人类和机械之间有效分配任务负载带来了挑战。39.在操作载具时，人类飞行员接受大量信息，其中大部分与飞机将要经历的大多数情形无关。通过训练和经验，飞行员可学会基于不同仪表的各种组合的输出来确定所驾驶的载具的当前状况，所述仪表可取决于情境而具有极其不同的正常操作值(例如巡航期间与着陆时或滑行时的空速)，并且可知晓何种信息与当前情境相关。然而，相关信息的有效提示能够帮助飞行员理解不断变化的状况并改进响应时间。40.人类飞行员和辅助机械之间的快速且直观的通信改进了对飞机和其它载具的控制，从而改进载具操作的安全性和性能。本公开的实施例基于组合来自各种各样关于载具的当前状态的不同输入的信息检测飞行状况和状态，所述信息包含传感器数据、当前控件数据和来自外部源的数据，从而支持广泛的人机协同操作。本公开的实施例还能够先于人类识别出异常飞行状况，从而改进飞行器安全性。因此，本公开的实施例的方面涉及用于改进飞行员、载具和载具的自动操作功能性之间的通信的系统和方法。41.图1为根据本公开的一个实施例的说明飞行员支持系统的作用的示意性框图。如图1所示出，例如飞行器的载具1可包含传感器10、飞行员的驾驶舱20及驾驶舱20中的控件30的集合。在驾驶舱20内的各种仪表21可报告通过传感器10收集的信息(例如人工地平仪可提供来自陀螺仪传感器的信息)。此外，在驾驶舱20内的各种控件30允许飞行员控制载具，例如控制引擎功率的油门(就飞行器而言，这还可包含控制俯仰角和偏航角的操纵杆或飞行控制杆和用于控制方向舵的踏板)。42.更一般而言，根据本公开的实施例的飞行员支持系统100接收来自例如以下的多种不同来源的当前信息流：嵌入在载具中的传感器10(例如飞行器的当前俯仰角、偏航角、海拔、空速、垂直速度等等)；内部数据源(例如从载具上的计算机系统加载的静态数据，例如地图)；外部来源的数据(例如，通过通信网络接收的动态和/或静态数据，例如全球定位系统数据和天气信息)；驾驶舱控件信息(例如，油门、飞行操纵杆和方向舵等各种控件30的当前位置和设置)；以及其它关于载具的当前状态的信息，例如状况的语义标记。在一些实施例中，各种仪表的相关性是通过比较基于特定情境检测产生的由飞行员支持系统(参见图5b)计算的值和这些输出的标称或平均值确定的，以识别当前显示异常值(例如离群值)的仪表，所述异常值可与标称值不同(例如在统计学上显著不同)。此外，在本公开的一些实施例中，飞行员支持系统可通过驾驶舱控制信息访问关于飞行员动作的信息，以及潜在的跟踪飞行员的活动的其它传感器(例如确定飞行员当前物理姿势的相机系统，例如飞行员面向哪个方向；确定飞行员正在注视何处的眼部跟踪；确定飞行员触摸什么控件的压力传感器，在致动这些控件之前或之时)。43.然而，许多重要状况可能不容易通过任何单个传感器输入显现。可使用在这些信息流上训练的神经网络(或其它统计模型200)基于关于当前状况的多个输入识别这些复杂的状况或状况的组合，以建立“情境”。情境在被识别出后将改变哪些信息对人类飞行员和自动驾驶系统最具直接价值，所述情境例如基于天气的情境，如“暴风雨天气”或“冰云”，及基于载具的情境，例如“引擎故障”、“机舱失火”或“减压”。随后，系统将突出最直接相关的仪表(例如计量表)和控件。44.本公开的实施例的一些方面涉及训练阶段，其中来自载具(例如飞机)的传感器数据流与控件数据和状况的语义标记组合。这些数据用作用于训练统计模型(例如神经网络)的输入，所述统计模型将数据分层聚类到不同情境中(例如使用无监督学习)。本公开的实施例的一些额外方面涉及在操作阶段或部署阶段期间使用经训练的统计模型(例如神经网络)，其中飞行员支持系统输出提示，例如视觉关注区域和语义标记，所述提示引起对状况特定信息的注意。在本公开的一些实施例中，飞行员的动作反馈到控制系统中允许双向学习，因为飞行员支持系统向飞行员反馈学习，同时飞行员也学习和飞行员支持系统合作。本公开的实施例的一些方面进一步涉及控制所集成飞行员支持系统的操作模式之间的切换。45.更详细地说，本发明实施例的方面包含将输入数据划分为感觉、控件和语义类型，以及使用这些相同划分报告飞行状况。根据本公开的实施例的飞行员支持系统并非监测个别系统，而是监测大量的传感器，确定每个传感器的相对重要性(“重要性值”)，并且将飞行员的注意力引向这些相关仪表。在一些实施例中，基于当前输出值是否不同于标称值(例如平均值或典型值)及相差多少而确定相对重要性值或重要性值。在一些实施例中，通过比较图5b中示出的输出值和平均值确定相对重要性(例如通过从输出值减去平均值或均值以计算表示重要性值的差值)。随后使所得差与相对重要性相关。在一些实施例中，输出的典型统计信息也是已知的，且重要性值以均值的标准差为单位进行计算。这在人类飞行员必须快速适应情形情境的情形中是有利的，例如当在自动驾驶和手动操作模式之间切换时。在此情况下，本公开的实施例可以减少从切换发生时性能下降中恢复的时间。46.在一些实施例中，来自飞行员支持系统100的状态输出的内容和格式取决于神经网络的输入的内容和格式，例如，如果输入包含来自一系列飞行仪表的读数，则输出将通过将注意力引向与状况相关的飞行仪表来报告飞行状况或飞行情境。作为另一实例，如果输入包含关于驾驶舱20中的飞行员控件30位置的信息，则输出可通过突出个别控件(例如使控件上的灯闪烁)并指示其中个别控件可被操控的方向(例如在特定方向上拨动开关或移动油门)来包含要采取的建议动作。作为第三实例，如果输入包含关于特定状况(例如扰流)存在的语义信息或标记，则输出可包含可显示给飞行员的类似语义标记，例如在驾驶舱20中的显示器上(例如在陆地载具的仪表板上或在飞行器的仪表面板的多功能显示器上)显示。47.根据本公开的各种实施例的飞行员支持系统可以各种不同方式实施和集成到载具中。在本公开的各种实施例中，飞行员支持系统100使用包含电子处理电路的计算机系统实施。处理电路可包含一个或多个处理器和一个或多个存储指令的存储器模块，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行操作以实施本公开的实施例的系统和方法。所述一个或多个处理器可包含各种类型的不同处理电路的组合，例如中央处理单元(cpu)、图形处理单元(gpu)、现场可编程门阵列(fpga)、张量处理器、人工智能(ai)加速器(例如设计成执行例如神经网络中的前向传播的人工智能算法中常见的操作的处理电路，所述操作例如点积、激活函数等等)、数字信号处理器(dsp)、专用集成电路(asic)等等。实施飞行员支持系统的计算机系统可与载具的其它已有计算系统集成，例如飞行计算机、已有的自动驾驶、载具的adas系统等等，或者可以使用通过控制器局域网(can)总线等通信总线与载具现有的计算系统通信的单独硬件来实施。48.本公开的实施例的方面可分两个阶段操作，包含训练阶段，在此期间处理输入训练数据且将其编码为供统计模型使用的格式，其中基于训练数据训练统计模型。例如，在统计模型包含神经网络的情况下，在受监督学习过程中，这可包含以前向传播或推断模式将经编码的输入数据供应到神经网络，随后比较基于参数集计算的网络输出与预期输出(例如基于经标记的训练数据)，并且更新参数以减小在所计算输出和预期输出之间的误差(例如使用反向传播算法和梯度下降)，或使用无监督学习过程将训练数据自动聚类到多个不同聚类中。在下文更详细地呈现根据本公开的实施例的训练统计模型的实例方法的细节。49.在操作期间，给定统计模型200的当前输入，经训练的统计模型200识别当前操作情境，且飞行员支持系统100经由针对输入的类别定制的一个或多个界面将当前操作情境报告给飞行员。50.图2为根据本公开的一个实施例的说明用于训练统计模型，确切来说是训练神经网络作为飞行员支持系统的组件的过程的示意性框图。图3为根据本公开的一个实施例的训练例如神经网络的统计模型作为飞行员支持系统的组件的方法的流程图。51.如图2所示出，统计模型200的输入训练数据210分类为三个类别：驾驶舱传感器211、驾驶舱控件213和语义标记215。在训练阶段期间，将对应于时间点的数据的完整向量用作使用统计模型200产生分级情境表示的输入。在本公开的一些实施例中，这些输入训练数据210的完整向量是从专家飞行员的飞行记录获得的。在此训练数据的记录期间，驾驶舱传感器211的值(例如飞行器的当前俯仰角、偏航角和海拔、负荷、襟翼和缝翼的位置、舱压、温度、湿度、制动器扭矩传感器、健康和使用监测系统(hums)、迎角(aoa)、空气速度、引擎速度(rpm)和各种状态指示灯)连同由专家飞行员操控的控件213的状态(例如油门的当前位置、方向舵、飞行操纵杆、制动器、襟翼位置、导航和自动驾驶设置，以及除冰、灯和电源等开关)以及飞行状况的语义标记215一起进行连续取样和保存。这些语义标记215可在记录期间由专家飞行员产生，或者作为查看数据时的后处理步骤来产生。在一些实施例中，以10个样本/秒(或10hz)的速率对数据进行捕集或取样，但是本公开的实施例不限于此，并且可使用更高的样本速率或更低的样本速率。在本公开的一些实施例中，取样速率高到足以捕集大体上实时的信息(例如样本之间不超过几秒)。52.根据本公开的一些实施例，统计模型200包含神经网络以建立当前载具情境的分级表示。表示的层级的最低等级220可包含传感器输入的常见聚类，例如操纵模式或共存传感器值，而层级的最高等级240可涵盖广泛类别的状况，例如扰流或机械故障。适合于分级聚类的神经网络架构的实例包含：深度受限波兹曼机(例如参见salakhutdinov,r.和hinton,g.(2009年4月)，深度波兹曼机，人工智能与统计(第448-455页)；深度自动编码器(例如参见hinton,g.e.和salakhutdinov,r.r.(2006年)，使用神经网络降低数据的维数，科学(science)，313(5786)，504-507)和/或生成性对抗网络(例如参见radford,a.、metz,l.和chintala,s.(2015年)，具有深度卷积生成性对抗网络的无监督表示学习，arxiv预印本arxiv:1511.06434)。通过统计模型的训练识别的每个聚类可表示载具的不同操作情境。这些操作情境中的一些可能需要来自飞行员的响应。例如，扰流状况可能需要飞行员将飞行器转向离开扰流区。作为另一实例，信号灯状况可能需要驾驶员在接近路口时将汽车减速。53.参考图3，供应在专家飞行员操作载具时捕集到的来自所记录传感器数据和驾驶舱控件数据的训练数据作为训练过程的输入。如上所述，可以例如10hz的取样速率捕集数据，其中不同来源的数据经时间对准，且其中每个数据源对应于一个或多个时间序列数据流。图3中示出的操作可由例如计算机系统的训练系统执行，所述训练系统可包含电子处理电路。处理电路可包含一个或多个处理器和一个或多个存储指令的存储器模块，所述指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行操作以实施本公开的实施例的系统和方法。所述一个或多个处理器可包含各种类型的不同处理电路的组合，例如中央处理单元(cpu)、图形处理单元(gpu)、现场可编程门阵列(fpga)、张量处理器、人工智能(ai)加速器(例如设计成执行例如神经网络中的前向传播的人工智能算法中常见的操作的处理电路，所述操作例如点积、激活函数等等)、数字信号处理器(dsp)、专用集成电路(asic)等等。一般而言，用于训练统计模型的过程比操作统计模型(例如使用统计模型来执行推断或预测)还要更计算密集。因此，根据本发明的实施例的统计模型可“脱机”训练，例如使用不同于将模型执行为飞行员支持系统100的组件的硬件。例如，训练系统可包含一个或多个计算机服务器，且可在云环境中(例如在数据中心中)运作。54.在图3中示出的实施例中，训练数据210包含训练传感器数据211、训练驾驶舱控件数据213和训练语义标记215。如图3所示出，在操作310中，训练传感器数据211编码成适合于与统计模型200一起使用的形式，在操作320中，训练控件数据213编码成适合于与统计模型200一起使用的形式，以及在操作330中，训练语义标记215编码成与统计模型200一起使用的形式。例如，在本公开的一些实施例中，例如速度、海拔、控件位置等等的连续值可编码成在特定范围内的浮点值(例如在0到1的连续范围内或在0到255的范围内)。在本公开的一些实施例中，可在不同表示空间之间转换值(例如非线性值可转换为线性空间，例如通过对二次空间中的值应用平方根函数)。在本公开的一些实施例中，使用离散值对离散值编码。例如，语义标记215可使用例如0和1的二进制值编码，分别指示这些标记的不存在和存在。作为另一实例，沿着程度进展降低的语义标记可使用连序值标记(例如天气报告所指示的暴风雨的等级)。55.此外，在本公开的一些实施例中，将数据流分组到时间窗口中，其中每个时间窗口对于每个数据流可包含多个样本(例如用于每个传感器输入和用于每个驾驶舱控件输入)。因此，编码数据可包含基于在给定时间窗口内的值计算每个数据流的聚合或汇总值。这些聚合或汇总值可包含：均值、最大值、最小值、方差或标准差、范数等等。例如，可以10hz的取样速率从每个传感器收集传感器数据，且将其分组到1秒的时间窗口中，使得每个时间窗口包含10个样本。随后使用在1秒时间窗口内从给定传感器收集的10个样本来计算上文所描述的汇总值，以产生关于给定时间窗口的传感器的输入特征的向量。更具体来说，输入传感器数据可包含俯仰角、偏航角和海拔。对于给定时间窗口，可存在10个俯仰角值、10个偏航角值和10个海拔值。可对这些传感器中的每一个计算汇总值。例如，对于偏航角传感器，时间窗口的向量可包含：均值偏航角；最大值偏航角；最小值偏航角；偏航角的标准差；偏航角的范数等。同样地，对于俯仰角传感器，相同时间窗口的向量可包含：均值俯仰角；最大值俯仰角；最小值俯仰角；俯仰角的标准差；俯仰角的范数等。56.如上所述，在本公开的一些实施例中，统计模型200包含受限波兹曼机，根据本公开的实施例，所述受限波兹曼机为一种能够进行供飞行员支持系统100使用的分级聚类和双向信息流的统计模型。在最简单的形式中，受限波兹曼机包含两层：可见层和隐藏层，分别表示为向量v和h。然而，本公开的实施例并不限于此且可包含深度神经网络(例如具有超过两个层的受限波兹曼机)。因此，在此类实施例中，在操作310、320和330中执行的训练传感器数据211、训练控件数据213和训练语义标记215的编码将这些数据编码成各自的训练向量v(例如vsensor、vcontrols和vlabels)。在操作340中，训练系统合并来自不同来源的数据以产生时间序列数据的合并训练向量(vtraining)，其中来自不同来源的数据根据其时戳对准(例如其中每个训练向量的“数据点”在特定时间点或在特定时间窗口期间对应于传感器、控件和语义标记的值)。57.连接可见层和隐藏层的权数表示为矩阵w。(在具有超过两个层的深度神经网络的实施例中，例如图2中示出的实施例，存在表示每对层之间的连接的单独矩阵w。)网络状态的能量等级的定义如等式(1)所示：58.e(v，h；w)＝-vtwhꢀꢀ(1)59.在本公开的一些实施例中，v和h中的个别单元为具有值1或0的概率二进制单元，其中波兹曼网络的输入数据可以设定在可见层的向量v中。在没有外部输入的情况下，模型可根据等式(2)和(3)将概率分配到向量v：[0060][0061][0062]其中p*(v；w)为反归一化的概率且z(w)为配分函数。每个隐藏单元j(例如第j个隐藏单元hj)或可见单元i(例如第i个可见单元vi)的状态概率由等式(4)和(5)表示：[0063][0064][0065]其中σ(x)＝1/(1+exp(x))，d为v的长度，p为h的长度。权数矩阵w的学习规则的表示如等式(6)、(7)和(8)中示出：[0066][0067]pdata(h，v；w)＝p(h|v；w)pdata(v)ꢀꢀꢀ(7)[0068][0069]其中α为学习速率。学习规则(例如，如等式(6)、(7)和(8)中所示出)表达数据相依期望和模型期望的发散。根据等式(2)，pdata为当v保持在数据集中的常量输入值时网络活动的数据相依概率分布，而pmodel为默认网络活动的概率分布。在操作350中，训练系统使用合并训练向量训练模型以学习载具的操作情境。对完整数据集的训练包含将学习规则应用到训练集中的每个数据点(例如每个时间点或时间窗口的每个训练向量vtraining，其中可以随机次序供应数据点)，以及在操作360中确定模型是否收敛。如果模型尚未收敛，则训练在操作350中继续，例如通过继续应用学习规则以更新网络的权数w直到收敛。当网络的能量等级e(v,h；w)(见等式(1))在对数据集中的数据点应用学习规则时不再显著改变时，达到收敛。如图3所示出，训练过程的结果为经训练的统计模型200。[0070]作为根据本公开的一个实施例的用于统计模型的训练过程的具体实例，从飞行模拟器软件系统收集数据，其中来自驾驶舱传感器和语义标记的数据流用于根据本公开的实施例训练统计模型200，以检测晴朗天气与暴风雨天气。[0071]为了收集训练数据，使用飞行模拟器软件系统的天气定制特征产生晴朗天气和暴风雨天气这两个飞行情境。对于这两个情境中的每一个，在以固定海拔飞行时从模拟传感器记录大约30分钟的数据。出于本实例的目的，以大约10hz从模拟器实时收集数据的俯仰角和翻滚角值。随后将数据分为1秒时间窗口的块。随后通过计算正负号变化的次数、遍历均值的次数、均值、标准差、范数、最大值和最小值对每个块的数据预处理，使得针对每个原始输入(翻滚角和俯仰角)计算出7个汇总值，从而产生14个数据输入。保存这些值以用于训练神经网络200的情境认知度。此外，在训练期间包含两个空的语义输入，其中一个输入在晴朗状况期间设为1(晴朗情境)，另一输入在暴风雨状况期间设为1(暴风雨情境)。与语义输入组合，v具有大小16，h设为大小2。神经网络200在整个数据集上训练1,000个历元。[0072]操作阶段[0073]信息流[0074]如上所述，在训练阶段期间，信息从输入传感器向前流到神经网络以用于情境表示。另一方面，在操作阶段期间，信息首先向前流动通过经训练的统计模型200，以识别操作的当前情境(例如巡航、扰流、着陆、滑行等)。随后信息反向流动，提供初始未提供的输入数据的重构。经重构的输入数据进一步反向流到设计成直观地将信息传达给飞行员的界面。[0075]图4a和4b为当经训练的统计模型200在操作期间用于报告检测到的情境时，例如在飞行器处于飞行期间，通过所述经训练的统计模型200的信息流的示意性绘图。图5a和5b分别为根据本公开的一个实施例的从载具传感器和驾驶舱传感器到神经网络的用于推断当前情境的信息流和从神经网络到驾驶舱指示器和控件的信息流的示意性绘图。在200中，阴影值指示高数值的节点，从而形成输入的情境指标。在210中的阴影值指示在信息流的第一阶段期间初始提供的输入传感器值，而510中的阴影值指示在信息流的第二阶段期间飞行员可以获得的所有值。元件211、213和215表示原始输入值类型，而元件511、513和515形成物理报告界面，通过所述物理报告界面将来自510的信息报告给飞行员。[0076]在飞行期间，情境由神经网络识别并报告给飞行员。如图4a和5a中所示出，为了识别情境，将表示飞机当前状态的输入集合输入到神经网络200。如图4a所示出，为检测情境，输入v保持在表示载具(例如飞行器)状态的固定数据点(如由输入节点v中的条所指示)处。传感器数据的集合可为部分的，且另有遗漏的输入。举例来说，如图5a所示出，传感器输入可仅包含阴影传感器(例如传感器1和传感器n)，且所有其它输入可为空或不存在的。信息从输入流到输出h，使得在h中的每个单元的激活表示情境的检测强度。因此，统计模型200将输入与最接近的已知情境层级匹配。[0077]当报告检测到的或推断的情境时，来自神经网络200的信息反向流动，重构任何遗漏输入的合理值。如图4b所示出，为基于当前情境重构传感器信息，h保持在其新值处，且信息流回到v。这重构了与作用中情境最关联的输入，且可用于将所述情境报告回到驾驶舱。作为更具体的实例，如图5b所示出，图5a中遗漏的数据值(例如，传感器2、控件1到控件n和标记1到标记n)从情境重构。使用经重构的输入允许来自现有传感器的已知当前输入值校正错误(例如检测所报告信息不同于预测值的发生故障的传感器)、过滤噪音并填充存在于原始数据中的信息缺口(例如由于传感器发生故障或特定载具中缺失特定传感器)。一旦为特定情境获得重构值，所有情境检测的重构均值就可从中减去，从而提供每个数据值相关性的度量。这些相关性分数可用于确定突出呈现给飞行员的信息的优先顺序。[0078]图6为根据本公开的一个实施例的用于使用飞行员支持系统检测情境并产生飞行员支持信息的方法的流程图。本公开的实施例可在现实世界或模拟操作期间的操作阶段中使用(例如现实飞行或在用于训练的飞行模拟器中的飞行)。在操作610中，飞行员支持系统100加载经训练的统计模型(例如根据图3中示出的方法训练的模型)。飞行员支持系统100进入循环，其中在操作620中，飞行员支持系统100确定载具当前是否正在操作中(例如飞行器是否正处于飞行中)。如果否，则过程结束且飞行员支持系统100终止操作。[0079]如果载具当前正在操作中，则在操作630中从传感器读取数据。以用于训练情境检测模型的相同格式收集载具传感器的数据(例如，可以类似于上文关于图3所描述的方式编码数据)。在操作640中，飞行员支持系统100通过将经编码的输入供应到经训练的统计模型200来检测情境。所述模型产生与它检测的情境相关的控件、传感器值和标记，且因此通过以下来将所述情境随后报告给人类飞行员：在操作650中推荐处理情境的控件动作，在操作660中在视觉上突出与情境相关的传感器，并在操作670中显示语义标记以便人类更好理解。飞行员支持系统100继续操作620以在剩余的操作时段期间(例如在飞行期间)继续循环。[0080]报告界面[0081]如上所述，在本公开的各种实施例中，由飞行员支持系统100产生的信息根据输入数据的最初类别传达回飞行员，所述信息例如推荐控件动作、与情境相关的传感器的视觉突出及语义标记。对于基于驾驶舱传感器的输入，信息通过视觉或听觉方式传达，从而引起对驾驶舱传感器方面的注意。例如，临近特定仪表或与特定仪表在一条直线上放置的指示器灯可点亮或设定为闪烁以吸引飞行员注意这些仪表。在使用数字显示器面板(例如计算显示面板)显示仪表数据的一些实施例中，飞行员辅助系统100可通过增加这些仪表在显示器中的突出度来突出特定控件，例如通过降低其它仪表的亮度、增加相关仪表的亮度、增加显示面板上相关仪表的相对物理大小或产生显示当前与当前情境最相关的传感器数据的定制仪表板来突出。[0082]对于基于控件30的信息，可通过移动箭头将与情境相关联的建议操纵传达给飞行员。例如，各种控件30可包含指示器箭头，所述指示器箭头沿飞行员支持系统100建议的方向点亮或闪烁。作为另一实例，驾驶舱中的数字显示器可显示要致动的控件的视觉表示，并示出控件的推荐致动方向的动画。作为额外实例，可将例如控件的振动或控件的其它物理致动的触感反馈提供给飞行员，以指示飞行员支持系统100建议控件在特定方向上移动。[0083]在一些实施例中，对于基于与情境相关联的语义标记的信息，基于文本的提示在驾驶舱中的面板内的屏幕上显示。在一些实施例中，叠加基于文本的提示作为飞行员的抬头显示的一部分。在一些实施例中，使用符号表示各种情境，而不是使用基于文本的语义标记。[0084]此外，在本公开的其它实施例中，可通过驾驶舱20内的其它用户界面元件以及其它类型的受控发光提示(例如用以突出特定控件的聚光灯)将额外信息提供给飞行员，所述其它用户界面元件例如用于特定控件的听觉提示。[0085]继续上文介绍的具体实例，在操作阶段期间使用经训练的统计模型或神经网络200，其中来自模拟的实时传感器数据通过飞行员支持系统100供应到神经网络200。作为响应，当神经网络确定所述感测数据来自暴风雨状况时，飞行员支持系统100通过在屏幕上用文本显示词“扰流”将扰流信息实时地报告给飞行员。[0086]飞行器上的模拟器或软件将关于控件的信息以及飞行器位置数据发送到飞行员支持系统100中，所述飞行员支持系统100通过对用于神经网络200的输入编码，例如通过计算给定时间窗口内的数据(例如过去1秒的数据)的均值、最大值、最小值和范数来准备数据。在本公开的一些实施例中，飞行员支持系统100的输入独立于飞行员采取的任何实际动作，且报告仅基于传感器测量和/或控件位置测量的当前状态。[0087]神经网络从可用信息中对载具的当前状态分类以检测所述神经网络已在其上训练的相关载具情境。在此实例中，神经网络就暴风雨天气与晴朗天气进行训练，但此方法一般足以针对其它情境按照大体上类似的方式发挥作用，并且在叠加情境下可以同时发生(例如引擎故障和扰流为独立情境)。[0088]因此，本发明的实例实施例能够大体上实时地将飞行情境报告给飞行员。在暴风雨情境期间，神经网络以超过90％的准确性正确地检测情境，且通过经由文本在屏幕上显示语义数据来报告检测到的情境。[0089]因此，本公开的实施例的方面涉及用于通过自动考虑来自多个不同载具传感器和多个不同驾驶舱传感器的关于驾驶舱中的控件的当前状态的数据来提供飞行员支持的系统和方法。更详细地说，本公开的实施例使用在专家飞行员对飞行器的操作(在模拟中或在现实飞行中)中捕集的训练数据来训练例如神经网络的统计模型以检测情境并将情境组织为分级聚类。各种聚类表示载具在操作期间经历的不同类型的环境，且其中不同信息可在这些时段期间与飞行员具有特定的相关性。因此，相关性的仪表和建议的控件致动可自动报告给飞行员，从而改进了飞行员表现。[0090]计算机系统[0091]图7中示出了根据实施例的示例性计算机系统1200。例如，可以使用类似于本文所描述的那些的计算机系统实施上文描述的模型训练系统和/或预部署和部署中的训练模型，但本发明的实施例并不限于此。示例性计算机系统1200配置成执行与程序或算法相关联的计算、过程、操作和/或功能。在一个实施例中，本文所论述的某些过程和步骤被实现为一系列指令(例如，软件程序)，所述指令驻留于计算机可读存储器单元内且由示例性计算机系统1200的一个或多个处理器执行。当执行时，指令使示例性计算机系统1200执行特定动作且展现特定特性，例如本文所描述。[0092]示例性计算机系统1200可包含配置成传送信息的地址/数据总线1210。此外，例如处理器1220的一个或多个数据处理单元与地址/数据总线1210耦合。处理器1220配置成处理信息和指令。在实施例中，处理器1220是微处理器。替代地，处理器1220可以是不同类型的处理器，例如并行处理器或现场可编程门阵列。[0093]示例性计算机系统1200配置成利用一个或多个数据存储单元。示例性计算机系统1200可包含与地址/数据总线1210耦合的易失性存储器单元1230(例如，随机存取存储器(“ram”)、静态ram、动态ram等)，其中易失性存储器单元1230配置成存储用于处理器1220的信息和指令。示例性计算机系统1200还可以包含与地址/数据总线1210耦合的非易失性存储器单元1240(例如，只读存储器(“rom”)、可编程rom(“prom”)、可擦除可编程rom(“eprom”)、电可擦除可编程rom(“eeprom”)、快闪存储器等)，其中非易失性存储器单元1240配置成存储用于处理器1220的静态信息和指令。替代地，示例性计算机系统1200可以执行从在线数据存储单元检索的指令，例如在“云”计算中。在实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个接口，例如接口1250。所述一个或多个接口配置成使示例性计算机系统1200能够与其它电子装置和计算机系统介接。由所述一个或多个接口实施的通信接口可包含有线(例如，串行缆线、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。[0094]在一个实施例中，示例性计算机系统1200可包含与地址/数据总线1210耦合的输入装置1260，其中输入装置1260配置成将信息和命令选择传送到处理器1220。根据一个实施例，输入装置1260是可以包含字母数字和/或功能键的字母数字输入装置，例如键盘。替代地，输入装置1260可为除字母数字输入装置外的输入装置。在实施例中，示例性计算机系统1200可包含与地址/数据总线1210耦合的光标控制装置1270，其中光标控制装置1270配置成将用户输入信息和/或命令选择传送到处理器1220。在实施例中，利用例如鼠标、轨迹球、轨迹垫、光学跟踪装置或触摸屏的装置来实施光标控制装置1270。尽管上文如此描述，但是在实施例中，例如响应于与输入装置1260相关联的特殊键和键序列命令的使用，经由来自输入装置1260的输入引导和/或激活光标控制装置1270。在替代实施例中，光标控制装置1270配置成由语音命令引导或指示。[0095]在实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个任选的计算机可用数据存储装置，例如存储装置1280。存储装置1280配置成存储信息和/或计算机可执行指令。在一个实施例中，如图8中所示出，存储装置1280是诸如磁盘或光盘驱动器(例如，硬盘驱动器(“hdd”)、软盘1282、压缩光盘只读存储器(“cd-rom”)1284、数字多功能光盘(“dvd”))或快闪存储器(例如，呈usb驱动器形式的nand快闪)1286之类的存储装置。依据一个实施例，显示装置1290与地址/数据总线1210耦合，其中显示装置1290配置成显示视频和/或图形。在实施例中，显示装置1290可以包含阴极射线管(“crt”)、液晶显示器(“lcd”)、场发射显示器(“fed”)、等离子显示器，或适合于显示视频和/或图形图像和用户可辨识的字母数字字符的任何其它显示装置。[0096]本文呈现示例性计算机系统1200作为根据实施例的示例性计算环境。然而，示例性计算机系统1200不严格限于计算机系统。例如，实施例规定示例性计算机系统1200表示根据本文所描述的各种实施例可以使用的一类数据处理分析。此外，也可以实施其它计算系统。实际上，本发明技术的精神和范围不限于任何单个数据处理环境。因此，在实施例中，利用由计算机执行的例如程序模块等计算机可执行指令来控制或实施本发明技术的各种实施例的一个或多个操作。在一个示例性实施方案中，此类程序模块包含配置成执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件和/或数据结构。此外，实施例规定通过利用一个或多个分布式计算环境实施本发明技术的一个或多个方面，例如在所述分布式计算环境中，任务是由通过通信网络链接的远程处理装置执行的，或例如在所述分布式计算环境中，各种程序模块位于包含存储器存储装置的本地和远程计算机存储介质中。[0097]虽然已经关于某些示例性实施例来描述本发明，但应理解，本发明不限于所公开的实施例，相反地，本发明希望涵盖包含于所附权利要求书及其等效物的精神和范围内的各种修改和等效布置。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!