声音处理装置、声音处理方法和声音处理程序与流程

电子通信装置的制造及其应用技术1.本发明涉及声音处理装置、声音处理方法以及声音处理程序。背景技术：2.近年来，通过使用头部相关传递函数(hrtf)(其在数学上表示声音到达收听来自声源的声音(音频)的收听者(用户)的耳朵的方式)输出声音的通过可穿戴设备(诸如耳机)立体声地再现声音的技术已经引起关注。在该技术中，使用通过被称为虚拟头麦克风的人形麦克风获取的hrtf，并且通过虚拟头麦克风获取的hrtf被转换为对收听者唯一的hrtf，从而允许实现根据每个收听者的再现环境。3.现有技术文献4.专利文献5.专利文献1：日本专利申请公开号2015-171111技术实现要素：6.本发明要解决的问题7.然而，因为在上述技术中，用作再现声音的参考的空间(环境)是固定的，所以可能存在难以灵活地再现期望的声音的情况。8.因此，在本公开中，提出了一种声音处理装置、声音处理方法以及声音处理程序，其允许声音被灵活地再现并且新颖并改进。9.问题的解决方案10.根据本公开，提供了一种声音处理装置，包括：获取部，从第一声音数据获取与声音的发声方式相关的参数，第一声音数据通过实际测量而获得；调整部，根据再现空间调整所述参数；合成部，基于由所述调整部调整后的参数，从第二声音数据生成第三声音数据；输出部，再现第三声音数据。附图说明11.图1是示出根据实施方式的声音处理系统的配置实例的示图。12.图2为表示本实施方式的声音处理系统的功能概要的图。13.图3是示出了根据实施方式的声音处理系统的功能的概要的示图。14.图4是示出了根据本实施方式的声音信息的测量数据的一个实例的图表。15.图5示出了根据实施方式的声音信息的测量数据的一个实例的图表。16.图6示出了显示根据实施方式的声音信息的测量数据的一个实例的图表。17.图7为示出根据本实施方式的声音处理系统的配置实例的方框图。18.图8是示出根据本实施方式的声音信息的测量数据的一个实例的示图。19.图9是示出根据本实施方式的声音信息存储部的一个实例的表格。20.图10是示出根据实施方式的收听者特征信息存储部的一个实例的表格。21.图11是示出在根据实施方式的声音生成装置中的处理的流程的流程图。22.图12是示出在根据实施方式的声音处理装置中的处理的流程的流程图。23.图13是示出根据实施方式的参考空间的一个实例的示图。24.图14是示出根据实施方式的各个终端设备的一个实例的示图。25.图15是示出根据实施方式的处理的变化的概要的示图。26.图16是示出根据实施方式的gui的一个实例的示图。27.图17是示出根据实施方式的处理的变化的概要的示图。28.图18是示出根据实施方式的处理的变化的概要的示图。29.图19是表示实现声音处理装置的功能的计算机的一例的硬件结构图。具体实施方式30.在下文中，将参考附图详细描述本公开的优选实施方式。应注意，在本说明书和附图中，具有大致相同功能配置的部件由相同参考标号表示，并且由此省去重复描述。31.应注意，按照以下顺序给出描述。32.1.本公开的一个实施方式33.1.1.概述34.1.2.声音处理系统的配置35.2.声音处理系统的功能36.2.1.功能概述37.2.2.功能配置实例38.2.3.声音处理系统的处理39.2.4.处理的变形40.3.硬件配置实例41.4.结论42.《1.本公开的一个实施方式》43.《1.1.概述》44.近年来，通过使用头部相关传递函数(hrtf)(其在数学上表示声音到达收听来自声源的声音的收听者(用户)的耳朵的方式)输出声音的通过可穿戴设备(诸如，耳机)立体声地再现声音的技术已经引起关注。在该技术中，使用通过被称为虚拟头麦克风的人形麦克风获取的hrtf，并且通过虚拟头麦克风获取的hrtf被转换为对收听者唯-的hrtf，从而允许实现根据每个收听者的再现环境。45.然而，因为在上述技术中，用作再现声音的参考的空间是固定的，所以可能存在难以灵活地再现期望的声音的情况。46.通过专注于上述方面已经设计了本公开的实施方式的构思，并且提出了允许声音灵活再现的技术。在下文中，将按顺序详细描述本实施方式。47.《1.2.声音处理系统的配置》48.首先，对实施方式所涉及的声音处理系统1的配置进行说明。图1为示出了声音处理系统1的配置实例的示图。如图1所示，声音处理系统1包括声音处理装置10、终端装置20、声音提供装置30和声音生成装置40。各种装置可连接至声音处理装置10。例如，终端装置20和声音提供装置30连接至声音处理装置10，并且在这些装置中，执行信息的链接。终端装置20和声音提供装置30以无线方式连接到声音处理装置10。例如，声音处理装置10使用蓝牙(注册商标)与终端装置20和声音提供装置30执行近场无线通信。要注意的是，终端装置20和声音提供装置30可通过有线的方式连接至声音处理装置10，或者可经由网络连接至声音处理装置。49.(1)声音处理装置1050.声音处理装置10是根据与声音的发声方式有关的多个参数控制例如由终端装置20输出的声音的信息处理装置。具体地，声音处理装置10首先获取与环境中的声音的发声方式相关的参数，这些参数从在预定空间中通过实际测量获得的声音信息(在下文中，适当地称为“第一声音数据”)中测量。要注意的是，与声音的发声方式相关的参数是直达声音、初期反射、后期混响、收听者的特征等。然后，基于所获取的参数，声音处理装置10执行处理以在与测量声音信息的空间不同的其他空间中再现测量的声音信息。然后，声音处理装置10为终端装置20提供进行了再现处理的声音信息。要注意的是，在后文中，在进行再现处理之前的声音信息适当地称为“第二声音数据”。与在预定空间中通过实际测量获得的第一声音数据不同，第二声音数据是从声源发出的前(原始)声音信息，它可以在不同于预定空间的其他空间中获得。此外，在下文中，在进行再现处理之后的声音信息被适当地称为“第三声音数据”。51.此外，声音处理装置10还具有控制声音处理系统1的整体操作的功能。例如，声音处理装置10基于在装置之间链接的信息控制声音处理系统1的整体操作。具体地，例如，基于从声音提供设备30接收的信息，声音处理设备10控制由终端设备20输出的声音。52.声音处理装置10由pc(个人计算机)、ws(工作站)等实现。要注意的是，声音处理装置10不限于pc、ws等。例如，声音处理装置10可为诸如pc和ws的信息处理装置，其中，作为声音处理装置10的功能实现为应用程序。53.(2)终端装置2054.终端设备20是用于输出声音的可穿戴设备，诸如耳塞式耳机和头戴式耳机。值得注意的是，终端设备20并不限于可穿戴设备，只要设备可操作用于输出声音，终端设备20可以是任何设备。例如，终端设备20可以是扬声器。55.终端装置20基于从声音处理装置10提供的声音信息输出声音。56.(3)声音提供设备3057.声音提供设备30是向声音处理设备10提供声音信息的信息处理设备。例如，声音提供设备30基于与声音信息的获取有关的信息，提供声音信息。58.声音提供设备30通过pc、ws等实现。要注意的是，声音提供设备30不限于pc、ws等。例如，声音提供设备30可以是信息处理设备，诸如，pc和ws，其中，作为声音提供设备30的功能被实施为应用程序。59.(4)声音生成装置4060.声音生成装置40是可操作以测量从声源发出的声音的测量装置。由例如头和躯干模拟器(hats)代表的虚拟头部测量装置等对应于声音生成装置40。61.声音生成装置40提供所测量的声音信息。62.《2.声音处理系统的功能》63.以上，说明了声音处理系统1的构造。接着，说明声音处理系统1的功能。64.《2.1功能的概述》65.图2是示出根据实施方式的与声音的发声方式相关的多个参数的概要的示图。在图2中，通过测量装置dh11经由彼此不同的多条路径测量从声源sp13发出的声音。经由彼此不同的多条路径测量的声音包括直达声音、初期反射、后期混响等。在从声源sp13发出的声音中，直达声音(directsound)dr11是在没有被空间rk11反射的情况下测量的声音。直达声音dr11是影响声音质量的声音。在从声源sp13发出的声音中，初期反射er11是测量的声音，而初期反射er11被空间rk11反射的次数小于预定阈值。尽管在图2中，示出了初期反射er11是在初期反射er11已经被空间rk11反射之后由测量装置dh11测量的声音的情况，但是在该实例中，初期反射er11不限于声音。初期反射er11是影响空间rk11的较大感知的声音。在从声源sp13发出的声音中，后期混响lr11是当后期混响lr11被空间rk11反射的次数为预定阈值以上时测量的声音。后期混响lr11是影响空间rk11中的声音的逗留声音的声音。应注意，初期反射er11和后期混响lr11是根据目标空间影响的声音。例如，根据空间rk11或其壁的原材料(材料)的大量影响早期反射er11和晚期混响lr11。应注意，壁的原材料包括吸收声音的原材料、放大声音的原材料等。此外，壁的原材料可以是具有如在无声室中没有产生声音的反射的结构的原材料。66.图3是示出了根据实施方式的声音处理系统1的功能的概要的示图。在图3中，例如，通过输入用于再现的信号，从声源发出声音。声音处理系统1首先取得从声源发出的声音中的由测定器dh11最早测定出的声音的直达声音dr11的声音信息(s11)。随后，声音处理系统1获取初期反射er11的声音信息(s12)，该初期反射er11是紧挨着直达声音dr11测量的从声源发出的声音的声音。然后，声音处理系统1获取后期混响lr11的声音信息(s13)，该后期混响lr11是在初期反射er11之后测量的从声源发出的声音的声音。如上所述，由于通过测量装置dh11测量的直接声音dr11、初期反射er11以及后期混响lr11到达测量装置dh11的时间变化，所以存在时间差。67.图4是示出了由测量装置dh11测量的声音信息的一个实例的曲线图。图4中所示的纵轴表示声音强度并且其中所示的横轴表示测量声音的时间。测量装置dh11按照直达声音dr11、初期反射er11、以及后期混响lr11的顺序测量声音。应注意，通过测量装置dh11测量的直接声音dr11的声音信息、初期反射er11的声音信息以及后期混响lr11的声音信息通常被称为房间脉冲响应(rir)。根据由测量装置dh11测量的时间差，测量装置dh11能够分别测量直达声音dr11、出期反射er11以及后期混响lr11。由此，声音处理系统1能够分别控制直达声音的声音信息、初期反射的声音信息以及后期混响的声音信息。此外，不仅根据时间差异，而且基于反射声音的时间间隔、反射声音的大小等，声音处理系统1还可切割并划分直达声音、初期反射、以及后期混响。另外，声音处理系统1也能够根据测定部位的构造物的状态和声速进行估计，通过将测定结果组合来进一步提高精度。68.该描述返回图3的描述。声音处理系统1基于收听者u11的特性获取声音cr11的声音信息(s14)。该声音cr11是影响已到达收听者u11的声音的收听方式的声音。具体地，声音cr11是影响在收听者u11的耳廓处的声音的发声方式的声音。应注意，声音cr11包括收听者的hrtf。69.图5示出了显示声音cr11的声音信息的一个实例的曲线图。此声音信息称为头部相关脉冲响应(hrir)，其中在时域中表示头部相关传递函数hrtf。图5中示出的纵轴示出了声音强度并且其中示出的横轴示出了通过耳廓传输声音的时间。在图5的(a)中，示出了收听者u11的左耳的hrir，并且在图5的(b)中，示出了收听者u11的右耳的hrir。应当注意，由于到达收听者u11的左耳的声音和到达收听者u11的右耳的声音彼此不同，因此hrir在收听者u11的左耳和右耳之间彼此不同。70.通过组合由测量装置dh11测量的声音信息和基于收听者u11的特性的声音信息，声音处理系统1生成合成声音信息。换言之，基于rir和hrir，声音处理系统1合成多条声音信息。具体地，基于由测量装置dh11测量的声音信息的波形和基于收听者u11的特性的声音信息的波形的合成，声音处理系统1生成作为合成波的声音信息。71.图6为示出了合成声音信息的一个实例的曲线图。此声音信息称为双耳房间脉冲响应(brir)。该声音信息是通过安装在收听者u11的真实耳朵处的测量装置测量的声音信息。图6中示出的纵轴示出声音强度，并且其中示出的横轴示出直到通过安装在收听者u11的真实耳朵处的测量装置测量声音信息所需的时间。在图6的(a)中，示出了收听者u11的左耳的brir，并且在图6的(b)中，示出了收听者u11的右耳的brir。如上所述，基于rir和hrir，声音处理系统1生成brir。72.应注意，在下文中，brir(即，添加直接声音dr11、初期反射er11、后期混响lr11以及声音cr11的声音信息)被定义为声场数据并且基于稍后描述的终端装置20的特性与校正数据适当地区分。73.声音处理系统1基于终端装置20的特性对合成声音信息进行校正(s15)。例如，通过基于终端装置20的特性组合合成声音信息和声音fr11的声音信息，声音处理系统1校正声音信息。然后，通过为终端装置20提供校正的声音信息，声音处理系统1从终端装置20输出声音。74.《2.2.功能配置实例》75.图7是示出根据本实施方式的声音处理系统1的配置实例的框图。76.(1)声音处理装置1077.如图7所示，声音处理装置10包括通信部100、控制部110、存储部120。另外，声音处理装置10至少具有控制部110。78.(1-1)通信部10079.通信部100具有与外部设备通信的功能。例如，在与外部设备的通信中，通信部件100将从外部设备接收的信息输出到控制部110。具体而言，通信部100将从声音提供设备30接收的信息输出到控制部110。例如，通信部100向控制部110输出声音信息。80.在与外部装置的通信中，通信部100将从控制部110输入的信息发送到外部装置。具体而言，通信部100将与从控制部110输入的声音信息的获取相关的信息发送到声音提供设备30。81.(1-2)控制部11082.控制部110具有控制声音处理装置10的动作的功能。例如，控制部110获取与声音的发声方式相关的参数。另外，通过调整所获取的参数，控制部110执行用于再现声音的处理。83.为了实现上述功能，如图7所示，控制部110具有获取部111、处理部112和输出部113。84.·获取部11185.获取部111具有从通过实际测量获得的第一声音数据获取与声音的发声方式相关的参数的功能。获取部111例如经由通信部100获取从声音提供设备30发送的参数。作为另一个实例，获取部111访问存储部120并且获取参数。86.另外，获取部111从第一声音数据中的初始振幅获取直达声音dr的参数。另外，获取部111从第一声音数据中的第一区间的声音特性获取初期反射er的参数。此外，获取部111从第一声音数据中的第一区间之后的第二区间的声音特征获取后期混响lr的参数。此外，获取部111获取与收听者的特性有关的声音cr的参数。例如，获取部111获取包括收听者的hrtf的参数。87.·处理部11288.处理部112具有控制声音处理装置10的处理的功能。如图7所示，处理部112具有调整部1121、合成部1122和校正部1123。89.·调整部112190.调整部1121具有进行用于调整所获取的参数的处理的功能。调整部1121根据再现用空间来调整参数。图8示出了调整部1121进行的处理的一个实例。在图8的(a)中，示出了调整部1121进行仅后期混响lr被均匀衰减的处理的情况。由此，调整部1121在再现相当于基准空间的大小的大小的同时，可以进一步使音质明确。在图8的(b)中，示出了调整部1121进行其中初期反射er和后期混响lr被极其降低的处理的情况。由此，调整部1121能够再现扬声器等声源自身的声音。在图8的(c)中，示出了调整部1121进行单独控制初期反射er和后期混响lr中的每一个的频率和振幅的处理的情况。由此，调整部1121在再现相当于基准空间的大小的大小的同时，例如通过变更空间的壁的原材料，向壁的原材料中添加吸音材料，能够再现例如改变了吸音系数的虚拟空间。91.应注意，如图8所示，调整部1121不需要执行用于控制直达声音dr的声音的处理。由此，调整部1121可以进行用于再现反映声源的特征的声音的处理。92.调整部1121通过比较基准空间和声音再现对象的空间来调整参数。例如，调整部1121通过比较基准空间的大小与声音的再生对象的空间的大小，来调整直达声音dr、初期反射er、后期混响lr的参数。作为另一实例，通过比较参考空间的壁的原材料与用于声音的再现的空间的壁的原材料，调整部1121调整直达声音dr、初期反射er和后期混响lr的参数。93.例如，根据声音的工作内容和声音的提供者(例如，输入用于再现的信号的人)的关注事项，调整部1121调整参数。由此，通过根据声音的工作内容和提供者的关注事项来切换参数，调整部1121可以容易地执行空间的切换。94.调整部1121基于实际测量的参数，根据声音的工作内容和声音的提供者的关注事项来调整参数。由此，调整部1121能够高精度地再现适合于声音的工作的假想空间(虚拟空间)。95.·合成部112296.合成部1122具有进行合成声音信息的处理的功能。合成部1122根据由调整部1121调整后的参数，从第二声音数据生成第三声音数据。例如，合成部1122基于针对每个参数控制的预定空间中的声音信息和基于收听者的特性的声音信息，合成声音信息。具体而言，合成部1122通过对按每个参数控制的预定空间中的声音信息的波形和基于收听者的特性的声音信息的波形进行合成，来生成合成波的声音信息。由此，通过将收听者特有的特性相加并对每个收听者的hrtf进行变换，虽然通常使用由虚拟头麦克风获取的hrtf，但是合成部1122可高精度地再现声音。97.·校正部112398.校正部1123具有执行在执行再现的设备中的声音信息被校正的处理的功能。例如，校正部1123对第三声音数据进行校正。例如，基于终端装置20的特性，校正部1123校正执行再现的装置中的声音信息。校正部1123例如通过组合合成后的声音信息和基于终端装置20的特性的声音信息来校正声音信息。作为另一实例，通过应用与终端装置20的特性相反的特性，校正部1123校正声音信息。此外，校正部1123可基于输出部113的特性校正声音信息。99.·输出部113100.输出部113具有提供再现处理所执行的声音信息的功能。例如，输出部113向终端装置20提供校正后的声音信息。因此，终端装置20可输出声音的提供者、收听者等期望的声音。另外，输出部113也可以再现第三声音数据。在这种情况下，输出部113可包括诸如扬声器、耳塞式耳机以及头戴式耳机的设备，该设备可操作为再现声音的第三声音数据。101.(1-3)存储部120102.存储部120例如由ram、闪存等半导体存储装置或硬盘、光盘等存储装置来实现。存储部120具有存储与声音处理装置10中的处理相关的数据的功能。如图7所示，存储部120具有声音信息存储部121和收听者特征信息存储部122。103.图9表示声音信息存储部121的一例。图9所示的声音信息存储部121存储声音信息。如图9所示，声音信息存储部121可具有诸如“声音信息id”、“空间id”、“声源id”以及“声音信息”的项。此外，“声音信息”可进一步包括诸如“直达声音”、“初期反射”以及“后期混响”的项。[0104]“声音信息id”示出了用于识别声音信息的识别信息。“空间id”示出了用于识别空间的识别信息。“声源id”示出用于识别发出声音的声源的识别信息。“声音信息”示出“声音信息”。“直达声音”示出了与直达声音对应的声音信息。尽管在图9所示的实例中，示出了诸如“直达声音#1”和“直达声音#2”的概念信息存储在“直达声音”中的实例，但实际上，存储直达声音的测量数据。例如，存储诸如直达声音的声音强度和时间的组合的测量数据。“初期反射”示出了对应于初期反射的声音信息。尽管在图9中所示的实例中，示出了诸如“初期反射#1”和“初期反射#2”的概念信息存储在“初期反射”中的实例，但实际上，初期反射的测量数据被存储。例如，存储诸如初期反射的声音强度和时间的组合的测量数据。虽然在图9中示出的实施方式中，将诸如“后期混响#1”和“后期混响#2”的概念性信息存储在“后期混响”中的实例，然而，实际上，存储后期混响的测量数据。例如，存储诸如后期混响的声音强度和时间的组合的测量数据。[0105]图10示出了收听者特征信息存储部122的一个实例。在图10中所示的收听者特征信息存储部122基于收听者的特征存储声音信息。如图10所示，收听者特征信息存储部122可具有诸如“收听者id”和“声音信息”的项。此外，“声音信息”可进一步包括诸如“左耳”和“右耳”的项。[0106]“收听者id”示出了用于识别收听者的识别信息。“声音信息”示出了基于收听者的特征的声音信息。“左耳”示出了基于收听者的左耳的特性的声音信息。尽管在图10所示的实例中，示出了诸如“声音信息左#1”和“声音信息左#2”的概念条信息存储在“左耳”中的实例，但实际上，基于收听者的左耳的特性的声音信息的测量数据被存储。例如，存储诸如基于收听者的左耳的特性的声音信息的声音强度和时间的组合的测量数据。“右耳”示出了基于收听者的右耳的特性的声音信息。尽管在图10所示的实例中，其中诸如“声音信息右#1”和“声音信息右#2”的概念条信息存储在“右耳”中的实例，但实际上，基于收听者的右耳的特性的声音信息的测量数据被存储。例如，存储诸如基于收听者的右耳的特性的声音信息的声音强度和时间的组合的测量数据。[0107](2)终端装置20[0108]如图7所示，终端装置20具有通信部200、控制部210和输出部220。[0109](2-1)通信部200[0110]通信部200具有与外部设备通信的功能。例如，在与外部设备通信时，通信部200将从外部设备接收的信息输出到控制部210。具体而言，通信部200将从声音处理装置10接收的声音信息输出到控制部210。[0111](2-2)控制部210[0112]控制部210具有控制终端装置20的整体动作的功能。例如，控制部210进行用于控制声音输出的处理。[0113](2-3)输出部220[0114]输出部220具有输出声音的功能。输出部220输出声音。[0115](3)声音提供设备30[0116]如图7所示，声音提供设备30包括通信部300、控制部310和存储部320。[0117](3-1)通信部300[0118]通信部300具有与外部设备通信的功能。例如，在与外部设备通信时，通信部300将从外部设备接收的信息输出到控制部310。具体地，通信部300将从声音生成装置40接收的信息输出至控制部310。例如，通信部300将声音信息输出至控制部310。[0119]在与外部设备的通信中，通信部300将从控制部310输入的信息发送到外部设备。具体而言，通信部300将与从控制部310输入的声音信息的获取有关的信息发送至声音生成装置40。[0120](3-2)控制部310[0121]控制部310具有控制声音提供设备30的操作的功能。例如，控制部310从声音生成装置40获取经由通信部300发送的声音信息。例如，控制部310将获取的声音信息发送到声音处理装置10。例如，控制部310访问存储部320，将获取的声音信息发送到声音处理装置10。[0122](3-3)存储部320[0123]存储部320存储与存储部120存储的信息类似的信息。因此，关于存储部320的描述被省略。[0124](4)声音生成装置40[0125]如图7所示，声音生成装置40包括通信部400和控制部410。[0126](4-1)通信部400[0127]通信部400具有与外部设备通信的功能。例如，在与外部装置通信时，通信部400将从外部装置接收的信息输出到控制部410。具体地，通信部400将从声音提供设备30接收的信息输出至控制部410。例如，通信部400将与声音信息的获取有关的信息输出到控制部410。[0128]在与外部设备的通信中，通信部400将从控制部410输入的信息发送到外部设备。具体地，通信部400将测量的声音信息传输至声音提供设备30。[0129](4-2)控制部410[0130]控制部410具有控制声音生成装置40的操作的功能。例如，控制部410测量从声源发出的声音的声音信息。例如，控制部410基于测量的声音信息，取得各参数的声音信息。例如，控制部410将获取的声音信息发送到声音提供设备30。[0131]《2.3.声音处理系统的处理》[0132]在上文中，已经描述了根据本实施方式的声音处理系统1的功能。接着，说明声音处理系统1的处理。[0133](1)声音生成装置40中的处理[0134]图11是示出在根据实施方式的声音生成装置40中的处理流程的流程图。首先，声音生成装置40测量声音信息(s101)。例如，声音生成装置40测量从诸如扬声器的声源发出的声音的声音信息。接着，声音生成装置40获取各参数的测量声音信息(s102)。然后，声音生成装置40将所获取的声音信息提供给声音提供装置30(s103)。[0135](2)声音处理装置10中的处理[0136]图12是示出在根据实施方式的声音处理装置10中的处理流程的流程图。首先，声音处理装置10获取各参数的声音信息(s201)。另外，声音处理装置10针对每个参数控制所获取的声音信息(s202)。例如，声音处理装置10执行与后期混响对应的声音信息被均匀衰减的处理。作为另一个实例，声音处理装置10执行与初期反射和后期混响对应的多条声音信息显著降低的处理。作为又一实例，声音处理装置10执行单独控制初期反射和后期混响中的每一个的频率和振幅的处理。随后，声音处理装置10执行处理，其中，将所控制的声音信息与基于收听者的特性的声音信息合成(s203)。随后，基于终端装置20的特性，声音处理装置10校正执行了合成处理的声音信息(s204)。然后，声音处理装置10将校正的声音信息提供给终端装置20(s205)。因此，终端设备20可以向收听者输出期望的声音。[0137]《2.4.处理的变形》[0138]在上文中，已经描述了本公开的实施方式。随后，将描述本公开的实施方式中的处理的变形。应注意，在下文中描述的处理的变化可以单独应用于本公开的实施方式或者可以组合地应用于本公开的实施方式。此外，可应用处理的变形，代替在本公开的实施方式中描述的配置，或者除在本公开的实施方式中描述的配置之外，可应用处理的变形。[0139](1)声源特征的无效化和添加[0140]在上述实施方式中，示出了处理部112执行针对初期反射er和后期混响lr的多条声音信息控制声音的处理的情况。由此，处理部112能够进行用于再现反映声源的特征的声音的处理。这里，处理部112可以执行针对直达声音dr的声音信息控制声音的处理。例如，处理部112可以将与声源的特征相反的特征应用于直达声音dr的声音信息。例如，处理部112可以将直达声音dr的声音信息与对应于与声源的特征相反的特征的声音信息进行合成，以使直达声音dr的声音信息的波形取反。换言之，处理部112对直达声音dr的声音信息应用逆滤波器，以便对直达声音dr的声音信息的波形求反。此时，处理部112不仅可以应用具有波形的频率信息的逆滤波器，而且可以应用例如包括其的波形的相位信息的逆滤波器。由此，处理部112可以进行用于再现声源的特性被无效(消除)的声音的处理。因此，处理部112可以进行用于再现声音的处理，使得声音本身的原材料易于收听。[0141]另外，处理部112使声源的特性无效，之后，也可以对无效的声音信息应用期望的声源的特性。例如，处理部112可以将无效的声音信息与对应于期望的声源的特征的声音信息进行合成。应注意，处理部112可应用不仅包括波形的频率信息而且还包括例如波形的相位信息的特性。由此，处理部112在再现相当于基准空间的大小的同时，能够再现与设置在空间中的声源不同的虚拟声源的声音。由此，处理部112能够以在电影院aa1中再现未在电影院aa1中提供的声源的声音的方式，组合再现在现实中不存在的声音。[0142](2)声音信息组合的应用[0143]在上述实施例中，示出了处理部112基于收听者的特性单独控制直达声音dr、初期反射er、后期混响lr和声音cr并且由此执行用于再现期望的声音信息的处理的情况。这里，通过选择根据空间的种类预先设定的声场数据的声音信息，处理部112可以进行用于再现期望的声音信息的处理。例如，处理部112可以根据空间的大小、使用应用等预先设置声音信息。例如，处理部112可以预先设定家庭用混合用的小型空间(例如，小房间)的声音信息；用于产生电视(tv)标题(例如，中等大小的剧院)的中尺度空间的声音信息；用于产生大片的大规模空间(例如，大剧院)的声音信息；等等。由此，通过选择声场数据的声音信息，声音处理装置10能够提供期望的声音信息。例如，根据声音提供者、收听者等的选择，声音处理设备10可提供期望的声音信息。[0144]图13示出了空间种类的实例。在图13的(a)中，示出了用于家庭混合的小房间的一个实例。在图13的(b)中，示出了用于产生电视标题的中型影院的一个实例。在图13的(c)中，示出了用于生产大片的大剧院的一个实例。应注意，空间的种类不限于这些实例。[0145]另外，通过根据终端装置20的种类选择预先设定的校正数据的声音信息，处理部112可以进行用于再现期望的声音信息的处理。例如，处理部112可以根据终端装置20的使用应用、功能等预先设置声音信息。例如，处理部112可以预先设置用于监控工作的头戴式耳机的声音信息；头戴式耳机的声音信息，重视长时间工作的佩戴性；在需要多人交流的场景下，开放式耳塞式耳机的声音信息；等等。由此，声音处理装置10通过选择校正数据的声音信息，能够提供期望的声音信息。例如，根据声音提供者、收听者等的选择，声音处理设备10可提供期望的声音信息。[0146]图14示出了终端装置20的种类的实例。在图14的(a)中，示出了用于监控工作的头戴式耳机的一个实例。在图14的(b)中，示出了对于长时间工作重视可穿戴性的头戴式耳机的一个实例。在图14的(c)中，示出了开放式耳塞式耳机的一个实例。应注意，终端装置20的种类不限于这些实例。[0147]此外，声音处理装置10分别设置要使用的终端装置20的声场数据和校正数据，并且通过自由组合声场数据的声音信息和校正数据的声音信息，声音处理装置10可提供期望的声音信息。[0148](3)声音信息的存储[0149]虽然在上述实施方式中，示出了由声音生成装置40为声音提供装置30提供所测量的声音信息并且由此存储链接到空间和声源的组合的声音信息的情况，但是本公开不限于该实例。声音处理系统1可以存储由声音提供设备30链接到声音的创建者(声音设计者)的声音信息。应注意，声音的创建者可以是声音的提供者。由此，声音处理系统1可以提供如下方案：例如在制作者为了电影制作等的声音而工作的情况下等，可以在任何设施中抽出工作所需的声音信息。由此，声音处理系统1可以提供一种方案，在该方案中，可以在创建者总是认为理想空间的虚拟空间中执行工作。此外，作为另一实例，声音处理系统1可以存储由声音提供设备30链接到测量数据的附加信息(例如，测量日期、测量者、测量地点、测量耳机、所有测量设备的测量数据、测量数据的部分、测量数据的延迟信息以及测量数据的图像捕获信息)的声音信息。[0150]图15示出上述方案的一个实例。在图15中，示出了声音处理系统1提供了能够通过声音提供设备30在电影公司bb2中提取在电影公司bb1中产生的声音信息的方案的情况。[0151](4)gui的显示[0152]声音处理系统1可经由图形用户界面(gui)显示测量数据的附加信息(例如，测量日期、测量者、测量地点、测量耳机、所有测量设备的测量数据、测量数据的部分、测量数据的延迟信息、测量数据的图像捕获信息)等。图16示出了gui的一个实例。作为gui的显示区域的区域gu11包括输入区域da11和输入显示区域ha11，该输入区域da11是输入测量数据的区域，该输入显示区域ha11是显示与输入的测量数据相对应的信息的区域。此外，在输入显示区域ha11中，显示与空间相关的信息和与终端设备20相关的信息。例如，在输入显示区域ha11中，显示空间的图像捕获信息hh11和终端设备20的图像捕获信息hh12。因此，声音处理系统1可以有效地向利用gui的目标人提醒测量数据的内容。[0153](5)空间的布局变化[0154]声音处理系统1可例如通过增加测量声音的空间中的测量装置的数目来改变输出声音的空间的布局。图17示出了布局变化的一个示例。在图17的(a)中，示出了空间rk21。在空间rk21中，存在十个测量装置(声音生成装置40a至声音生成装置40j)。在图17的(b)中，示出了空间rk22。在空间rk22中，存在16个测量装置(声音生成装置40a至声音生成装置40p)。声音处理系统1可以将布局从空间rk21改变为空间rk22。声音处理系统1可例如通过基于例如耳间时差(itd)、耳间电平差(ild)等的操作而增加空间中的测量装置的数目来改变布局。由此，例如，即使在空间rk21中的声源的位置移动的情况下，声音处理系统1也可以在具有移动后的布局的空间中再现与移动前已经测量的声音相当的声音。[0155](6)不能测量初期反射和后期混响的情况[0156]在上述实施方式中，示出了声音处理系统1获取从相同声源发出并且经由不同路径测量的直达声音、初期反射以及后期混响的声音信息的情况。然而，可能存在根据参考空间不能适当地测量初期反射和后期混响的情况。声音处理系统1可经由例如头部和躯干模拟器(hats)来测量初期反射和后期混响，且可测量其他空间中的直接声音。在这种情况下，声音处理系统1可将经由hats测量的初期反射和后期混响的各条声音信息与直达声音的声音信息相加，并可由此产生各条声音信息的数据集。因此，即使在参考空间中不能测量初期反射和后期混响的情况下，声音处理系统1也可获取直接声音、初期反射和后期混响的多条声音信息的数据集，如同在参考空间中测量直接声音、初期反射和后期混响一样。[0157](7)对收听者的动态运动的处理[0158]声音处理系统1可以通过使用可操作来测量收听者的面部运动的设备(例如，头带激光器或相机)来测量与收听者的面部运动相关的信息。例如，声音处理系统1可测量收听者的面部方向、收听者移动他或她的面部的速度、收听者移动他或她的面部的范围等的多条信息。此外，基于与收听者的面部运动相关的信息，声音处理系统1可提取每个收听者的最佳测量点。此外，通过使用提取的测量点，声音处理系统1可执行跟踪(头部跟踪)。因此，声音处理系统1可对每个收听者执行最佳跟踪。因此，由于声音处理系统1可考虑观看每个收听者的方式，所以声音处理系统1可在适合于每个收听者的正面执行测量。[0159]在图18的(a)中，示出了在执行常规跟踪的情况下的声音收听方式的一个实例。在图18的(a)中，包括以与收听者u11相等的距离安装的测量装置dh21至测量装置dh25的整个圆周hr11的hrtf存储为例如一个测量数据。在图18的(b)中，示出存储整个周长hr11的hrtf的测量数据的一个实例。在这种情况下，从存储了整个周长hr11的hrtf的测量数据dd11中获取通过安装在每个目标位置中的每个测量装置实际测量的hrtf。在该测量数据dd11中，存储基于每个目标位置的特征的hrtf，而不是每个目标测量装置的hrtf。因此，不能适当地反映测量装置之间的个体差异。在传统跟踪中，由于测量从相等距离的声源输出的声音，因此测量声音的空间可不同于再现声音的空间。因此，不能适当地反射空间的反射和混响特性。[0160]在图18的(c)中，示出了在对每个收听者执行最佳跟踪的情况下声音收听的方式的一个实例。范围kh11示出其中跟踪收听者u11的范围。范围kh12至范围kh16示出了处理跟踪收听者u11的范围kh11的测量装置的范围。因此，例如，当收听者u11移动他或她的面部时，范围kh12到范围kh16也改变，从而应对该移动。在图18的(d)中，示出了与图18的(c)对应的每个测量装置的测量数据的一个实例。例如，测量数据dd21是测量设备dh21的测量数据。在测量数据中，针对每个测量装置存储每个相应的hrtf。在这种情况下，从针对每个测量装置所存储的测量数据中获取基于每个测量装置的每个目标位置和特性的hrtf。因此，不同于执行常规跟踪的情况，可以适当地反映测量装置之间的个体差异。此外，不同于执行常规跟踪的情况，可以适当地反映空间的反射和混响特性。[0161]《3.硬件配置实例》[0162]最后，参照图19，将描述根据本实施方式的声音处理装置的硬件配置实例。图19为示出根据本实施方式的声音处理装置的硬件配置实例的方框图。要注意的是，图19中所示的声音处理装置900可实现例如图7中所示的声音处理装置10、终端装置20、声音提供装置30以及声音生成装置40。通过根据本实施例的声音处理装置10、终端装置20、声音提供装置30和声音生成装置40的信息处理通过下文描述的硬件与软件的协作来实现。[0163]如图19所示，声音处理装置900包括cpu(中央处理单元)901、rom(只读存储器)902和ram(随机存取存储器)903。此外，声音处理装置900包括主机总线904a、桥接器904、外部总线904b、接口905、输入装置906、输出装置907、存储装置908、驱动器909、连接端口910和通信装置911。应注意，这里示出的硬件配置是一个实例，并且可以省略配置中的部件的一部分。此外，硬件配置可以进一步包括除这里示出的配置中的组件之外的组件。[0164]例如，cpu 901用作运算处理装置或控制装置，并且基于记录在rom 902、ram 903或存储装置908中的各种程序，控制组件或其部分的整体操作。rom 902是存储读取到cpu 901的程序、用于计算的数据等的装置。ram 903暂时或永久地存储例如读入cpu 901的程序、在执行程序时适当变化的各种参数。这些互连至由cpu总线等配置的主机总线904a。cpu 901、rom 902以及ram 903可通过与软件的协作实现参照图7描述的控制部110、控制部210、控制部310以及控制部410的功能。[0165]cpu 901、rom 902和ram 903通过例如主机总线904a相互连接，该主机总线904a适于以高速传输数据。另一方面，主机总线904a例如经由桥接器904连接到数据传输速度低的外部总线904b。另外，外部总线904b经由接口905连接到不同组件。[0166]输入装置906通过例如鼠标、键盘、触摸面板、按钮、麦克风、开关、控制杆等并且由收听者输入信息的装置来实现。此外，输入装置906可以是利用例如红外线或其他电波的遥控装置，或者可以是应对声音处理装置900的操作的外部连接装置，诸如移动电话和pda。此外，输入装置906可包括例如输入控制电路，该输入控制电路基于通过使用上述输入装置输入的信息产生输入信号并将该输入信号输出到cpu 901等。声音处理装置900的管理者通过操作该输入装置906，可以向声音处理装置900输入各种数据，并可以发出指令，以对其进行处理操作。[0167]此外，输入装置906可以由检测声音的装置形成。例如，输入装置906可包括不同传感器，诸如图像传感器(例如，相机)、深度传感器(例如，立体相机)、加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、声音传感器、距离测量传感器(例如，飞行时间(tof)传感器和力传感器)。另外，输入装置906可获取与声音处理装置900自身的状态相关的信息(例如，声音处理装置900的姿势和移动速度)和与声音处理装置900的外围空间相关的信息(例如，声音处理装置900周围的亮度和噪声)。此外，输入设备906可以包括gnss模块，其从gnss(全球导航卫星系统)卫星接收gnss信号(例如，来自gps(全球定位系统)卫星的gps信号)并测量包括设备的纬度、经度和海拔的位置信息。此外，作为位置信息，输入装置906可以是通过向和从wi-fi(注册商标)、移动电话、phs、智能电话等传输和接收、近场通信等检测位置的装置。输入装置906可以实现例如参照图7描述的控制部410的功能。[0168]输出装置907由可操作用于以视觉或听觉方式将所获取的信息通知收听者的装置形成。作为这样的装置，存在诸如crt显示装置、液晶显示装置、等离子体显示装置、el显示装置、激光投影仪、led投影仪和灯的显示装置、诸如扬声器和耳机的声音输出装置、打印机装置等。输出装置907输出声音处理装置900所执行的各种处理结果。具体地，显示装置以各种形式(例如，文本、图像、表格以及图形)显示通过声音处理装置900以视觉方式执行的各种处理获得的结果。另一方面，声音输出装置将由再现的声音数据、声音数据等组成的音频信号转换为模拟信号，并以听觉方式输出。输出装置907可以实现例如参照图7描述的输出部220的功能。[0169]存储装置908是用于存储数据的装置，其形成为声音处理装置900的存储部的一个实例。存储装置908通过例如诸如hdd的磁存储部件装置、半导体存储装置、光存储装置、磁光存储装置等来实现。存储装置908可包括存储媒质、将数据记录在存储媒质中的记录装置、从存储媒质读取数据的读取装置、删除记录在存储媒质中的数据的删除装置等。该存储装置908存储由cpu 901执行的程序、各种数据、从外部获取的各种数据等。存储装置908可以实现例如参照图7描述的存储部120的功能。[0170]驱动器909是存储介质的读/写器，内置在声音处理装置900中或外置。驱动器909读取记录在诸如所附磁盘、光盘、磁光盘或半导体存储器的可移动存储介质中的信息，并且将该信息输出至ram 903。此外，驱动器909还可以将信息写入可移动存储媒质中。[0171]连接端口910是用于连接例如诸如通用串行总线(usb)端口、ieee1394端口、小型计算机系统接口(scsi)、rs-232c端口或光音频终端的外部连接设备的端口。[0172]通信设备911是由用于连接至例如网络920的通信设备等形成的通信接口。通信设备911是例如有线或无线lan(局域网)、lte(长期演进)、蓝牙(注册商标)或wusb(无线usb)的通信卡。另外，通信设备911可以是用于光通信的路由器、用于adsl(非对称数字用户线路)的路由器或用于各种通信的调制解调器。该通信设备911例如可以根据诸如tcp/ip的预定协议向互联网或其他通信设备发送信号或从互联网或其他通信设备接收信号等。通信装置911可以实现例如参照图7描述的通信部100、通信部200、通信部300和通信部400的功能。[0173]应注意，网络920是通过其发送从连接至网络920的装置发送的信息的有线或无线发送路径。例如，网络920可以包括公共线路网络，诸如互联网、电话线路网络和卫星通信网络，不同lans(局域网)中的每包括以太网(注册商标)、wan(广域网)等。此外，网络920可以包括专用线路网络，诸如ip-vpn(互联网协议虚拟专用网络)。[0174]在上文中，示出了可以实现根据本实施方式的声音处理装置900的功能的硬件配置的一个实例。上述组件可以通过使用通用构件来实现，或者可以通过专用于组件的功能的硬件来实现。因此，根据实施实施方式时的技术水平，能够适当地改变待利用的硬件配置。[0175]《4.结论》[0176]如上所述，根据为每个参数获取的声音信息，根据本实施方式的声音处理装置10执行处理，以在与测量声音信息的空间不同的其他空间中再现测量的声音信息。由此，声音处理装置10能够灵活地再现期望的声音。[0177]此外，根据上述实施方式，佩戴终端设备20的收听者单独控制直达声音dr、初期反射er以及后期混响lr，从而允许收听者在期望的声音空间中享受声音体验。此外，基于收听者的特性的声音cr和基于终端设备20的特性的声音fr被独立地控制，并且因此，在前者被优化用于每个收听者的状态和在后者被优化为由收听者佩戴的终端设备20的特性的状态中，收听者可以享受具有现实感受的声音体验。[0178]所以，可以提供一种声音处理装置、声音处理方法以及声音处理程序，其能够灵活地再现声音，并且新颖并改善声音。[0179]在上文中，尽管参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于上述实施方式。在不背离所附权利要求中阐述的技术构思的精神和范围的情况下，对于本公开所属技术领域的普通技术人员显而易见的是，能够获得各种变形例和校正实施例，并且应自然地理解的是，这些变形例和校正实施例属于本公开的技术范围。[0180]例如，在本说明书中描述的设备可以实现为单个设备，或者其一部分或所有部分可以实现为单独的设备。例如，在图7中所示的声音处理装置10、终端装置20、声音提供装置30和声音生成装置40中的每个可实现为单个装置。此外，声音处理装置10、终端装置20、声音提供装置30和声音生成装置40例如可实现为经由网络等连接至声音处理装置10、终端装置20、声音提供装置30和声音生成装置40的服务器装置。另外，经由网络等连接的服务器装置也可以具有声音处理装置10所具有的控制部110的功能。[0181]此外，通过本说明书中描述的每个装置执行的一系列处理可以通过使用软件、硬件、以及软件和硬件的组合中的任一个来实现。构成软件的程序被预先存储在例如设置在设备内部或外部的记录介质(非临时性介质)中。然后，每个程序在例如由计算机执行时被读取到ram中，并且由处理器(诸如cpu)执行。[0182]另外，不一定需要按照各图所示的顺序使用本说明书中的各流程图来执行所描述的处理。一些处理步骤可以并行执行。此外，可以采用额外的处理步骤，或者可以省略处理步骤的一部分。[0183]此外，在本说明书中描述的效果仅仅是描述性或说明性的，而不是限制性的。换言之，与上述效果一起或者代替上述效果，根据本公开的技术可通过本说明书中的描述表现出对本领域技术人员显而易见的其他效果。[0184]符号说明[0185]1 声音处理系统[0186]10 声音处理装置[0187]20 一种终端设备[0188]30 声音提供装置[0189]40 发声装置[0190]100 通信部[0191]110 控制部[0192]111 采集部[0193]112 处理部[0194]1121 调整部[0195]1122 合成部[0196]1123 校正部[0197]113 输出部[0198]120 存储部[0199]200 通信部[0200]210 控制部[0201]220 输出部[0202]300 通信部[0203]310 控制部[0204]320 存储部[0205]400 通信部[0206]410 控制部。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!