对针对演奏信息的评价进行推论的方法、系统及程序与流程

乐器;声学设备的制造及制作,分析技术1.本发明涉及对针对演奏信息的评价进行推论的方法、系统及程序。背景技术：2.以往，使用电子钢琴、电子琴、合成器等各种电子乐器。如果用户演奏电子乐器，则由用户进行的演奏操作变换为midi消息等演奏信息。3.在专利文献1中提出有如下技术，即，通过对表示由演奏者进行的实际演奏的演奏信息和表示演奏的基准(正确的演奏)的基准信息进行比较，从而对演奏者的演奏倾向进行确定。4.专利文献1：国际公开2014/189137号技术实现要素：5.专利文献1所公开的是对正确的演奏和演奏者的实际演奏之间的背离程度进行确定的技术，不是确定针对演奏信息的主观性评价的技术。为了实现适于用户的喜好的控制，要求对用户针对演奏信息的评价进行推论。6.本发明的目的在于提供适当地对针对演奏信息的评价进行推论的方法、系统及程序。7.为了实现上述目的，本发明的一个方式涉及的方法是通过计算机实现的，取得对包含多个演奏单位的第1演奏信息和与多个所述演奏单位相关联的评价信息之间的关系进行了学习的学习模型，取得第2演奏信息，使用所述学习模型，对所述第2演奏信息进行处理，对该演奏信息所包含的多个所述演奏单位各自的评价进行推论。8.发明的效果9.根据本发明，能够适当地推论针对演奏信息的评价。附图说明10.图1是表示本发明的实施方式涉及的信息处理系统的整体结构图。11.图2是表示本发明的实施方式涉及的电子乐器的硬件结构的框图。12.图3是表示本发明的实施方式涉及的控制装置的硬件结构的框图。13.图4是表示本发明的实施方式涉及的服务器的硬件结构的框图。14.图5是表示本发明的实施方式的信息处理系统的功能性结构的框图。15.图6是表示本发明的实施方式的机器学习处理的时序图。16.图7是表示本发明的实施方式的推论提示处理的时序图。具体实施方式17.以下，参照附图详细地说明本发明的实施方式。以下所说明的各实施方式不过是能够实现本发明的结构的一个例子。以下的各实施方式能够根据应用本发明的装置的结构、各种条件而适当进行修正或变更。另外，以下的各实施方式所包含的要素的全部组合并非都是实现本发明所必须的，可以适当地省略要素的一部分。因此，本发明的范围不受以下的各实施方式所记载的结构限定。另外，只要彼此不矛盾，则还可以采用将实施方式中所记载的多个结构组合而得到的结构。18.图1是表示本发明的实施方式涉及的信息处理系统s的整体结构图。如图1所示，本实施方式的信息处理系统s具有电子乐器100、控制装置200及服务器300。19.电子乐器100是用户在演奏乐曲时使用的装置。电子乐器100例如可以是电子钢琴等电子键盘乐器，也可以是电吉他等电子弦乐器，还可以是电吹管合成器(wind synthesizer)等电子管乐器。20.控制装置200是在用户进行与电子乐器100的设定相关的操作时使用的装置，例如是平板终端、智能手机、个人计算机(pc)等信息终端。电子乐器100及控制装置200能够以无线或有线的方式相互进行通信。此外，控制装置200和电子乐器100也可以一体地构成。21.服务器300是与控制装置200收发数据的云端服务器，能够经由网络nw与控制装置200进行通信。服务器300不限于云端服务器，也可以是本地网络的服务器。另外，本实施方式的服务器300的功能也可以通过云端服务器和本地网络的服务器的协同动作而实现。22.在本实施方式的信息处理系统s，通过针对学习模型m输入推论对象的演奏信息a，对被输入的演奏信息a所包含的多个乐句f各自的评价进行推论，该学习模型m对包含多个乐句f(演奏单位)的演奏信息a和与多个乐句f相关联的评价信息b之间的关系进行了机器学习。服务器300通过机器学习处理对学习模型m进行训练，使用训练出的学习模型m而由控制装置200执行推论处理。23.图2是表示电子乐器100的硬件结构的框图。如图2所示，电子乐器100具有cpu(central processing unit)101、ram(random access memory)102、储存器103、演奏操作部104、设定操作部105、显示部106、声源部107、声音系统(sound system)108、收发部109及总线110。24.cpu 101是执行电子乐器100的各种运算的处理电路。ram 102是易失性的存储介质，作为对cpu 101所使用的设定值进行存储并且供各种程序展开的工作存储器起作用。储存器103是非易失性的存储介质，对由cpu 101使用的各种程序及数据进行存储。25.演奏操作部104是接受与由用户进行的乐曲的演奏相当的演奏操作而生成表示乐曲的演奏操作信息(例如，midi数据)，供给至cpu 101的要素，例如是电子键盘。26.设定操作部105是接受来自用户的设定操作而生成操作数据并供给至cpu 101的要素，例如是操作开关。27.显示部106是对乐器设定信息等各种信息进行显示的要素，例如针对电子乐器100所具有的显示屏而发送影像信号。28.声源部107基于从cpu 101供给来的演奏操作信息及所设定的参数而生成声音信号，输入至声音系统108。29.声音系统108由放大器及扬声器构成，从声源部107产生与所输入的声音信号对应的声音。30.收发部109是与控制装置200收发数据的要素，例如是在近距离无线通信使用的bluetooth(注册商标)模块。31.总线110是将上述的电子乐器100的硬件要素相互连接的信号传输路(系统总线)。32.图3是表示控制装置200的硬件结构的框图。如图3所示，控制装置200具有cpu 201、ram 202、储存器203、输入输出部204、收发部205及总线206。33.cpu 201是执行控制装置200的各种运算的处理电路。ram 202是易失性的存储介质，作为对cpu 201所使用的设定值进行存储并且供各种程序展开的工作存储器起作用。储存器203是非易失性的存储介质，对由cpu 201使用的各种程序及数据进行存储。34.输入输出部204是接受用户针对控制装置200的操作并且对各种信息进行显示的要素(用户接口)，例如由触摸面板构成。35.收发部205是与其他装置(电子乐器100、服务器300等)收发数据的要素。收发部205可以包含在与多个模块(例如，电子乐器100之间进行的近距离无线通信用的bluetooth(注册商标)模块及服务器300的通信用的wi-fi(注册商标)模块)。36.总线206是将上述的控制装置200的硬件要素相互连接的信号传输路。37.图4是表示服务器300的硬件结构的框图。如图4所示，服务器300具有cpu 301、ram 302、储存器303、输入部304、输出部305、收发部306及总线307。38.cpu 301是执行服务器300的各种运算的处理电路。ram 302是易失性的存储介质，作为对cpu 301所使用的设定值进行存储并且供各种程序展开的工作存储器起作用。储存器303是非易失性的存储介质，对由cpu 301使用的各种程序及数据进行存储。39.输入部304是接受针对服务器300的操作的要素，例如，接受来自与服务器300连接的键盘及鼠标的输入信号。40.输出部305是对各种信息进行显示的要素，例如对与服务器300连接的液晶显示屏输出影像信号。41.收发部306是与控制装置200收发数据的要素，例如是网络卡(nic)。42.总线307是将上述的服务器300的硬件要素相互连接的信号传输路。43.上述的各装置100、200、300的cpu 101、201、301通过将在储存器103、203、303储存的程序读出至ram 102、202、303并执行，由此实现以下的功能块(控制部150、250、350等)及本实施方式涉及的各种处理。上述的各cpu可以是单核，也可以是相同或不同的构架的多核。各cpu不限于通常的cpu，可以是dsp、推论处理器，或者也可以是上述2个以上的任意组合。另外，本实施方式涉及的各种处理也可以通过由cpu、dsp、推论处理器、gpu等1个以上的处理器执行程序而实现。44.图5是表示本发明的实施方式涉及的信息处理系统s的功能性结构的框图。45.电子乐器100具有控制部150及存储部160。控制部150是对电子乐器100的动作综合地进行控制的功能块。存储部160由ram 102及储存器103构成，对由控制部150使用的各种数据进行存储。控制部150具有演奏取得部151作为子功能块。46.演奏取得部151是取得按照用户的演奏操作而由演奏操作部104生成的演奏操作信息的功能块。演奏操作信息是表示用户所演奏的多个音各自的发音定时及音高的信息。除此以外，演奏操作信息也可以包含表示各音的长度、强度的信息。即，演奏取得部151将所取得的演奏操作信息除了供给至声源部107以外，还经由收发部109而供给至控制装置200(演奏接收部252)。47.控制装置200具有控制部250及存储部260。控制部250是对控制装置200的动作综合地进行控制的功能块。存储部260由ram 202及储存器203构成，对由控制部250使用的各种数据进行存储。控制部250具有认证部251、演奏接收部252、评价取得部253、数据前处理部254、推论处理部255及提示部256，作为子功能块。48.认证部251是与服务器300(服务器认证部351)协同动作而对用户进行认证的功能块。认证部251将用户使用输入输出部204而输入的用户识别符及密码等认证信息发送至服务器300，基于从服务器300接收到的认证结果，对用户的访问进行许可或拒绝。认证部251能够将得到认证的(许可了访问的)用户的用户识别符供给至其他功能块。49.演奏接收部252是接收从电子乐器100(演奏取得部151)供给来的演奏操作信息而分解为演奏单位即乐句f，取得包含多个乐句f的演奏信息a的功能块。演奏接收部252能够使用任意的乐句检测方法，将演奏操作信息所表示的乐曲分解为多个乐句f。作为乐句检测方法，例如能够使用基于连续的演奏的间隙的检测、基于旋律模式的检测、基于和弦进行模式的检测等。或者，作为乐句检测方法，也可以使用2个以上的乐句检测方法的组合方法。另外，作为乐句检测方法，也可以使用规则库(rule base)的乐句检测、或使用了神经网络的乐句检测。演奏信息a是表示乐句f所包含的多个音各自的发音定时及音高的信息，是表现由用户进行的乐曲的演奏的高维的时间序列数据。50.演奏接收部252将取得的演奏信息a储存于存储部260、或者供给至数据前处理部254。此外，演奏接收部252能够将从认证部251供给来的用户识别符赋予给演奏信息a而储存于存储部260。除此以外，演奏接收部252将赋予了用户识别符的演奏信息a经由收发部205发送至服务器300。51.评价取得部253是生成表示由用户输入的乐句f的评价的评价信息b的功能块。用户能够通过对输入输出部204进行操作而向演奏信息a所包含的各乐句f赋予评价。评价的赋予可以与乐曲的演奏(换言之，演奏信息a的取得)并行地执行，也可以在乐曲的演奏结束之后另外执行。即，用户的评价可以是实时评价也可以事后评价。评价信息b是与多个乐句f相关联的数据，包含分别对1个乐句进行识别的识别数据和表示该乐句f的评价的评价标签。评价标签可以是表示5个阶段的评价(例如，星数)的值。识别数据不限于直接指定乐句f的数据，可以是与乐句f相关的绝对时间、相对时间。52.评价取得部253将生成的评价信息b储存于存储部260。此外，评价取得部253能够将从认证部251供给来的用户识别符赋予给评价信息b而储存于存储部260。评价取得部253将赋予了用户识别符的评价信息b经由收发部205发送至服务器300。53.数据前处理部254是针对在存储部260存储的演奏信息a或从演奏接收部252供给来的演奏信息a，以适合于学习模型m的推论的形式的方式执行缩放(scaling)等数据前处理的功能块。54.推论处理部255是通过针对由后述的学习处理部353训练出的学习模型m，输入进行了前处理后的演奏信息a(多个乐句f)作为输入数据，对演奏信息a所包含的每个乐句f的评价进行推论的功能块。对于本实施方式的学习模型m，可以采用任意的机器学习模型。优选地，在学习模型m采用适于时序数据的递归神经网络(rnn)及其衍生物(长短期存储(lstm)、门控递归单元(gru)等)。55.提示部256是基于由推论处理部255推论出的每个乐句f的评价，将与音乐课程相关的信息提示给用户的功能块。提示部256将基于每个乐句f的评价而选择出的应当练习的位置的信息例如显示于输入输出部204。另外，提示部256也可以在其他装置例如电子乐器100的显示部106显示上述信息。56.服务器300具有控制部350及存储部360。控制部350是对服务器300的动作综合地进行控制的功能块。存储部360由ram 302及储存器303构成，对由控制部350使用的各种数据(特别是从控制装置200供给来的演奏信息a及评价信息b)进行存储。此外，存储部360优选对多个用户分别使用电子乐器100及控制装置200而生成的演奏信息a及评价信息b进行储存。控制部350具有服务器认证部351、数据前处理部352、学习处理部353及模型发行部354，作为子功能块。57.服务器认证部351是与控制装置200(认证部251)协同动作而对用户进行认证的功能块。服务器认证部351对从控制装置200供给来的认证信息是否与存储部360所储存的认证信息一致进行判定，将认证结果(许可或拒绝)发送至控制装置200。58.数据前处理部352是针对存储部360所存储的演奏信息a及评价信息b，以成为适于学习模型m的训练(机器学习)的形式的方式执行缩放等数据前处理的功能块。59.学习处理部353是如下功能块，即，参照赋予给演奏信息a及评价信息b的用户识别符，将数据前处理后的演奏信息a(多个乐句f)作为输入数据，将进行了数据前处理后的评价信息b用作教师数据，面向用户识别符所表示的特定的用户对学习模型m进行训练。此外，作为面向特定的用户的学习模型m的初始数据，优选使用利用特定的用户以外的大量的演奏信息a及评价信息b进行了训练的基础学习模型。这是因为，单一用户能生成的信息量通常受到限定而比较少。60.模型发行部354是将由学习处理部353训练出的学习模型m供给至用户识别符所表示的特定的用户的控制装置200的功能块。61.图6是表示本发明的实施方式涉及的信息处理系统s的、面向某个用户识别符所表示的特定的用户的机器学习处理的时序图。本实施方式的机器学习处理由服务器300的cpu 301执行。此外，本实施方式的机器学习处理可以定期地执行，也可以根据来自用户(控制装置200)的指示而执行。62.在步骤s610中，数据前处理部352读出包含存储部360所积蓄的由所述用户识别符表示的用户的演奏信息a及评价信息b的数据集，执行数据前处理。63.在步骤s620中，学习处理部353基于通过步骤s610而进行了前处理的数据集，将包含多个乐句f的演奏信息a作为输入数据，将与多个乐句f相关联的评价信息b用作教师数据，对学习模型m进行训练，将训练出的学习模型m储存于存储部360。这里，学习模型m以能够对由针对未知的乐句的演奏信息a的、所述用户识别符表示的用户的评价信息b进行推定的方式进行训练。例如，在学习模型m是神经网络系统的情况下，学习处理部353可以使用误差反向传播法等而进行学习模型m的机器学习。64.在步骤s630中，模型发行部354将由步骤s620训练出的学习模型m经由网络nw而供给至控制装置200。控制装置200的控制部250将接收到的学习模型m储存于存储部260。65.图7是表示本发明的实施方式涉及的信息处理系统s的、面向由某个用户识别符表示的特定的用户的推论提示处理的时序图。在本实施方式中，控制装置200对每个乐句f的评价进行推论，基于推论出的评价将与音乐课程相关的信息提示给该用户。66.在步骤s710，演奏接收部252从该用户的电子乐器100接收演奏取得部151所取得的演奏操作信息并赋予用户识别符。此外，演奏接收部252也可以读出过去从该用户的电子乐器100接收并赋予用户识别符而储存于存储部260的演奏操作信息。67.在步骤s720，演奏接收部252将接收到的演奏操作信息分解为作为演奏单位的乐句f，取得包含多个乐句f的演奏信息a而供给至数据前处理部254。68.在步骤s730，数据前处理部254针对通过步骤s720而从演奏接收部252供给来的演奏信息a，执行数据前处理，将进行了前处理后的演奏信息a供给至推论处理部255。69.在步骤s740，推论处理部255针对存储部260所储存的训练好的学习模型m，将从数据前处理部254供给来的包含多个乐句f的演奏信息a作为输入数据而输入。学习模型m对该用户针对所输入的演奏信息a包含的多个乐句f各自的评价进行推论(推定)。表示评价的推论值可以是离散值，也可以是连续值。所推论出的每个乐句f的评价被供给至提示部256。70.在步骤s750，提示部256基于在步骤s740由推论处理部255推论出的每个乐句f的该用户的评价，将与音乐课程相关的信息显示于输入输出部204。这里，提示部256优选将所推论出的评价越高乐句f作为以越高频率的练习位置而提示给该用户。71.另外，提示部256也可以将与以推论出的评价从高到低的顺序选择出的规定数量的乐句f分别对应的练习乐句提示给该用户。作为提示候补的多个练习乐句可以存储于存储部260，也可以登记于传送服务器等外部装置所具有的数据库。练习乐句例如可以是表示实现乐句f的音乐特征(音阶、琶音等)所需的基础练习的乐句。另外，练习乐句不限定于表示基础练习的乐句，也可以将适合于演奏等级的多个练习乐句登记于存储部260或外部装置的数据库。72.如以上所述，在本实施方式的信息处理系统s，通过训练好的学习模型m适当地推论与演奏信息a所包含的多个乐句f分别对应的该用户的评价。控制装置200基于所推论出的每个乐句f的评价，将与音乐课程相关的信息提示给该用户。其结果，可以将与推论为该用户高度地评价的乐句f相关的课程提供给该用户。通过由该用户对以上述方式提供的课程进行听课，从而该用户能够磨练为了更出色地演奏评价高的乐句的技术。73.另外，根据本实施方式的结构，针对通过用户识别符识别的每个用户而训练学习模型m，并从服务器300供给。因此，该用户即使更换电子乐器100、控制装置200，后续也能够继续使用适合于该用户的学习模型m。74.＜变形例＞75.以上的实施方式可以实施各种变形。以下，例示出具体的变形方式。从以上的实施方式及以下的例示任意选择出的2个以上的方式可以在彼此不矛盾的范围适当进行合并。76.在上述的实施方式中，所推论出的评价用于与音乐课程相关的信息的提示。但是，可以将所推论出的评价在任意的用途上使用。77.例如，控制装置200可以基于推论出的评价，将用户喜好的可能性高的乐曲提示给用户。更具体而言，控制装置200的提示部256也可以将包含与以所推论出的评价从高到低的顺序选择出的规定数量的乐句相似的乐句的乐曲提示给用户。78.另外，例如，控制装置200可以自动地选择演奏信息a所包含的评价高的乐句f作为主题，根据和弦进行等将所选择的乐句f展开，执行自动作曲。此外，在控制装置200作为根据用户的演奏而进行即兴演奏的演奏代理(performance agent)起作用的结构中，控制装置200可以选择性输出自动生成的多个候补乐句中的被推论出高评价的乐句。79.在上述的实施方式中，乐曲所包含的多个乐句f作为演奏单位而使用。但任意的经时性要素可以用作演奏单位。例如，将乐曲每隔规定时间进行划分的多个演奏区间可以用作演奏单位。80.在服务器300的学习处理部353进行的学习模型m的训练(机器学习)中使用的演奏信息a及评价信息b可以仅是来自使用该学习模型m的单一用户的信息，也可以是来自多个用户的信息。另外也可以使用来自具有共通的属性的多个用户的演奏信息a及评价信息b而训练学习模型m。例如，也可以使用来自具有相同演奏经验年数的用户、或属于相同等级的教室的用户的信息而训练学习模型m。81.服务器300的学习处理部353也可以对学习模型m应用追加学习。即，学习处理部353也可以在使用来自多个用户的演奏信息a及评价信息b对学习模型m进行了训练之后，针对学习模型m执行使用来自特定的单一用户的演奏信息a及评价信息b的微调(fine tuning)。82.在上述的实施方式中，控制装置200使用从服务器300供给来的学习模型m对每个乐句f的评价进行推论。但是，评价的推论也可以在任意的位置执行。例如，服务器300可以对从控制装置200供给来的演奏信息a进行前处理，对储存于存储部360的学习模型m输入进行了前处理的演奏信息a作为输入数据，由此对演奏信息a所包含的每个乐句f的评价进行推论。根据本变形例的结构，服务器300能够执行由将演奏信息a作为输入数据的学习模型m实现的推论处理。其结果，能减轻控制装置200的处理负荷。83.在上述的实施方式中，演奏信息a是由从电子乐器100接收到表示乐曲的操作的演奏操作信息的演奏接收部252生成的。但是，演奏信息a可以通过任意的方法及在任意的位置而生成。例如，演奏接收部252也可以取代演奏操作信息，执行针对音响信息(由乐曲的演奏产生的波形数据)的解析(音高解析、音频解析、乐句解析)而生成演奏信息a。84.在上述的实施方式中，评价信息b是与用户针对输入输出部204的指示操作相对应地由控制装置200的评价取得部253生成的。但是，评价信息b可以通过任意的方法及在任意的位置而生成。例如，可以在电子乐器100的控制部150设置与评价取得部253相当的功能块，与来自针对设定操作部105(例如，评价按钮)的用户的操作相对应地由以上的功能块生成评价信息b。85.在上述的实施方式的机器学习处理及推论处理中，演奏信息a以外的信息可以进一步作为输入数据而输入。例如，表示针对使用电子乐器100的乐曲的演奏的附带操作(电子钢琴的踏板操作、电吉他的效果器操作等)的附带信息可以与演奏信息a一起被输入至学习模型m。以上的附带信息优选为附加于由演奏取得部151进一步取得并附加至演奏信息a。86.另外，上述的实施方式的电子乐器100可以具有控制装置200的功能，控制装置200也可以具有电子乐器100的功能。87.此外，也可以通过将存储有由用于实现本发明的软件表示的各控制程序的存储介质读出至各装置，从而实现与本发明相同的效果，在这种情况下，从存储介质读出的程序代码本身实现本发明的新功能，存储有该程序代码的非暂时性的计算机可读取的记录介质构成本发明。另外，也可以通过传输介质等提供程序代码，在这种情况下，程序代码本身构成本发明。此外，作为上述情况的存储介质，除了rom以外，还可以使用软盘、硬盘、光盘、光磁盘、cd-rom、cd-r、dvd-rom、dvd-r、磁带、非易失性的存储卡等。“非暂时性的计算机可读取的记录介质”还包含如成为经由互联网等网络、电话线路等通信线路而发送了程序的情况下的服务器、客户端的计算机系统内部的易失性存储器(例如dram(dynamic random access memory))那样将程序保存一定时间的介质。88.标号的说明89.100电子乐器，150控制部，160存储部，200控制装置，250控制部，260存储部，300服务器，350控制部，360存储部，a演奏信息，b评价信息，f乐句(演奏单位)，m学习模型，s信息处理系统。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!