数字人驱动方法、装置、存储介质及计算机设备与流程 专利技术说明

计算;推算;计数设备的制造及其应用技术1.本发明涉及人工智能技术领域，尤其是涉及一种数字人驱动方法、装置、存储介质及计算机设备。背景技术：2.随着ai(artificialintelligence，人工智能)技术在内容创作方面的快速发展，ai从只作为用于辅助内容创作的工具，到如今的aigc(ai generated content，利用人工智能技术来生成内容方式)已经能够独立完成对话聊天、视频生成等创意性工作，进化速度十分明显。aigc已经广泛应用于各类场景，例如，利用2d孪生数字人生产视频的场景，在此种场景中可以通过语音驱动数字人演讲。3.目前，通常通过音素及其对应的时间戳来训练算法，并利用训练后的驱算法来对数字人进行驱动。然而，不同语种对应不同音素，这种方式训练后的算法只能对数字人进行单一语种驱动，若要对数字人进行另一语种驱动，需要重新利用另一语种对应的音素来训练驱动算法，导致数字人驱动的效率较低，与此同时，音素对应的时间戳需要使用算法计算得到，由于这部分算法需要预先利用大量较难获取的数据训练，导致该算法在计算时间戳时的准确度较低，进而导致数字人的驱动准确度较低。技术实现要素：4.本发明提供了一种数字人驱动方法、装置、存储介质及计算机设备，主要在于能够提高数字人的驱动效率和驱动准确度。5.根据本发明的第一个方面，提供一种数字人驱动方法，包括：6.获取待驱动数字人对应的音频数据；7.确定所述音频数据对应的音频特征向量；8.将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；9.基于所述预测姿态参数，对所述待驱动数字人进行驱动。10.优选地，所述确定所述音频数据对应的音频特征向量，包括：11.对所述音频数据依次进行预加重、分帧和加窗处理，得到处理后的音频数据；12.对所述处理后的音频数据进行傅里叶变换，得到所述音频数据对应的语谱图；13.利用梅尔滤波器组对所述语谱图进行滤波，得到所述梅尔滤波器组输出的带有能量波的语谱图，并计算所述能量波的对数，得到对数语谱图；14.对所述对数语谱图进行反离散变换，得到所述音频数据对应的音频特征向量。15.优选地，在所述将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数之前，所述方法还包括：16.构建预设初始姿态参数预测模型；17.获取多语种样本数字人视频数据，并在所述多语种样本数字人视频数据中提取多语种样本音频数据，以及确定所述多语种样本音频数据对应的实际姿态参数；18.确定所述多语种样本音频数据对应的样本音频特征向量；19.将所述样本音频特征向量输入至所述预设初始姿态参数预测模型中进行参数预测，得到所述多语种样本音频数据对应的样本姿态参数；20.基于所述实际姿态参数和样本姿态参数，构建所述预设初始姿态参数预测模型对应的损失函数；21.基于所述损失函数，对所述预设初始姿态参数预测模型进行训练，构建所述预设姿态参数预测模型。22.优选地，所述确定所述多语种样本音频数据对应的实际姿态参数，包括：23.获取所述多语种样本数字人视频数据中的视频帧；24.将所述视频帧输入至预设神经网络模型中进行参数提取，得到所述样本数字人对应的实际姿态参数。25.优选地，所述预设姿态参数预测模型包括编码器和解码器，所述将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数，包括：26.将所述音频特征向量输入至所述编码器中，通过所述编码器输出所述音频数据对应的语义特征向量；27.将所述语义特征向量输入至所述解码器，通过所述解码器输出所述音频数据对应的预测姿态参数。28.优选地，所述预测姿态参数包括面部表情参数、形体参数、嘴部摆动参数、眼部摆动参数。29.优选地，所述基于所述预测姿态参数，对所述待驱动数字人进行驱动，包括：30.基于所述面部表情参数，对所述待驱动数字人的面部表情进行驱动；31.基于所述形体参数，对所述待驱动数字人的形体进行驱动；32.基于所述嘴部摆动参数，对所述待驱动数字人的嘴部进行驱动；33.基于所述眼部摆动参数，对所述待驱动数字人的眼部进行驱动。34.根据本发明的第二个方面，提供一种数字人驱动装置，包括：35.获取单元，用于获取待驱动数字人对应的音频数据；36.确定单元，用于确定所述音频数据对应的音频特征向量；37.参数预测单元，用于将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；38.驱动单元，用于基于所述预测姿态参数，对所述待驱动数字人进行驱动。39.根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上数字人驱动方法。40.根据本发明的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上数字人驱动方法。41.根据本发明提供的一种数字人驱动方法、装置、存储介质及计算机设备，与目前利用音素及其对应的时间戳训练的算法来对数字人进行驱动的方式相比，本发明通过获取待驱动数字人对应的音频数据；并确定所述音频数据对应的音频特征向量；之后将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；最终基于所述预测姿态参数，对所述待驱动数字人进行驱动。由此通过获取音频数据对应的音频特征向量，并利用训练好的预设姿态参数预测模型来对音频特征向量对应的姿态参数进行预测，最终利用预测出的姿态参数来对数字人进行驱动，能够避免若要对数字人进行多语种驱动时，需要不断训练不同语种对应的算法，由此本发明能够提高数字人的驱动效率，与此同时，本发明不需要获取音素对应的时间戳，避免了时间戳的获取误差，从而本发明提高了数字人的驱动准确度。附图说明42.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：43.图1示出了本发明实施例提供的一种数字人驱动方法流程图；44.图2示出了本发明实施例提供的另一种数字人驱动方法流程图；45.图3示出了本发明实施例提供的一种数字人驱动装置的结构示意图；46.图4示出了本发明实施例提供的另一种数字人驱动装置的结构示意图；47.图5示出了本发明实施例提供的一种计算机设备的实体结构示意图。具体实施方式48.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。49.目前，通过音素及其对应的时间戳来训练算法，并利用训练后的驱算法来对数字人进行驱动的方式，导致数字人驱动的效率较低，与此同时，音素对应的时间戳需要使用算法计算得到，由于这部分算法需要预先利用大量较难获取的数据训练，导致该算法在计算时间戳时的准确度较低，进而导致数字人的驱动准确度较低。50.为了解决上述问题，本发明实施例提供了一种数字人驱动方法，如图1所示，所述方法包括：51.101、获取待驱动数字人对应的音频数据。52.其中，待驱动数字人是指是运用数字技术创造出来的、与人类形象接近的数字化人物形象；音频数据是指需要数字人进行口述的音频。53.对于本发明实施例，音频数据库中存储着各种语种对应的音频，若要让待驱动数字人口述某一语种的音频，可以直接在音频数据库中获取该语种音频，与此同时，若要往待驱动数字人口述多语种音频，可以在音频数据库中获取多语种音频，之后确定多语种音频对应的姿态参数，最终根据姿态参数对待驱动数字人进行驱动，由此能够对数字人进行多语种驱动，提升了数字人驱动的使用范围。54.102、确定音频数据对应的音频特征向量。55.其中，音频特征向量具体可以为mfcc(mel frequency ceptral coefficient，梅尔频率倒谱系数)向量。56.对于本发明实施例，在获取待驱动数字人对应的音频数据后，可以对该音频数据以此进行预处理，得到处理后的音频数据，之后提取处理后的音频数据中的mfcc特征向量，之后将mfcc特征向量输入至预设姿态参数预测模型中进行参数预测，得到待驱动数字人对应的预测姿态参数，最终利用预测姿态参数对待驱动数字人进行姿态驱动。由此通过获取音频数据对应的音频特征向量来对数字人的姿态参数进行预测，能够避免利用音素和时间戳来预测姿态参数导致的时间戳获取困难度和获取错误的情况，同时还能够避免利用音素只能对数字人进行单语种驱动的缺陷，从而本发明实施例能够提高数字人的驱动效率和驱动准确度。57.103、将音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到待驱动数字人对应的预测姿态参数。58.其中，姿态参数是指带驱动数字人在播报音频数据时应该呈现的表情、肢体动作，唇部动作和眼部动作等。59.对于本发明实施例，在确定音频数据对应的音频特征向量后，将该音频特征向量输入至预设姿态参数预测模型中进行参数预测，通过预设姿态参数预测模型能够输出该音频特征向量对应的预测姿态参数，最终根据预测姿态参数，对待驱动数字人的肢体、唇部、眼睛等部位进行驱动，使数字人在播报音频时，能够展现与音频内容相对应的表情和动作，从而能够提高观看者的体验，与此同时，利用预设姿态参数预测模型来对待驱动数字人的姿态参数进行预测，能够避免使用音素及其对应时间戳训练的算法来预测姿态参数导致参数预测错误的情况，从而本发明实施例能够提高姿态参数的预测准确度，进而提高数字人的驱动准确度。60.104、基于预测姿态参数，对待驱动数字人进行驱动。61.对于本发明实施例，在利用预设姿态参数预测模型对数字人的姿态参数进行预测后，根据姿态参数能够确定数字人的肢体动作、面部表情、唇部动作和眼部等动作，之后按照上述动作分别对数字人的肢体、面部表情、唇部和眼部等进行驱动，由此通过音频特征向量来确定数字人对应的各部位的姿态参数，能够使数字人在播报音频时，数字人的表情和肢体动作等更贴合音频所要表达的内容，提升了观看者的观看体验。62.根据本发明提供的一种数字人驱动方法，与目前利用音素及其对应的时间戳训练的算法来对数字人进行驱动的方式相比，本发明通过获取待驱动数字人对应的音频数据；并确定所述音频数据对应的音频特征向量；之后将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；最终基于所述预测姿态参数，对所述待驱动数字人进行驱动。由此通过获取音频数据对应的音频特征向量，并利用训练好的预设姿态参数预测模型来对音频特征向量对应的姿态参数进行预测，最终利用预测出的姿态参数来对数字人进行驱动，能够避免若要对数字人进行多语种驱动时，需要不断训练不同语种对应的算法，由此本发明能够提高数字人的驱动效率，与此同时，本发明不需要获取音素对应的时间戳，避免了时间戳的获取误差，从而本发明提高了数字人的驱动准确度。63.进一步的，为了更好的说明上述对数字人进行驱动的过程，作为对上述实施例的细化和扩展，本发明实施例提供了另一种数字人驱动方法，如图2所示，所述方法包括：64.201、获取待驱动数字人对应的音频数据。65.具体地，可以在音频数据库中获取需要待驱动数字人播报的音频数据，之后根据该音频数据确定其对应的姿态参数，最终根据姿态参数来对待驱动数字人进行驱动。66.202、确定音频数据对应的音频特征向量。67.对于本发明实施例，在获取音频数据后，为了提高预设姿态参数预测模型的预测精度，还需要提取音频数据中的语音通用特征(音频特征向量)，基于此，步骤202具体包括：对音频数据依次进行预加重、分帧和加窗处理，得到处理后的音频数据；对处理后的音频数据进行傅里叶变换，得到音频数据对应的语谱图；利用梅尔滤波器组对语谱图进行滤波，得到梅尔滤波器组输出的带有能量波的语谱图，并计算能量波的对数，得到对数语谱图；对对数语谱图进行反离散变换，得到音频数据对应的音频特征向量。68.其中，梅尔滤波器组由多个带宽不等的三角滤波器组成。69.具体地，在获取待驱动数字人对应的音频数据后，为了提高数字人的驱动准确度，首先需要去除该音频数据中的冗余数据，基于此，首先可以对音频数据进行预加重处理，得到第一音频数据，进行预加重处理主要是为了去除口唇辐射的影响，增加音频数据中语音的高频分辨率，之后为了保证输入音频信号是平稳的，我们需要将第一音频数据分成一小段，即分帧处理，得到第二音频数据，之后把每一音频帧里面的抽样点与窗函数中对应元素相乘，即对第二音频数据进行加窗处理，加窗处理是为了解决由于音频信号的非周期截断，导致频谱在整个频带内发生了拖尾现象的泄漏问题，可以使全局更加连续，避免出现吉布斯效应，由此能够得到信号特征明显的处理后的音频数据。进一步地，对处理后的音频数据进行傅里叶变换，将音频数据从时域转换为频域，得到音频数据对应的语谱图，之后利用梅尔滤波器组对语谱图进行滤波，得到每个梅尔滤波器中的能量波，并对每个梅尔滤波器中的能量波取对数，得到对数语谱图，最终对对数语谱图进行反离散变换，得到音频数据对应的音频特征向量。70.203、获取多语种样本数字人视频数据，并在多语种样本数字人视频数据中提取多语种样本音频数据，以及获取多语种样本音频数据对应的实际姿态参数。71.其中，实际姿态参数是指多语种样本音频数据对应的标准姿态参数。72.204、确定多语种样本音频数据对应的样本音频特征向量。73.205、将样本音频特征向量输入至预设初始姿态参数预测模型中进行参数预测，得到多语种样本音频数据对应的样本姿态参数。74.206、基于实际姿态参数和样本姿态参数，构建预设初始姿态参数预测模型对应的损失函数。75.207、基于损失函数，对预设初始姿态参数预测模型进行训练，构建预设姿态参数预测模型。76.对于本发发明实施例，为了提高预设姿态参数预测模型的预测精度，首先需要构建预设姿态参数预测模型，基于此，所述方法包括，首先构建预设初始姿态参数预测模型，与此同时，获取多语种样本数字人视频数据，其中，该多语种可以包括英语、汉语、法语等语种，样本数字人视频为带有表情、动作和语音的数字人展现的视频，在获取多语种样本数字人视频数据后，还需要在多语种样本数字人视频数据中提取多语种样本音频数据，并在样本数字人视频中提取实际姿态参数，基于此，具体在样本数字人视频中提取样本数字人对应的姿态参数的方法包括：获取多语种样本数字人视频数据中的视频帧；将视频帧输入至预设神经网络模型中进行参数提取，得到样本数字人对应的实际姿态参数。77.其中，预设神经网络模型为预先训练好的预测精度较高的基于resnet18网络结构的模型，包括4个卷积块，实质上可以认为是一个多层非线性处理单元，使用一组计算技术来处理输入数据，每个卷积块由一个基本计算单元和一个双向残差联结组成。基本计算单元包括：一个卷积层、batch normalization(批量规范化)层、激活函数和池化层。残差联结由两个基本计算单元(称为残差单元)组成，用于把输入数据变换为等同的大小的输出。在实施残差联结的过程中，输出的范围介于输入的最大值和最小值之间。78.具体地，首先确定多语种样本数字人视频数据中的视频帧，之后将视频帧输入至预设神经网络模型中进行参数提取，视频帧经过预设神经网络模型中卷积层、batch normalization层、激活函数和池化层的处理，最终输出样本数字人对应的实际姿态参数。79.进一步地，对样本音频数据依次进行预处理、傅里叶变换处理、梅尔滤波器组处理和反离散变换处理，得到多语种样本音频数据对应的样本音频特征向量，之后将样本音频特征向量输入至预设初始姿态参数预测模型中进行参数预测，得到多语种样本音频数据对应的样本姿态参数，之后基于实际姿态参数和样本姿态参数，构建损失函数，并利用损失函数来对预设初始姿态参数预测模型的参数进行调优，最终得到精度较高的预设姿态参数预测模型。80.在本发明的又一实施例中，其中，预设初始姿态参数预测模型由初始编码器和初始解码器组成，在构建精度较高的预设姿态参数预测模型时，可以首先对初始编码器进行训练，具体训练方法为，将样本音频特征向量按照时间进行分段，得到前预设时间内的第一样本音频特征向量和后预设时间内的第二样本音频特征向量，之后将第一样本音频特征向量输入至初始编码器中，通过初始编码器输出后预设时间段内的预测样本音频特征向量，之后根据第二样本音频特征向量和预测样本音频特征向量计算损失来不断更新初始编码器的参数，最终得到精度较高的初始编码器，之后在对预设初始姿态参数预测模型进行训练时，可以将更新参数后的初始编码器的参数进行固定，之后在训练预设初始姿态参数预测模型，由此能够进一步提高预设姿态参数预测模型的预测精度，进而提高了数字人的驱动准确度。81.208、将音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到待驱动数字人对应的预测姿态参数。82.其中，预设姿态参数预测模型包括编码器和解码器；预测姿态参数包括面部表情参数、形体参数、嘴部摆动参数、眼部摆动参数。83.对于本发明实施例，在构建好了精度较高的预设姿态参数预测模型后，需要利用预设姿态参数预测模型来对待驱动数字人的姿态参数进行预测，基于此，步骤208具体包括：将音频特征向量输入至所述编码器中，通过编码器输出音频数据对应的语义特征向量；将语义特征向量输入至解码器，通过解码器输出音频数据对应的预测姿态参数。84.具体地，编码器可以有多个，每个编码器首尾相连，编码器具体包括注意力层和前馈神经网络层，具体利用编码器提取语义特征向量的方法为：将音频特征向量输入至注意力层进行特征提取，得到第一特征向量，将第一特征向量和音频特征向量相加，得到第二特征向量，之后将第二特征向量输入至第一个编码器的前馈神经网络层中进行特征提取，得到第一个编码器的输出向量，因为本发明实施例中包含多个编码器，且多个编码器之间采用首尾串联的方式，因此将第一个编码器的输出向量输入至第二个编码器中进行特征提取，得到第二个编码器的输出向量，以此将前一个编码器的输出向量作为下一个编码器的输入向量，最终将最后一个编码器的输出向量确定为音频数据对应的语义特征向量。进一步地，将语义特征向量输入至解码器中，通过该解码器输出音频数据对应的预测姿态参数，最终利用预测姿态参数对数字人进行驱动。85.由于现有技术中使用音素来对数字人进行驱动，由于不同语种的音素不同，导致只能对数字人进行单一语种驱动，而本发明实施例使用音频作为输入条件，并使用预设姿态参数预测模型来对音频数据中的姿态参数进行预测，因此发明实施例可以实现对数字人进行任意语种的驱动。86.由于使用带有编码器和解码器的模型作为预设姿态参数预测模型，使得预设姿态参数预测模型仅需在少量样本训练数据上微调便可达到精度较高的预测效果，大幅减少模型训练时间。87.209、基于预测姿态参数，对待驱动数字人进行驱动。88.对于本发明实施例，在确定了待确定数字人对应的姿态参数后，需要基于该姿态参数对数字人进行驱动，基于此，步骤209具体包括：基于面部表情参数，对待驱动数字人的面部表情进行驱动；基于形体参数，对待驱动数字人的形体进行驱动；基于嘴部摆动参数，对待驱动数字人的嘴部进行驱动；基于眼部摆动参数，对待驱动数字人的眼部进行驱动。89.具体地，在确定了音频数据对应的面部表情参数、形体参数、嘴部摆动参数、眼部摆动参数等参数后，可以根据面部表情参数，对数字人的面部进行驱动，例如，若面部表情为微笑，则将数字人的面部驱动成微笑的姿态，若面部表情为悲伤，则将数字人的面部驱动成悲伤的姿态，与此同时，根据形体参数，对数字人的形体进行驱动，例如，若形体为左臂抬起，则驱动数字人的左臂进行抬起动作，之后根据唇部摆动参数，对数字人的唇部进行驱动，例如，嘴部摆动参数为发出“哦”的口型，则对数字人的嘴部按照哦的口型进行驱动，与此同时，根据眼部摆动参数，对数字人的眼部动作进行驱动，由此能够驱动出一个表情丰富，与音频数字贴合的数字人，提升了观看用户的体验感。90.根据本发明提供的另一种数字人驱动方法，与目前利用音素及其对应的时间戳训练的算法来对数字人进行驱动的方式相比，本发明通过获取待驱动数字人对应的音频数据；并确定所述音频数据对应的音频特征向量；之后将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；最终基于所述预测姿态参数，对所述待驱动数字人进行驱动。由此通过获取音频数据对应的音频特征向量，并利用训练好的预设姿态参数预测模型来对音频特征向量对应的姿态参数进行预测，最终利用预测出的姿态参数来对数字人进行驱动，能够避免若要对数字人进行多语种驱动时，需要不断训练不同语种对应的算法，由此本发明能够提高数字人的驱动效率，与此同时，本发明不需要获取音素对应的时间戳，避免了时间戳的获取误差，从而本发明提高了数字人的驱动准确度。91.进一步地，作为图1的具体实现，本发明实施例提供了一种数字人驱动装置，如图3所示，所述装置包括：获取单元31、确定单元32、参数预测单元33和驱动单元34。92.所述获取单元31，可以用于获取待驱动数字人对应的音频数据。93.所述确定单元32，可以用于确定所述音频数据对应的音频特征向量。94.所述参数预测单元33，可以用于将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数。95.所述驱动单元34，可以用于基于所述预测姿态参数，对所述待驱动数字人进行驱动。96.在具体应用场景中，为了确定音频数据对应的音频特征向量，如图4所示，所述确定单元32，包括处理模块321、变换模块322和计算模块323。97.所述处理模块321，可以用于对所述音频数据依次进行预加重、分帧和加窗处理，得到处理后的音频数据。98.所述变换模块322，可以用于对所述处理后的音频数据进行傅里叶变换，得到所述音频数据对应的语谱图。99.所述计算模块323，可以用于利用梅尔滤波器组对所述语谱图进行滤波，得到所述梅尔滤波器组输出的带有能量波的语谱图，并计算所述能量波的对数，得到对数语谱图。100.所述变换模块322，可以用于对所述对数语谱图进行反离散变换，得到所述音频数据对应的音频特征向量。101.在具体应用场景中，为了构建预设姿态参数预测模型，所述装置还包括：构建单元35和训练单元36。102.所述构建单元35，可以用于构建预设初始姿态参数预测模型。103.所述获取单元31，还可以用于获取多语种样本数字人视频数据，并在所述多语种样本数字人视频数据中提取多语种样本音频数据，以及确定所述多语种样本音频数据对应的实际姿态参数。104.所述确定单元32，可以用于确定所述多语种样本音频数据对应的样本音频特征向量。105.所述参数预测单元33，还可以用于将所述样本音频特征向量输入至所述预设初始姿态参数预测模型中进行参数预测，得到所述多语种样本音频数据对应的样本姿态参数。106.所述构建单元35，具体可以用于基于所述实际姿态参数和样本姿态参数，构建所述预设初始姿态参数预测模型对应的损失函数。107.所述训练单元36，可以用于基于所述损失函数，对所述预设初始姿态参数预测模型进行训练，构建所述预设姿态参数预测模型。108.在具体应用场景中，为了确定多语种样本音频数据对应的实际姿态参数，所述获取单元31，包括获取模块311和参数提取模块312。109.所述获取模块311，可以用于获取所述多语种样本数字人视频数据中的视频帧。110.所述参数提取模块312，可以用于将所述视频帧输入至预设神经网络模型中进行参数提取，得到所述样本数字人对应的实际姿态参数。111.在具体应用场景中，为了预测待驱动数字人对应的姿态参数，所述参数预测单元33具体可以用于将所述音频特征向量输入至所述编码器中，通过所述编码器输出所述音频数据对应的语义特征向量；将所述语义特征向量输入至所述解码器，通过所述解码器输出所述音频数据对应的预测姿态参数。112.在具体应用场景中，所述预测姿态参数包括面部表情参数、形体参数、嘴部摆动参数、眼部摆动参数。113.在具体应用场景中，为了对数字人进行驱动，所述驱动单元34，具体可以用于基于所述面部表情参数，对所述待驱动数字人的面部表情进行驱动；基于所述形体参数，对所述待驱动数字人的形体进行驱动；基于所述嘴部摆动参数，对所述待驱动数字人的嘴部进行驱动；基于所述眼部摆动参数，对所述待驱动数字人的眼部进行驱动。114.需要说明的是，本发明实施例提供的一种数字人驱动装置所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。115.基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取待驱动数字人对应的音频数据；确定所述音频数据对应的音频特征向量；将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；基于所述预测姿态参数，对所述待驱动数字人进行驱动。116.基于上述如图1所示方法和如图3所示装置的实施例，本发明实施例还提供了一种计算机设备的实体结构图，如图5所示，该计算机设备包括：处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序，其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤：获取待驱动数字人对应的音频数据；确定所述音频数据对应的音频特征向量；将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；基于所述预测姿态参数，对所述待驱动数字人进行驱动。117.通过本发明的技术方案，本发明通过获取待驱动数字人对应的音频数据；并确定所述音频数据对应的音频特征向量；之后将所述音频特征向量输入至预设姿态参数预测模型中进行参数预测，得到所述待驱动数字人对应的预测姿态参数；最终基于所述预测姿态参数，对所述待驱动数字人进行驱动。由此通过获取音频数据对应的音频特征向量，并利用训练好的预设姿态参数预测模型来对音频特征向量对应的姿态参数进行预测，最终利用预测出的姿态参数来对数字人进行驱动，能够避免若要对数字人进行多语种驱动时，需要不断训练不同语种对应的算法，由此本发明能够提高数字人的驱动效率，与此同时，本发明不需要获取音素对应的时间戳，避免了时间戳的获取误差，从而本发明提高了数字人的驱动准确度。118.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。119.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!