（56）比较文件

江蒙。基于Kinect运动捕获的乒乓球的基本技能

外科手术评估系统的设计和研究。 “优秀的中国硕士论文的全文数据库”。 2019年，全文。

2CN112487965B

索赔1/3页

1。基于3D重建的智能健身运动指导方法，该方法的特征是该方法所包含的，

S1。收集用户运动视频并标记人体的节点信息。

S2。重建用户的运动视频并根据人类关节节点构建用户3D运动模型。

S201。从用户的运动视频中提取人体的联系，

用户运动视频中视频帧的空间特性是通过残差网络模块提取的。

基于注意力机制的封闭环路单元网络模块用于处理视频框架的空间特征，并了解视频框架随时间变化的空间特征，即时间特征，即时间特征

使用图像生成器将空间特性和时间特性重建为视频帧，并通过图像歧视器确定生成的视频帧，并将图像生成器和图像歧视器用于视频样本的对抗训练。

训练完成后，从图像发生器的回归层获得了视频框架的人类关节参数。

S202。根据链接节点捕获用户运动运动，

S203。检测用户运动视频的深度，并根据用户的运动和人体的关节节点建立用户3D模型。

S3。从标准3D运动模型库中读取标准3D运动模型。

S4。用不同的标准3D运动模型缩放用户3D运动模型，

S5。计算用户3D运动模型中的相应节点运动向量和模式的偏移，以及不同的标准3D运动模型以及同一坐标系中的欧元类型距离，并计算同一标准3D运动模型的欧元类型距离的偏移和距离总和。

S6。选择具有最高相似性的标准3D运动模型，即欧几里得距离或偏移和最小的偏移，并获取指导信息以生成纠正性指南视频。

S7。生成对应于播放率和播放进度的控制命令，

S8。接收并响应控制命令，从标准动作视频库中读取相应的标准运动视频，

S9。将接收到的用户运动视频，将标准动作视频，指导信息和纠正指南视频读取到一个视频中，然后通过屏幕将其馈回用户。

2。根据权利要求1基于3D重建的智能健身运动指导方法，其特征在于根据关节节点的捕获用户运动运动，包括

用户运动视频中的人类关节节点是2D注释，并且设计了时序编码器，并使用正时编码器对人类关节节点的定时信息进行编码。

标记的用户运动视频输入了受过训练的卷积神经网络，定时编码器和动作回归器，以预测关节节点的运动参数，并生成运动动作序列。

实际或回归产生的运动序列由动作歧视者区分。

通过最大程度地减少动作回归器与动作鉴别器之间的对抗训练误差，可以捕获与人类关节节相对应的实际运动。

3。根据权利要求1基于3D重建的智能健身运动指导方法，其特征是检测到用户运动视频的深度，并根据用户的运动和人体的关节节点建立了用户3D模型，包括

计算用户运动视频中用户目标的深度，并根据该深度重建三维空间。

将人体的3D模型置于三维空间中，并识别人体节点。

调整人体关节节点，以使人体3D模型与被捕获的用户姿势相匹配，从而构建用户3D运气

23CN112487965B

索赔2/3页

动态模型。

4。根据权利要求1基于3D重建的智能健身行动指导方法，其特征在于缩放匹配过程包括右手坐标系统缩放量匹配或左手坐标系缩放系统缩放匹配，

右侧坐标系的缩放匹配包括，

标准3D运动模型外轮廓的左脚的位置用作三维坐标系的起源。

使用标准3D运动模型的头部和左脚的平面建立右侧坐标系。

用户3D运动模型的起源与标准3D运动模型建立的坐标系的原点一致。

旋转标准的3D运动模型使用户3D运动模型的头部和左脚位于与标准3D运动模型的头部和左脚位置相同的X -O -Y平面，

通过缩放用户3D运动模型，用户3D运动模型中左关节路径的长度等于标准3D运动模型的相应路径的长度，因此两个模型保持相同的尺度。

左侧坐标系的缩放匹配包括，

标准3D运动模型的外轮廓的右脚位置用作三维坐标系的起源。

使用标准3D运动模型的头部和右脚的平面建立左侧坐标系。

用户3D运动模型的起源与标准3D运动模型建立的坐标系的原点一致。

旋转标准的3D运动模型使用户3D运动模型的头部和右脚位于与标准3D运动模型的头部和右脚位置相同的X -O -Y平面，

通过缩放用户3D运动模型，用户3D运动模型中正确的接头路径的长度等于标准3D运动模型的相应路径的长度，因此两个模型保持相同的尺度。

5。根据权利要求1基于3D重建的智能健身运动指导方法，其特征在于指导信息包括根据用户3D运动模型与标准3D运动模型之间的相似性计算动作得分它们的标准误差值。

6。根据权利要求1基于3D重建的智能健身运动指导方法，其特征在于生成更正的视频的特征，包括在用户3D运动模型和标准3D运动模型的相应关节节点之间设置标准误差值。当两个3D运动模型的欧元类型距离或关节节点的偏移超过其标准误差值时，位于用户3D运动模型的关节节点是起点，并且标准3D运动模型中的关节节点用作终点，并且使用导向箭头来形成校正的指南视频。

7。根据权利要求1基于3D重建的智能健身动作指导方法，其特征在于与播放率和播放进度相对应的控制指令的产生，包括生成暂停信号，下一节信号，上一节信号，快速前进信号，快速返回信号，快速倒流信号或由效率延迟或判断playback play weled of play play wears of Play play warder of Play play weles of Play play的播放信号。

其中，用户发送手势并生成与游戏率相对应的控制指令，包括，包括，

手3D模型与用户的3D运动模型分开，并连续检测到手3D模型。

当即时手势的检测结果和手的3D模型满足要求时，请转到下一步。

将检测到的手势模型与预设手势特征库中相应模型的控制信号匹配。

成功匹配与手势模型相对应的控制信号之后，将将控制命令发送到视频播放控制模块。

其中，通过判断播放延迟的播放率和播放进度对应的控制命令包括，

检测当前的用户3D运动模型是否在实际进度的标准3D运动模型的阈值幅度上具有不匹配。

34CN 112487965 b

索赔3/3页

如果不匹配小于阈值振幅，也就是说，仅欧洲节点对的欧洲风格的距离太大，则确定该动作不是标准化的，并且模型匹配模块可以分析动作校正指南。

如果不匹配大于或等于阈值振幅，即大量关节节点对的欧洲风格距离太大，则确定用户的运动进度已落后。

当用户的进度是当前进度后面的进度时，将降低播放速度的命令发送到指导视频播放控制模块，以等待用户赶上运动进度。

8。根据权利要求1基于3D重建的智能健身运动指导方法，在通过屏幕上反馈对用户视频的反馈之后，在练习期间，模型匹配系统生成的用户的移动信息包括指导信息和校正指南的移动指南。

45CN 112487965 b

说明手册的第1/8页

基于3D重建的智能健身运动指导方法

技术领域

[0001]本发明涉及智能设备技术领域，尤其是基于3D重建的智能健身行动指导方法。

背景技术

[0002]随着时代的迅速发展，人们的生活质量不断提高，并且随着物质生活的满足，越来越多的人开始关心身心健康。在当今生活速度正在加速的世界中，家庭中的健身运动已成为过去。

[0003]在传统的健身运动道路中，主要有两种方法来进行自学方法，通过收集相关的运动材料和健身教练指导。这两种方法的锻炼准确性的判断主要基于人们的经验。该方法对人有很高的依赖，但效率不高。此外，无法获得用户培训过程中的反馈信息，并为自学方法提供了进一步的指导。

[0004]目前，对于上述技术问题，相关研究人员提出了通过诸如深度学习之类的方法来指导运动学习者。例如，中国专利CN27提出了一种深度学习运动评估指导方法和系统。该专利收集用户行动的图像信息，并通过构造的检测模型执行人类对象检测，并执行目标个体的关键点信息检测。进一步根据关键点信息获得用户操作信息，并比较和分析用户行动信息与标准操作信息以获取比较分析结果，并为用户提供比较分析结果，这有利于用户基于此事的操作学习，以改善其对动作的掌握。

[0005]例如，中国专利CN23提出了基于运动识别技术的智能运动引导系统和方法。该专利结合了运动捕获技术，机器视觉技术和图像识别技术和原始运动学习模式，收集用户数据和标准数据，以进行多层比较和分析，在学习过程中标准化用户的运动，并使用云数据来集成和分析用户培训信息，并得出结论以向用户提出运动指南。

[0006]这些指导系统将收集到的动作视频与标准动作视频，表格比较和分析结果和展示进行比较，用户将根据显示结果自己改进动作。但是，这些指导系统缺乏对动作的3D刻画，现有的3D刻画技术缺乏比较，在将标准操作与实际操作进行比较时导致了很大的错误，因此无法准确并标准化用户操作。

发明的内容

[0007]考虑到上述指导系统的优点和缺点，本发明需要解决深度学习所需的大量数据和计算金额，同时，有必要避免用户使用可穿戴设备进行数据收集。基于此，本发明提供了一个标准化的系统，该系统可以指导用户在任何时间，任何地方，准确和标准化的任何时间进行健身练习，并具体提出了一种基于3D重建的智能健身行动指导方法，该方法用于指导用户（健身从业者）以训练运动以改善运动的掌握。

本发明提供了基于3D重建的健身运动指导方法，包括以下步骤，

[0009]收集用户运动视频并标记人体的关节节点信息，

[0010]重建用户的运动视频，并根据人类关节节点构建用户的3D运动模型，

56CN 112487965 b

手册2/8页

[001 1]从标准3D运动模型库中读取标准3D运动模型，

[0012]用户3D运动模型分别缩放并与不同的标准3D运动模型匹配，

[0013]分别计算用户3D运动模型和不同标准3D运动模型的同一坐标系中相应节点的欧元类型距离，并计算欧元型距离和对应于相同标准3D运动模型的欧元型距离和总和。

[0014]选择了最高的相似性，即欧几里得距离和最小的标准3D运动模型，并得出了指导信息以生成校正后的指导视频，

[0015]用户发出手势并生成与游戏率相对应的控制指令，

[0016]接收并响应控制命令，从标准动作视频库中读取相应的标准运动视频，

[0017]接收到的用户运动视频，读取标准操作视频，指导信息和纠正指南视频已合并为一个视频，并通过屏幕向用户反馈。

[0018]此外，用户3D模型的形成过程包括，

[0019]计算用户运动视频中用户目标的深度，并根据深度重建三维空间

[0020]建模的人体3D模型被放置在三维空间中，并且确定了人体3D模型的各种链接节点，

[0021]调整每个关节节点的位置，以便人体3D模型与用户运动视频中的姿势匹配，最终获得的人体3D模型是重建的用户3D运动模型。

[0022]此外，缩放匹配的过程包括右手坐标系缩放匹配或左手坐标系缩放匹配，

[0023]可选，右侧坐标系缩放匹配包括，

[0024]标准3D运动模型外轮廓的左脚的位置用作三维坐标系的起源，

[0025]使用标准3D运动模型的头部和左脚位置的平面位于XOY平面，以建立右手坐标系，

[0026]用户3D运动模型的起源与标准3D运动模型建立的坐标系的原点，

[0027]旋转标准3D运动模型使用户3D运动模型的头部和左脚位于与标准3D运动模型的头部和左脚位置相同的XOY平面，

[0028]通过缩放用户3D运动模型，用户3D运动模型中的左关节路径的长度等于标准3D运动模型的相应路径的长度，以便两个模型保持相同的尺度，

[0029]可选，左侧坐标系缩放匹配包括，

[0030]标准3D运动模型外轮廓的右脚位置用作三维坐标系的起源，

[0031]通过使用标准3D运动模型的头部和右脚位置作为Xoy平面的平面建立左手坐标系

[0032]用户3D运动模型的起源与标准3D运动模型建立的坐标系的原点，

[0033]旋转标准3D运动模型使用户3D运动模型的头部和右脚位于与标准3D运动模型的头部和右脚位置相同的XOY平面，

[0034]通过缩放用户3D运动模型，用户3D运动模型中正确的关节路径的长度等于标准3D运动模型的相应路径的长度，因此两个模型保持相同的尺度。

[0035]此外，得出了指导信息，包括根据用户3D运动模型与标准3D运动模型之间的相似性来计算动作评分，在用户3D运动模型和标准3D运动模型的相应节点以及两个3D运动模型的相应节点之间设置标准误差值，而两个3D运动模型的euclidean距离超过了标准误差值超出其标准误差值，以超出指导信息，以适用于指导信息。

[0036]此外，生成更正的视频包括在用户3D运动模型和标准3D运动模型的相应关节节点之间设置标准误差值。当两个3D运动模型的关节节点的欧元类型距离超过其标准误差值时

67CN 112487965 b

手册3/8页

位于用户3D运动模型中的链接节点是起点，标准3D运动模型中的链接节点用于形成纠正性指南视频。

[0037]此外，控制说明包括暂停信号，下一节信号，上一节信号，快速信号，快速倒流信号和双速播放信号，这些信号用于控制标准动作视频的播放进度和播放速度。

[0038]最好是，在通过屏幕上反馈对用户视频的反馈之后，该运动过程中模型匹配系统生成的用户运动信息包括用户运动文件数据库中的指导信息和校正指导视频。

[0039]本发明的有益影响，

[0040]要综上所述，此应用程序收集用户运动视频并使用知识图来对用户运动视频进行建模以更准确地识别真实的人类关节。对抗网络学习方法提取人类关节并捕获用户运动运动。最后，根据人体形状和骨骼结构的个体差异，重建了用户运动视频的3D模型。由于人体形状和骨骼结构的个体差异，因此需要对标准动作数据和用户动作数据进行自适应匹配以提高指导水平，因此标准操作视频需要同时为3D。建模，比较两者的3D模型可以获得比较和分析结果，并将比较和分析结果提供给用户，这有利于用户基于此的学习运动的学习，以提高运动的掌握程度。该应用程序不仅为用户提供了纠正性的指导视频，而且还将收到的用户的运动视频，标准操作视频和指导信息结合到视频中，并通过屏幕将其馈回用户，从而为用户提供了更深入，更清晰的指导。此外，此应用程序还可以通过手势来控制视频播放的进度，这更有​​利于初学者的学习。

图纸的附加描述

[0041]图1是基于本发明的3D重建的智能健身指导方法的操作思想的框图，

[0042]图2是基于本发明的3D重建的智能健身运动指导方法的流程图，

[0043]图3是本发明的构建3D模型的流程图，

[0044]图4是本发明的右手坐标系的构建的流程图，

[0045]图5是本发明的左手坐标系的构建的流程图，

[0046]图6是本发明的用户的流程图，通过控制说明控制视频播放，

[0047]图7是本发明的用户的流程图，主动发送手势以控制播放状态，

[0048]图8是本发明的自触发控制播放的流程图，图9是将视频结合到本发明中用户的流程图，

[0049]图10是一个视频信息接口

[0050]图11是与图10的视频信息相对应的文本信息接口。

特定的实施方法

[0051]根据本发明的实施方案，本发明实施方案中的技术解决方案将在下文中进行清楚而彻底描述。显然，描述的实施例只是本发明的实施方案的一部分，而不是全部。基于本发明中的实施例，在没有从事创造性劳动的情况下熟练的人获得的所有其他实施方案都属于本发明的保护范围。

[0052]实施本发明体现中提供的基于3D重建系统的健身指南方法的目的主要是针对一个问题，即健身从业人员自己的运动并不标准化，并且不便以获得有效的指导。它的核心想法如图1所示，包括

[0053]当用户执行健身练习时，视频采集系统将拍摄用户的体育视频，

78CN 112487965 b

手册4/8页

[0054]将用户的运动视频重建为3D运动模型，

[0055]用户3D运动模型和标准3D运动模型的比较分析，并提供指导建议，

[0056]对于此指南建议，一方面，用户的运动视频，标准操作视频，纠正指导视频和指导信息被合并为一个视频，并通过屏幕向用户反馈以指导用户继续运动。另一方面，在此运动中，模型匹配系统生成的用户移动信息包括指导信息和校正指导视频到用户的运动文件数据库中，以指导用户改善运动。

[0057] The user forms a video acquisition system with one or more cameras, the camera captures the user's motion video, the camera connects the 3D reconstruction module in the guidance system, and the 3D reconstruction module constructs the motion video into the user's 3D motion model, and matches the constructed user's 3D motion model with the standard 3D motion model, and analyzes which movements of the user are not in place, how to improve, generates a校正视频，然后将用户的原始运动视频，标准运动视频，校正指导视频和指导信息（系统提示）一起投影到屏幕上，促使用户自己的运动状态以及如何改进，并且用户可以通过使用手势识别系统控制相机来控制运动视频和运动视频的进度。每次用户完成练习时，为用户保存练习数据的副本并将其存储在用户的运动文件数据库中，从而使用户能够理解他的缺点并提示用户如何改进，并最终实现更有效的练习的目标。

[0058]在一个实施方案中，基于3D重建系统的适应性引导方法的特定解决方案如图2所示

[0059] S1，收集用户运动视频，并标出人体的联合信息，

[0060]具体来说，用户的运动视频是使用视频采集系统收集的。当用户使用播放的标准视频移动时，可以通过相机自动收集用户的运动视频信息。

[0061] S2，重建用户的运动视频，并根据人类关节节点构建用户的3D运动模型，

[0062]在一个实施方案中，如图3所示，用户3D模型的形成过程包括，

[0063] S201，从用户运动视频中提取人体的关节节点，

[0064] S202，根据关节节点捕获用户运动运动，

[0065] S203。检测用户运动视频的深度，并根据用户的运动和人体的关节节点建立用户3D模型。

[0066]其中，在步骤S201的一种实施方法中，

[0067]用户运动视频中视频帧的空间特征是通过构造残留网络模块提取的

[0068]基于注意机制的封闭循环单元网络模块用于处理视频框架的空间特征，并了解视频框架随时间变化的空间特征（称为时间特征）的情况，

[0069]使用图像生成器重建视频框架，空间特性和时间特性是重建的，并使用图像发生器和图像歧视器确定了生成的视频框架，以进行视频样本以进行对抗性训练，以进行对抗性训练，以进行对抗性训练，

[0070]训练完成后，视频框架的人类关节参数将从图像发生器的回归层获得。

[0071]其中，在步骤S202的一种实施方法中，

[0072]用户运动视频中的人类关节节点是2D标记的，设计了时序编码器，并且编码了人类关节节点的时序信息，

[0073]标记的用户运动视频输入了受过训练的卷积神经网络，定时编码器和动作回归器，以预测关节节点的运动参数，并生成运动动作序列，即

[0074]真实或回归产生的运动序列由动作歧视者区分

89CN 112487965 b

手册5/8页

[0075]通过最大程度地减少动作回归器与动作鉴别器之间的对抗训练误差，可以捕获与人类关节节点相对应的实际动作。

[0076]其中，时间编码器的输入是视频框架序列，输出是SMPL的82参数序列（皮肤多人线性线性模型）。在中间，提取视频框架特征，封闭式循环单位层（GRU）输出隐藏的元素，然后发送到操作回归器并在迭代后输出SMPL参数序列。

[0077]其中，通过平均姿势初始化了动作回归器，并使用循环方法中的拟合来限制目标函数。

[0078]其中，动作判别器的输入是82个SMPL参数序列和真实数据集。中间包含GRU层和自我发项层。最后，输出为0或1，指示为false或true。

[0079]其中，在步骤S203的一种实现方法中，

[0080]计算用户运动视频中用户目标的深度，并根据深度重建三维空间

[0081]将人体3D模型放入三维空间，并识别人体节点，

[0082]调整人体关节节点，以使人体3D模型与捕获的用户姿势相匹配，从而构建用户3D运动模型。本发明的3D刻画过程是通过通过两个不同角度的摄像机获取人类图像来实现的。多角度检测后，可以更准确地生成其关键节点的三维坐标。 3D坐标不仅意识到人体在二维水平上相对于相机的深度的准确性，而且还准确地反馈了人体关节之间的相对位置深度，从而产生了更合理且准确的3D模型，从而使模型在三维过程中的模型相比会更加准确，从而可以在更准确的过程中逐渐散布。

[0083]具体而言，对于每个关节变化，人类3D模型与相机捕获的人的姿势相匹配，并使用人体3D模型匹配它。头部，左肩，右肩，左肘接头，右肘接头，左手，右手，左臀部，右臀部，左膝盖，左膝盖，右脚，左脚，右脚，右脚作为关节标记点。更改后的人的模型称为用户3D运动模型。

[0084] S3，从标准3D运动模型库中读取标准3D运动模型，

[0085]同样，对于标准3D运动模型，本发明可以使用类似于用户3D运动模型的技术构建，也可以直接从现有的标准3D运动模型库中选择。