安装教程
1、从艾薇下载站下载软件压缩包,并进行解压处理2、运行软件安装程序,设置软件安装路径
3、阅读许可协议,选择I accept进入下一步
4、等待软件完成安装
5、取消Launch R3DS Track 2021勾选,点击Finish关闭页面
6、将破解文件解压并复制到安装路径当中
7、替换同名程序文件
8、运行软件即可免费使用
软件特色
1、该软件将所有劳动密集型工作带入 2D 空间,因此您无需清理 3D 模型。2、在表演过程中,皮肤的外观可能会发生巨大变化。通过使用跟踪标记,甚至可以包装非常极端的表达式。
3、提供通用和个性化的检测器来跟踪嘴唇和眼睑轮廓。
4、您可以通过为其提供一组手动注释的帧来训练个性化检测器,以实现卓越的准确度。
软件功能
一、加载模式此模式负责将图像序列加载到项目中。它还控制缓存和项目帧速率。
1、加载序列
要加载序列,请单击文件夹按钮并从序列中选择任何文件。
2、缓存设置
当您第一次显示帧时, R3DS Track 2021会将帧缓存在内存中。这允许更快的播放。您可以通过单击Cache Selected Range来一次预缓存选定的帧。 在Cache Mem (GB)字段中,您可以指定允许用于缓存的 RAM 量(以 GB 为单位)。当您第一次运行该软件k时,90% 的所有可用计算机随机存取内存将在此字段中确定。
3、缓存管理
您可以立即缓存选定的子范围(通过在时间线上选择它)并单击“缓存选定的范围”按钮,而不是通过在时间轴上切换到它们一次缓存一帧。
4、帧路径蒙版
要使用编号名称指示一组图像文件,您可以使用帧路径掩码。假设如果在文件夹中有 150 个名称为 fromframe000.png的帧frame149.png,那么您可以用蒙版覆盖它们。
5、序列加载错误
如果在加载帧后,范围不是您所期望的(例如,在文件夹 1000 帧中,但时间轴上自动设置了 0-499 范围),则检查边界帧的存在和可读性。如果该软件无法读取序列中的一帧,则范围会中断。
二、追踪模式
在“跟踪”模式下,您可以获取具有地标跟踪的JSON文件序列。地标是脸上的特殊功能,例如,演员脸上的标记点。去做这个:
①加载序列
②将标记放在其框架之一上
③跟踪所有其他框架的标记
④导出它们
1、创建标记
要在任何地标上创建标记,请按C键或创建按钮,然后单击视口中的所需点。那个地方会出现一个标记。通过在视口或图案窗口中移动地标,将其中心精确地设置在地标上。
2、追踪
为避免在大序列的每一帧上手动设置标记位置,请使用跟踪算法。它正在尝试逐帧跟踪标记地标。跟踪是在每个下一帧上顺序启动检测器。要跟踪标记,选择它们并按]键向前播放帧,或按[键向后播放。播放序列时,标记会跟踪并因此以尽可能高的准确度跟随地标。
3、标记可以处于两种状态,每种状态都有自己的颜色:
①默认。标记刚刚创建,或者此帧是此标记的关键帧或跟踪帧。它在视口中标记为黄色。屏幕上标记的位置对应于它在关键帧或跟踪帧中的实际位置。
②插值。标记位置未知,不会用于导出。以阴影颜色显示。它在视口中的位置计算为最近的左侧和最近的右侧跟踪帧或关键帧之间的线性插值。在时间轴上,这种帧仍然是深灰色的。
4、标记跟踪停止
①手动停止跟踪:
您可以通过再次按跟踪按钮或SPACE按钮来停止跟踪。
②如果出现以下情况,跟踪标记将自行停止:
您已到达时间线的末尾(开始)并且跟踪已成功完成。
标记到达其关键帧。如果您正在接近您已经手动确定标记位置的帧,则跟踪将停止。
记号笔掉了。如果跟踪算法认为下一帧的误差足够大,就会发生这种情况。原因:地标从视野中消失或变得难以区分。
③如果标记错位:
如果地标在视野中并且您需要它在这些帧上的位置,您可以调整模式窗口和搜索窗口(更多)的大小。
如果地标在帧中消失,则转到下一帧,它再次可见。设置地标上的标记位置(黄色关键帧标记应出现在时间轴上)并继续跟踪。
5、出口标记
要导出标记:
①选择要导出的标记(您可以通过按CTRL + A选择所有标记)。
②在时间线上选择一个范围(您需要地标位置的范围)。您可以在此处阅读有关如何执行此操作的信息。
③单击导出按钮。
④在出现的对话框中,选择要保存JSON文件序列的文件夹。这些文件中的每一个都将包含帧上可见的所有标记的位置(请注意,插值帧不会导出。您可以在此处阅读它们)。
⑤您可以在 4D 处理管道(更多)中使用生成的文件。
6、追踪算法
正在创建的每个标记都有两个特殊区域:模式窗口和搜索窗口。它们显示为标记中心周围的窗口。内部是模式窗口,它为放置标记的地标的边界设置框架。External 是算法使用的搜索窗口,该算法试图在该窗口内的每个下一帧中找到一组与Pattern Window中指定的批次最相似的像素。
7、跟踪多个标记
以类似方式执行一组选定标记的跟踪。首先,选择一个组,然后按]键或[键开始跟踪。标记相互独立跟踪。但是,如果对组中的任何标记的跟踪停止(由于这些原因之一),则不会中断对该组的其他标记的跟踪。相反,该标记将被取消选择并且将不再被跟踪。取消选择最后一个、选择/取消选择标记
①要选择一个标记:
单击它或在标记列表中选择它。选定的标记应变为白色。
②要选择多个标记:
按住SHIFT并在Viewport中,单击标记的中心。它们将以白色突出显示,并在标记列表中标记为选中。
按住CTRL并在标记列表中单击标记以选择它们。它们将在Viewport中同时被选中。
在标记列表中选择一个标记。然后,按住SHIFT选择另一个。将选择它们之间的整个标记范围。
命名标记按CTRL + A选择所有标记。
8、显示/隐藏标记
当视口中出现大量标记时,可以选择如何显示它们:
①通过按A或View > Show Markers > All,将始终显示所有标记。这是一个默认选项。
②通过按S或View > Show Markers > Selected Only,将仅显示选定的标记。如果未选择任何内容,则将显示所有内容。
③通过按B或View > Show Markers > All With Same Basenames,如果选择了任何标记,则所有具有相同基本名称的标记也是可见的。如果您从具有不同基本名称的多个标记中选择了多个标记,则将显示所有受影响的组。
④要取消选择标记:如果要删除所有选择,请单击视口的空白处或标记列表的空白处。
如果要从选定的标记中排除某些标记,请按CTRL并单击视口或列表中的标记。标记后,跟踪将停止。
9、由于可能需要使用一个名称模板创建多个标记,例如,使用BaseName和Padding字段很方便。在BaseName字段中,指定名称的公共部分。在这种情况下,它是。在填充字段中,设置标记编号的位数。将通过在这些位置替换下一个数字来生成标记的结果名称。这将根据类似于通过掩码查找帧路径的原理发生。
10、删除标记
您可以选择任意数量的标记,然后按DELETE删除相应的标记。您可以通过在Viewport中按住CTRL的同时单击它们来一一移除标记。此外,如果您删除所有跟踪的帧(更多详细信息),标记将被删除。
11、移除框架
如果您不需要删除整个标记,而只需要删除其中的一些帧:
①删除关键帧:Remove Keyframe按钮用于删除Selected Range中的关键帧。
②删除跟踪帧:Remove Selected按钮用于删除Selected Range中的关键帧。
Remove Before按钮用于移除当前帧之前所有帧中的关键帧。
Remove After按钮用于删除Current Frame之后所有帧中的关键帧。
12、调整标记窗口的大小
您可以通过在Viewport中用鼠标拖动标记的Pattern Window和Search Window来调整它们的大小。您可以拖动窗口的一角或按住SHIFT键以授予统一缩放。
三、检测模式
在此R3DS跟踪模式下,您可以检测到嘴唇和眼睑轮廓,从而获得一系列JSON文件。为此,您需要:
①加载序列
②预计算帧,之后,您可以导出它们。
③为了改善预计算的结果,您可以个性化检测器,为此您需要选择训练框并在其上手动定义轮廓
④计算框架
⑤如果结果仍然不够准确,请返回步骤3,然后添加帧以个性化检测器并再次计算不良帧
⑥导出带有检测的文件序列
您可以导出仅使用预计算获得的轮廓,但是在R3DS Wrap4D管道中,可能需要更精确的轮廓,为此需要使用个性化检测器。
1、预计算帧
要预先计算您需要的帧:
①加载序列。
②在时间线上选择要检测眼睛和嘴唇轮廓的子范围。
③按检测按钮。
2、内唇轮廓
您可以通过按下“内唇”按钮来调整内唇轮廓形状对外部轮廓的依赖性。
3、个性化检测器
标准检测器使用神经网络来确定眼睛和嘴唇轮廓的位置。但是,他可能对每个演员的个人特征特别敏感。这就是为什么嘴唇的轮廓可能不准确,眨眼时眼睛的轮廓看起来很奇怪。为了解决这个问题,R3DS Track 2021使用了个性化检测器。
4、训练框架选择
当您从序列中预先计算帧时,您可以选择训练帧来个性化检测器并提高检测质量。
①选择哪些帧作为训练帧:
这些应该是标准检测器可能无法正常工作的帧。比如面部的极端表情:
眼睛可以睁开、凝视、闭上、紧闭。演员眨眼的帧也很合适。
对于嘴来说,发元音时可以是不同的唇形、弯唇、闭嘴、扭曲的笑容、匹配的嘴唇或紧张的嘴唇。
②如何创建训练框架:
要创建训练帧,请在时间轴上选择一个帧,然后单击创建按钮。在时间轴上,该帧将被标记为黄色,并且一个新元素将出现在“训练帧”列表中。
5、编辑训练帧
要编辑创建的训练帧,请在时间线或训练帧列表中选择其中之一。然后单击编辑或E键。您也可以通过双击训练帧列表中所需的帧进入编辑模式。
6、计算帧
现在,当您选择并注释了训练帧后,您就可以进行计算了。
①选择要计算的范围。它应该包含已经预先计算的帧。只会计算预先计算的帧。
②按计算按钮。
7、计算工作流程
在您第一次计算帧范围后,您很可能仍然对结果不满意。添加新的训练帧后,您可以重新计算所需的范围。此外,可以使用不同的设置进行计算。
8、出检测
在预计算和计算之后,您可以在检测模式的任何工作阶段导出轮廓检测的结果。去做这个:
①在时间轴上选择要导出检测结果的帧的范围。
②按导出按钮。
③在打开的对话框中,指定将记录 JSON 文件序列的文件夹。
9、导入检测
将检测结果添加到项目中的主要方法是在该软件中创建它们。但是,您可以从外部导入它们。去做这个:
①加载序列。
②单击导入按钮。
③在打开的窗口中,选择与项目序列的帧命名相同的 JSON 文件集。如果名称不可比较,则轮廓的检测将不会与帧序列相结合。
④框架将被导入到项目中。
10、训练框架设置
当您创建一个训练框架时,甚至在您对其进行注释之前,一定数量的语义点将被放置在轮廓上。您可以在为每个段创建第一个训练帧时出现的对话框中指定此数字。
11、训练框架的导入和导出
在为一个或多个段注释训练帧后,您可以将它们导出为注释。为此,请单击训练帧部分中的导出。在出现的对话框中,指定 JSON 格式注释文件的名称,其中将存储语义和额外点的位置,以及相应训练帧被注释的帧的路径。
12、训练框架路径改变
由于该软件本身不存储帧文件,而是存储它们的路径,因此在移动这些文件时可能会出现这种情况。如果序列的路径已更改,则帧图像将不再显示在视口中,并且帧将在时间轴上标记为红色。
13、渲染
如果您想查看轮廓在多大程度上适合您的管道以及它们在所有图片中是否一致,您不仅可以在该软件中查看它们。如果项目很重,导出带有绘制轮廓的图像帧以单独查看它们可能会更容易。
①渲染区域-要渲染的图像区域:
全图:原始文件大小。
仅当前视图:仅当前显示在视口中的图像部分。
②颜色样条线-轮廓的颜色:
全部:所有轮廓都以其颜色显示。
仅当前段:当前段的轮廓以彩色显示,其余为灰色。
③图像尺寸:您可以选择缩小的图像尺寸以加快渲染速度。以像素为单位的图像的长度和宽度将按比例变小。
④格式:用于保存的图像格式。
⑤质量:一般渲染质量。
四、过滤模式
在“过滤器”模式下,您可以获取一系列JSON文件,这些文件具有检测到的轮廓,这些轮廓是通过在“检测”模式下工作而获得的,但具有改进的内部嘴唇轮廓。的过滤器模式可以纠正内唇部轮廓的交叉点,以及创建粘嘴唇的效果。
在“检测”模式下计算出轮廓的那些帧将在时间轴上以紫色显示。
为此,您需要:
①检测嘴唇的轮廓需要检测。
②选择最佳的过滤选项。
③在时间轴上选择一个帧范围。
④单击过滤器按钮并评估结果。
⑤导出轮廓。
1、初始轮廓
使用正确的方法,个性化检测器的结果可以提供良好的视觉效果。然而,在为嘴唇标注训练帧时,当嘴唇粘在一起时,很难保持内唇轮廓的像素精度。您可以使用轮廓过滤,而不是煞费苦心地纠正训练帧,否则可能会失去一致性。内唇轮廓将在必要时粘在一起。
2、过滤器参数
过滤算法只有两个参数:
①焊接半径- 嘴唇粘在一起的距离(以像素为单位)。
②半径下降 - 嘴唇轮廓的粘性和非粘性部分之间平滑过渡的半径(以像素为单位)。
3、过滤
设置好参数后,按下过滤按钮。在视口中,旧结果将颜色变为灰色,并且将出现算法工作的新轮廓。在时间线上,过滤后的帧将显示为蓝色。
4、出口
要导出结果,请单击导出按钮。单击按钮后,将出现导出选项,您可以在其中准确选择要导出的内容:仅过滤后嘴唇的轮廓(下拉列表中的参数Lips ),或所有部分:嘴唇和眼睛(参数全部在下拉列表中)。如有必要,您可以启用Resample复选框并选择将在每对语义点之间均匀分布的点数。你可以在这里找到重采样的含义。
软件亮点
1、时间线时间轴可让您在各帧之间导航,并根据当前工作模式提供其他控件。
2、视口
视口将显示图像序列,并根据活动模式(加载,跟踪,检测,过滤器)提供编辑工具。
3、工具列
使用R3DS Track中的工具栏,您可以加载和保存项目,撤消和重做最近的动作,激活许可证以及在视口和选定模式下执行动作。工具栏位于“R3DS跟踪”窗口的顶部。
如果任何工具栏操作具有热键,它将显示在该操作旁边。
4、首选项
该软件中的许多内容都可以自定义。要随时打开首选项对话框,请按P键或从工具栏中选择选项>首选项。
首选项对话框包含以下部分:
①调色板设置
②全局项目设置
③标记显示
④花键显示
软件优势
1、并行处理使用R3DS Wrap4D,您可以独立计算序列的任何帧,这意味着可以在多台机器上并行计算整个序列。
2、完全控制
包装管道被分成清晰的可控步骤。在进入下一个步骤之前,您可以轻松检查并更正每个步骤的结果。
3、二维工作流程
多亏了该软件,所有的劳动密集型工作,例如跟踪标记和检测轮廓,都是在 2D 中完成的,因此您不必在 3D 中清理模型。
4、灵活性
不同的项目有不同的要求和不同的扫描能力。您可以自由使用适合您需求的拓扑,调整管道以处理缺失数据和噪声扫描,添加注释帧以提供更准确的唇和眼睑跟踪,并扩展训练混合形状集以提高包裹质量。
5、处理大旋转
因为R3DS Wrap4D直接与 3D 扫描一起工作,它可以处理较大的头部旋转,从而为演员提供更多的行动自由。使用预稳定步骤,管道的其余部分就像演员的头部位置是静态的一样工作。
6、可扩展性
使用R3DS Rush和R3DS Node,您可以轻松地将计算扩展到数十台机器,以满足您的最后期限。
快捷键功能
第一帧:Home(跳转到时间线的第一帧)上一帧: Left(跳到上一帧)
反向播放:,(以相反的顺序播放序列)
暂停:SPACE(停止播放)
播放:.(播放序列)
下一帧:Right(跳到下一帧)
最后一帧:End(跳转到时间线的最后一帧)
向后跳:CTRL +左(向后跳转指定数量的帧)
向前跳跃:CTRL +右(向前跳转指定数量的帧)
变焦范围:鼠标滚轮(以悬停框架为中心扩大或缩小范围)
移动范围:ALT + LMB(向左或向右移动当前范围)
更新说明
【功能性】1、在跟踪模式下,添加了显示标记循环。方法类似于 Wrap 中的 Point Detector 可视化编辑器。它可以通过按 Z 或 View > Show Cycles 来打开和关闭。可以在 Preferences > Markers > Cycles 中编辑循环颜色。
2、在首选项 > 标记中添加了几个视图选项。现在可以设置标记中心和交叉线的确切大小,以及隐藏它们。
【Bug修复】
1、在追踪模式下,修复了追踪时切换到另一种模式的崩溃问题。
2、在 Track 模式下,带有标记的 bug 突然移动到其他位置,在 Pattern Window 中移动它们。
3、在跟踪模式下,添加了一个验证对话框,用于仅导出部分标记。
4、将图像文件放入打开的项目时崩溃已得到修复。
使用说明
一、入门让我们看一下典型的管道。
我们从加载模式开始。在序列字段中,让我们选择扫描渲染的序列。
为了加快播放速度,让我们使用Cache Selected Range按钮缓存序列。
二、跟踪标记
让我们进入跟踪模式。
此模式包含用于跟踪标记的工具。
您可以通过单击Create按钮或按C键并单击Viewport上的图像来创建标记。
成功的标记跟踪很大程度上取决于Pattern Window和Search Window的大小。您可以通过在Viewport上拖动它们的边框来调整它们。在此处了解更多信息。
按Forward按钮或]键开始跟踪。
让我们在演员的前额上创建一个标记,然后通过单击重命名按钮或按F2键对其进行重命名。
让我们将Basename参数设置为Forehead ,以便所有进一步的前额标记都具有相同的前缀。
要同时跟踪多个标记,您可以在标记列表或视口中选择它们并重复上述步骤)。
要导出结果,请选择所有标记并单击导出按钮将结果保存到JSON文件序列中。
三、检测
让我们进入检测模式。
此模式包含用于检测唇部和眼睑轮廓的工具。让我们单击 Precompute 子菜单中的Detect按钮。
将使用基于机器学习的通用检测器为序列的每一帧检测唇和眼睑轮廓。
通用检测器的结果不是很准确。您可以通过使用个性化检测器来改进它。我们通过注释一组训练帧来训练个性化检测器。训练帧应包含唇形和眼睑形状的极端变化。
让我们在序列中找到演员的中性面部表情,然后在Segments列表中选择 Lips。之后,让我们通过单击Training Frames子菜单中的Create按钮来创建一个训练框架,然后在弹出窗口中单击OK (。默认情况下,我们为嘴唇轮廓使用 5 个语义点。
现在已经创建了中性训练框架,我们可以通过单击编辑按钮或按E键对其进行调整。
让我们再次按E键退出编辑模式,并为嘴唇轮廓创建更多训练帧。
注释完嘴唇的所有训练帧后,单击“计算”按钮。您可以在下图中看到检测和计算结果之间的差异。
探测
计算
当训练框架尝试选择唇形的最极端变化时。计算检测后,查看结果并找到最不准确的帧。添加您认为缺少的表达式并再次计算。这样,您将使用尽可能少的训练帧,同时产生良好的结果。让我们对左右眼重复相同的步骤,然后切换到滤镜模式。
四、筛选
过滤器模式包含一个用于为内唇轮廓创建粘唇效果的工具(请参阅:过滤器模式)按过滤器按钮并查看新结果。
没有过滤器
筛选
单击“导出”按钮将结果导出到一系列JSON文件中。在出现的对话框中,确保Segments参数设置为All。
R3DS Track 2021导出的标记和检测结果将在4D 处理流程的进一步步骤中使用。