-
Notifications
You must be signed in to change notification settings - Fork 402
TryOn
zouxinyi0625 edited this page Dec 6, 2023
·
10 revisions
本Wiki用于指导用户使用EasyPhoto进行虚拟试衣任务。
- 通过指定模版图片和参考的衣物图片,一键使用虚拟试衣功能。
- 支持换衣与换脸功能的灵活切换,生成更多样化、可控的写真。
PS: EasyPhoto 中的TryOn为anyid分支的简化版本,其为了方便您在不引入额外的环境/简单的流程下尝试虚拟试衣。如您对虚拟试衣的效果(id 保持/姿态变化)有更高的要求,请移步至anyid分支,具体流程见AnyId。具体地,AnyID分支可进行额外的:
- 支持上传更多的参考图片及灵活的训练参数来达到更好地衣物id保留效果。
- 支持基于zero123的3d旋转,进行侧身/多视角的虚拟试衣。
- 支持宠物、家具等其他inpaint场景。
下图是Virtual TryOn的翻译简介。
原理:整个虚拟试衣过程分为两步
- 利用上传的参考图片训练一个当前衣服的LoRA模型。
- 通过算法匹配模版图片与参考图片,并结合ControlNet的推理能力进行局部重绘。
需要注意的是 本算法目前仅支持同类型衣服的替换(如短袖换短袖),当输入的参考图片与模版图片类型不吻合时,仅保留参考图片的样式(纹理、图案、颜色等信息),而会适应模版图片的形状。
Step1:上传一张模版图片(或在Gallery中选择一张模版图片)。
您可以直接上传一张自定义的(需要换衣)的模版图片。或在EasyPhoto中生成一张满意的人像写真后,单击 👔 图标 将人像写真发送至虚拟试衣界面中。
Step2: 对需要替换的区域进行标记。
我们支持以下三种方式进行区域的标记
- 点选(请注意,点选请点击至少两个点)。
- 框选(通过一个闭环标记一个大致的范围)
- 直接在右边上传图像对应的mask
⚠️ 我们强烈推荐您通过右边的👀按钮来查看自动生成的mask,来确保生成链路的可靠性。
Step3: 选择一张参考的衣物图片。
请注意,所上传的参考图片需尽可能的仅包含完整/正面的主体信息,且衣服尽量平整。
您有以下两种方式,进行参考图片的选择。
- 在cloth gallery选项卡中将保留历史已经获得的参考图片,单击其中的一张来进行选择。
- 在upload选项卡中上传一张新的参考图片,与Tempalate 一致的方式标记mask区域,并指定该图片的userid来设置参考图片。
- 参考图片 将默认以 cloth_{输入的userid}_{train_steps}进行命名。
- 训练完成后 单击cloth gallery 中的 🔄 图片以更新cloth gallery 可看见保存的新参考图片。
Step4: 在Advanced Option中修改默认的参数。参数的含义如下:
名称 | 含义 | 默认值 |
---|---|---|
Train Steps | LoRA 模型的训练步数 | 200 |
Diffusion Steps | Inpaint 推理步数 | 50 |
Diffusion denoising stength | Inpaint 重构系数 | 0.7 |
LoRA weight | LoRA 权重(越大越保留main特征) | 0.8 |
IoU Threshold | 匹配main和template的停止条件 (可达范围内越大越贴合,但搜索时间更长,可通过后台log查看优化过程) | 0.7 |
Angle | 贴图角度(启用优化时,作为初值,禁用时直接用于贴图) 正数为顺时针旋转 | 0.0 |
Azimuth | 3d旋转角度 (请切换至AnyID使用本功能) | 0.0 |
Ratio | 贴图放缩比例(启用优化时,作为初值,禁用时直接用于贴图) | 1.0 |
Dx | 贴图水平移动像素(向右为正) | 0.0 |
Dy | 贴图水平移动像素(向下为正) | 0.0 |
Batch Size | 出图数目 | 1 |
Optimize Angle and Ratio | 是否优化贴图旋转角度及比例(关闭时直接使用angle,ratio) | True |
Refine Boundry | 是否优化边缘(开启后会对mask边界二次重绘) | True |
Pure Image | Main是否为颜色/花纹简单图像(开启后,整体色调保持与main主体一致,关闭后将由ipa先生成参考图像,用于保持原图花纹) | True |
Step5: 单击Start Try on 按钮可执行虚拟试衣的过程
- 若所设置的userid 及训练步数对应的模型不存在,将首先训练一个当前衣服的LoRA模型。
- A10 显卡,200 steps 大约需要1min左右。
- 最后生成的结果,从左往右依次为inpaint结果,inpaint+边缘优化,匹配的中间结果
- 算法将优化匹配一个最优的贴图方式,您也可以关闭optimize_angle_and_ratio 通过手动调节angle, ratio来直观的调整效果。
- 您可单击生成结果下方的 📷 图标,来将生成结果发送给Photo Inference 进一步进行人像调整。或单击 🖼️ (img2img), 🎨️ (inpaint) 在相应面板中对图像细节进行进一步优化。