Skip to content

为什么audio_driven的推理任务中2D组件使用自己训练好的生成的图像画面就几乎静止? #213

Description

@HanksonYe

我在进行audio_driven的推理任务中发现一个问题:
如果denoising_unet, reference_unet,pose_guider这三个2D组件我使用的是我在train_stage1中训练好的版本,不论我的motion_module使用的是pretrained的motion_module.pth还是基于train_stage1 checkpoint训练好的motion_module.pth,我生成的视频几乎就是完全静止的,画面只有一些轻微的扰动。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions