Hyperparameter Choice Wan_2.2_5b_Camera_control Finetune 训练超参数的选择

[yankeee-0411]

请问 Wan_2.2_5b_Camera_control Finetune 训练超参数的选择有什么讲究吗？

max_grad_norm 通常其他project 都是设 1.0， learning_rate 设 1e-4，请问这里的选择是有什么讲究吗？感谢！
--max_grad_norm=0.05
--learning_rate=2e-05
--gradient_accumulation_steps=1
--lr_scheduler="constant_with_warmup"
--lr_warmup_steps=50 \

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 accelerate launch --num_processes 8 --mixed_precision="bf16" scripts/wan/train_control.py
--config_path="config/wan2.2/wan_civitai_5b.yaml"
--pretrained_model_name_or_path=$MODEL_NAME
--train_data_dir=$DATASET_NAME
--train_data_meta=$DATASET_META_NAME
--image_sample_size=640
--video_sample_size=640
--token_sample_size=640
--video_sample_stride=1
--video_sample_n_frames=97
--resume_from_checkpoint="latest"
--train_batch_size=1
--video_repeat=0
--checkpoints_total_limit=2
--gradient_accumulation_steps=1
--dataloader_num_workers=16
--num_train_epochs=10
--checkpointing_steps=250
--learning_rate=2e-05
--lr_scheduler="constant_with_warmup"
--lr_warmup_steps=50
--seed=42
--output_dir="output_dir_20k_cambrian2"
--mixed_precision="bf16"
--adam_weight_decay=3e-2
--adam_epsilon=1e-10
--vae_mini_batch=1
--max_grad_norm=0.05
--training_with_video_token_length
--enable_bucket
--uniform_sampling
--boundary_type="low"
--train_mode="control_camera_ref"
--control_ref_image="first_frame"
--trainable_modules "."
--add_inpaint_info
--fix_sample_size 480 832
--gradient_checkpointing
--report_model_info
--allow_tf32

[bubbliiiing]

我看finetune的基本上max_grad_norm都是0.05，请问是看错了吗？