作者您好，我看train.py是在最后通过调用 training_recipe.save(model, trainer) 才合并lora的权重，进而保存整个模型的权重。
但我在训练的时候保存的checkpoint并没有合并lora的权重，我想用我保存的checkpoint进行inference的时候会报错（因为lora权重没有合并）
请问作者针对这个问题有没有好的解决办法，就是如何合并checkpoint中的lora权重呢？
我尝试了一些办法，都没有取得好的结果，比如会出现dtype是float32还是bfloat16的问题。
期待您的回复，谢谢！
作者您好，我看train.py是在最后通过调用 training_recipe.save(model, trainer) 才合并lora的权重，进而保存整个模型的权重。
但我在训练的时候保存的checkpoint并没有合并lora的权重，我想用我保存的checkpoint进行inference的时候会报错（因为lora权重没有合并）
请问作者针对这个问题有没有好的解决办法，就是如何合并checkpoint中的lora权重呢？
我尝试了一些办法，都没有取得好的结果，比如会出现dtype是float32还是bfloat16的问题。
期待您的回复，谢谢！