运行速度缓慢如何解决

[B1ueorange]

在4*A800上开batchsize=4，num_generations=8，运行grpo_rec.py，平均一个step在20s，如何提速呢，还是说这是正常速度？以及是否和You are attempting to use Flash Attention 2.0 with a model not initialized on GPU. Make sure to move the model to GPU after initializing it on
CPU with model.to('cuda').这个提示有关呢？希望能解答一下，非常感谢

[hekaijie123]

我用8卡A100，GPU利用率绝大部分时候在40%以下，这个还有优化空间吗？