Actor entropy keeps increasing during training

[zheangh]

Thanks for sharing your excellent work! I followed exactly the main_tutorial.md and installed the same environment using H800 GPUs, but ended up with increasing actor entropy as follows.

I wonder whether this is normal. Besides, my test score (around 0.39 at 100 steps and 0.43 at 950 steps) is lower than yours (0.458 at 100 steps). Is this related to the entropy issue?

[red0orange]

你是使用最新版本的 RL-factory 吗。我也遇到了类似的问题，排查了很久，但我用的是一个多月前的版本，最后更新了最新版本的 RL-Factory 解决了，至今也不确定是什么问题。

[CuSO4-Chen]

你是使用最新版本的 RL-factory 吗。我也遇到了类似的问题，排查了很久，但我用的是一个多月前的版本，最后更新了最新版本的 RL-Factory 解决了，至今也不确定是什么问题。

您好，请问您是什么时候更新的最新版本呀，最近一两天的吗？

[zheangh]

你是使用最新版本的 RL-factory 吗。我也遇到了类似的问题，排查了很久，但我用的是一个多月前的版本，最后更新了最新版本的 RL-Factory 解决了，至今也不确定是什么问题。

我用的是发issue的前两天clone的版本，感谢告知！不知道是否和最近同步了最新的verl有关？