お世話になっております。Group3の近藤暖です。 SimplerEnvでの成功判定につきまして確認したいことがあります。Slackにて、「ステップ最後ではなく、一度でも成功すればエピソード途中でもそこで終了」とのことだったと思います。一方で、[こちら](https://github.com/airoa-org/SimplerEnv/blob/benchmark-v2/simpler_env/evaluation/maniskill2_evaluator.py#L126)を見る限り、現状の `benchmark-v2` ブランチではステップ最後にsuccessでないと成功とみなされないのではないかと思います。実際以下の動画では、どちらも途中でSuccessになり、途中からNot Successになるのですが、これらはfailureと判定されます。 https://github.com/user-attachments/assets/6981371d-f883-413c-b208-219fa712b945 https://github.com/user-attachments/assets/25036979-ea5d-4d62-9933-84a198b5aab6 このことは、現状まだbenchmark-v2が開発段階だからであり、今後修正されるという認識でよろしいでしょうか？
お世話になっております。Group3の近藤暖です。
SimplerEnvでの成功判定につきまして確認したいことがあります。Slackにて、「ステップ最後ではなく、一度でも成功すればエピソード途中でもそこで終了」とのことだったと思います。一方で、こちらを見る限り、現状の
benchmark-v2ブランチではステップ最後にsuccessでないと成功とみなされないのではないかと思います。実際以下の動画では、どちらも途中でSuccessになり、途中からNot Successになるのですが、これらはfailureと判定されます。failure_0_obj_episode_939.mp4
failure_0_obj_-0.12088106563151285_0.09031628582140233.mp4
このことは、現状まだbenchmark-v2が開発段階だからであり、今後修正されるという認識でよろしいでしょうか？