aitw数据集在Qwen VL上的评测结果

[jiennyteng]

作者你好，
非常感谢您的工作和数据集，想咨询一下你们在评估QwenVL在sequential Action task的上的表现时是如何构造模型推理时的prompt/instruction呢，感觉直接通过aitw_test.py的代码测试QwenVL，会出现输出格式和action space的定义的格式不同，无法正常评估模型的性能。请问您们在评测时有限制输出格式相关的prompt吗？
下图为本地推理时，qwenVL的输入与输出：

[njucckevin]

您好，感谢对我们工作的关注。
这里可能有些误解。AITW是有训练集的，论文中Qwen-VL和SeeClick的结果，是指将Qwen-VL和SeeClick-pretrain分别在训练集上微调后测试的结果，提供的代码也是给微调后的模型推理准备的。直接zero-shot推理的话Qwen-VL是不行的，更强的模型（Qwen2-VL或者GPT4）大概也需要构建自己的prompt来调试。

[jiennyteng]

好的，感谢您的回复，还想再明确一下，您的意思是这个表格中的QwenVL的测试结果，是单独经过AITW数据SFT后的模型推测精度，而SeeClick模型是经过Grounding还有reffering任务增强后再增加AITW数据集进行SFT后的模型测试结果吗？

那么你们这里GPT-4V和ChatGPT-CoT的测试精度又是怎么评估的呢，有相关的文章或者CoT构造的介绍吗？😂

[njucckevin]

是的，原论文中SeeClick与Qwen-VL在下游agent任务上性能比较都是在训练-测试setting下进行的，当时的开源VLM也很难zero-shot推理（但是在grounding benchmark ScreenSpot上的性能比较没有训练集相当于zero-shot）。
上方三个闭源模型的结果来自前人的研究中汇报的结果，在5.2.2节的Compared Methods & Evaluation中引用了这三篇工作。

[jiennyteng]

你好，我按照readme教程中的步䠫，以qwenVL-chat为基础模型，加载预训练的pretrain-model seeclick 后，使用aitw 数据 进行了sft训练。获得了seeclick-aitw的lora模型权重。

想咨询一下，我们在运行aitw_test.py的过程中，是否将modelpath设置为seeclick-aitw的lora模型地址，qwenpath设置为qwenvL的模型地址，进行推理呢？

如果是的话，我在运行上述脚本的时候好像出现了一些模型的加载错误。

[njucckevin]

整个流程看起来没什么问题，但我不太清楚您具体的实现过程：

1. finetune和test时用的--qwen_path不太一样？我看两个文件名不太一致，不知道会不会导致问题
2. 这个mismatch的报错似乎是Qwen系列和版本相关的一个问题https://github.com/QwenLM/Qwen/issues/1129，您的Transformer和PEFT版本是什么样的？
   不知道是否配置了agent的相应虚拟环境？https://github.com/njucckevin/SeeClick/blob/main/agent_tasks/readme_agent.md#setup-environment

[jiennyteng]

好的，我再排查一下相关问题。
看了一下transformer的版本是4.32.0，peft的版本是0.11.1, 不知道是不是这个问题的影响🤔️
还有就是我推理测试还需要配置一个agentstask的独立环境？好像我在采用你们开源的seeclick-aitw模型进行测试时，并没有出现这个报错，不过测试代码上主要是采用AutoModelForCausalLM.from_pretrain进行模型加载的

在进行自己训练的模型推理的时候采用的是AutoPeftModelForCausalLM.from_pretrain进行模型加载的

[njucckevin]

AutoPeftModelForCausalLM和AutoModelForCausalLM的选择应该是没问题的。
你这个transformer和peft版本好像确实和那个QwenLM的issue的情况一样。在https://github.com/njucckevin/SeeClick/blob/main/agent_tasks/readme_agent.md 中有配置agentstask独立环境的引导

[jiennyteng]

嗯嗯，感谢您的帮助。
应该是transformer和peft版本的问题，建议推理的时候安装transformers=4.36.2 以及peft==0.7.2

[jiennyteng]

作者你好，我采用readme中的fintune脚本，进行了qwenVL的sft训练，

但是在模型测试结果中，发现整体指标远低于文章中提到的54%的acc，
目前测试下来大概只有36%的单步执行精度，请问这个是在训练过程中有特别的参数设置吗？

[njucckevin]

不太应该？参数我印象里就是用的脚本默认的参数，而且即使有也不应该差这么多。
你能提供更多的信息吗？例如是否冻结了视觉编码器、训练的epoch数、最终在各个分项上的完整结果等。或者你可以先试试用我提供的微调后的模型测试，看看是训练还是测试的问题？

[jiennyteng]

嗯嗯，我这边使用微调模型测试结果应该有60%左右的acc，感觉还是训练脚本中的问题，我也重新在看fintune.py中的一些参数设置，目前我复现baseline的过程中，epoch设置为10,learning rate = 3e-5,gradient-accumulation-steps=8,max-length=704,fix_vit=False, 大致也是按这里的默认参数进行训练的。

[njucckevin]

在readme_agent.md中, "the fine-tuning scripts are similar to Qwen-VL, except for we use LoRA to fine-tune customized parameters, as in finetune/finetune.py lines 315-327."，这部分启用了自定义的lora参数微调吧？
另外下游任务微调用的基模型是什么？完整训练了10个epoch吗？