训练的问题

[Yuwangzhi]

作者您好，我在la数据集上训练，验证集的loss很大，请问这是正常的吗？

[wtl52656]

训练集的loss是归一化之后的loss，所以会比较小。我在做实验的时候维持在1-2之间。验证集输出的MAE是反归一化之后结果，所以相比于训练集的话，会大一些

[Yuwangzhi]

感谢您的回答！
我检查了代码，发现您在train和eval的时候都对ouputs做了inverse_transform，应该都做了反归一化吧？

[Yuwangzhi]

您在load_dataset函数中对train val test都做了transform（z-score），在train和eval函数中都做了inverse_transform。
然而，train的mae在1-2之间，val的mae在8-10之间，并且好像无法继续向下收敛，想向您请教，是不是我的训练参数有问题。
parser.add_argument('--no_nm',type=int,help='子图节点数',default=150)
parser.add_argument('--n_m',type=int,help='未知节点数', default=50)
parser.add_argument('--pred_loss',type=float,default=0.05,help="预测值的loss权重")
parser.add_argument('--near_loss',type=float,default=0.1,help="预测值和插补值接近的loss权重")
parser.add_argument('--inductive_adp',type=bool,default=True,help="是否添加归纳式自适应邻接矩阵")
parser.add_argument('--gcn_bool',action='store_true',help='whether to add graph convolution layer', default=True)
parser.add_argument('--aptonly',action='store_true',help='whether only adaptive adj')
parser.add_argument('--addaptadj',action='store_true',help='whether add adaptive adj', default=True)
parser.add_argument('--randomadj',action='store_true',help='whether random initialize adaptive adj', default=True)

[wtl52656]

你好，“train的mae在1-2之间，val的mae在8-10之间”这种情况在目前版本中是对的。
在训练的时候，我们在计算损失时计算的是随机采样子图所有节点的平均损失（包括未mask的节点），因此算出的loss比较小（未mask的节点他们的输出时比较准的）。而在验证和测试的时候，我们只评估未知节点：engineer.py文件中的第52行，o_ = interpolation_out[:,list(unknow_set),]。

[wtl52656]

关于训练参数，可以直接运行command.py文件，包含了不同数据集的命令。我们在readme的命令已经同步更新，感谢您的关注。

[Yuwangzhi]

作者您好，感谢您不辞辛劳回答我的问题。
我理解了您说了mae不同的问题，并对应检查了代码，但仍然存在以下两个小问题想请教您：
1、command.py和readme的命令，对于LA数据，参数pred_loss分别选择为0.1和0.05，我分别试了一下，0.1的效果比0.05要好（这与论文中的描述相同）。所以想请教您应该选择哪个参数。
2、虽然0.1的效果比0.05要好，但0.1对应TEST result: RMSE = 9.8680, MAE = 6.1412, MAPE = 16.1858，这与论文中的结果相差很大，不知道是什么原因。
3、我用的是从dcrnn下载的数据集，是不是和您的数据集不太一样，我的是h5格式的，但您的貌似需要npy格式的，这是否造成了结果上的差异；dcrnn划分数据集是7：1:2，您是6:2:2，应该选择哪种。

[wtl52656]

1.关于参数的选择问题：METR数据集选择0.1即可。
2.结果的不同主要是由于缺失节点的选择不同。我们在文章中使用的缺失节点参考了IGNNK这篇文章，可以在（https://github.com/Kaimaoge/IGNNK）中找到，换成相同的节点，应该会得到相似的实验结果。
3. 我们使用的划分比例的6:2:2划分的，不同的划分比例可能会影响结果。npy文件是从h5格式转换得到的，可以直接使用.h5文件。

[Yuwangzhi]

感谢您的回答！
我还有一个问题。我看您在train的时候mask了50个节点，而验证测试的时候正好也是图inpute 50个未知的节点，用的参数也是一个。这里的节点数量是不是可以不同的？还是说您这样设计比较合理（我的猜测）
期待您的回答，万分感谢！

[wtl52656]

感谢您的回答！ 我还有一个问题。我看您在train的时候mask了50个节点，而验证测试的时候正好也是图inpute 50个未知的节点，用的参数也是一个。这里的节点数量是不是可以不同的？还是说您这样设计比较合理（我的猜测） 期待您的回答，万分感谢！

你好，train的时候mask节点数量是可以调整的，我们当时设置成50主要是和val，test保持一致。不过可以尝试mask节点数量改成其他的数，但如果设置的过大或者过小可能会导致模型效果不好。

[Yuwangzhi]

明白了，感谢！因为我看您在论文中说用 75% 的点作为测试，就觉得应该才 train 中也 mask 掉 25% 的 nodes 来进行插补。
您的解释我明白了，有问题我再请教您！

[Yuwangzhi]

还有就是，在计算 train loss 的时候，个人觉得可以和 eval 的计算一样，mask 掉已知的 nodes，只计算未知的 50 个 nodes，不然好像显得插补和预测（对于已知的 nodes）有点无意义。
不知道我的理解是不是正确。