训练和预测的评估问题

[QingGeGe]

请问，您好，训练模型的时候用的是mse，loss值达到了0.0几的值，但是预测评估的时候rmse居然有大约20左右的值，rmse是mse的开根号，怎么样都不会差距那么大，这是为什么呀
请大佬帮忙解答，感谢

[TolicWang]

一部分是由于过拟合造成的（但在你说的问题中不是主要）；
另外一部分是因为在训练过程中，数据都是经过特征缩放的(-1，1）,而预测出来的结果是特征缩放回复后的值，所以差距很大

[QingGeGe]

哦哦，谢谢哈，貌似明白了。
还有一个问题，我用自己的数据训练模型，发现才迭代2-3轮就收敛了，loss都不下降了，而且loss值好低，0.0003，这正常的吗？感谢

[TolicWang]

1.如果是换成自己数据集的话可能要修改一些参数，比如学习率之类的；
2.这个Loss不像是准确率一样，我们明确它的含义，所以我们并不知道“0.0003”到底是高还是低；
3.对于这种情况loss看起来好低，且看起来不降的情况，也许是数值太小精度的问题，你可以将最终的Loss乘以1000之类的输出看看，如果这样到后面还是不降的话，那就考虑调整更多的超参数了；

[QingGeGe]

我预测出来的值，进行特征rescale后，都变成了0，真是奇怪了。测试集的RMSE=8.34

[TolicWang]

那你好好debug一下，肯定哪儿有问题。

[QingGeGe]

你好，我一直看不懂卷积残差网络，残差网络对输入进行了卷积操作后，图片的大小不应该会变化的吗，怎么还可以喝输入的数据进行相加操作的呀，两个图片的大小都不一样？我不是很理解？麻烦大佬指点指点，感谢！

[TolicWang]

如果尺寸不一样的话，会进行调整。可以参考原文https://arxiv.org/pdf/1512.03385.pdf

[QingGeGe]

我有点不明白，为什么论文中要把数据都是经过特征缩放到(-1，1）直接，最后输出用tanh？
我用自己的数据实验的时候，按照论文的方式，预测出来值就都是0，最后我就把这些转换操作都不用了，预测出来的值还有点样子，但是会预测出负值

[TolicWang]

这样缩小范围做只为了方便快速收敛，好训练。你也可以缩放到(0,1)最后预测时用sigmoid都行，怎么效果好，怎么来