pytorch同批数据测试多轮结果不同

2022-10-18 13:59:30

问题

Val验证集,dataloader设置shuffle=True,图像预处理不采用随机增强,使用同一个模型,测试多轮,结果准确率每轮都不同。

分析

正常情况下,同一个模型,同一批数据,测试结果应该相同。如果不同则可能是每轮输入数据随机增强方式不同,或者是每轮模型参数发生改变。但是我并没有采取随机增强,因此问题主要出在模型改变上。

解决

经过仔细分析代码,发现模型预测中没有加model.eval(),加了后每轮评估结果都相同了。

原因

Pytorch model.eval()做了什么

后来查阅资料发现,model.eval()能够去掉模型中的Dropouts层和BatchNorm层等。

而我的模型采用torchvision的resnet18,模型中有BN层,但没有Dropouts层。

在这里插入图片描述

如上图所示,γ和β是训练参数,在模型验证过程中不变,但批均值μ和批方差σ与每批的输入相关,而采用shuffle=True会导致每轮验证中批数据不同,因此结果也不同。

  • 作者:wzy-666
  • 原文链接:https://blog.csdn.net/C_C666/article/details/123604893
    更新时间:2022-10-18 13:59:30