pytorch连续多次推理同样的数据,结果居然不一样?

2022-10-09 11:35:28

在使用pytorch搭建自己的cnn网络,遇到了模型运行不稳定情况,即连续两次在同一个数据上用相同的模型推理,得到的结果会有细微的差异,这是为什么呢?

排查了一下原因,我这边的问题出在反卷积上。首先看下面的两个语句:

语句1:self.deconv1 = nn.ConvTranspose2d(in_channel, out_channel, kernel_size=4, stride=2, padding=1, output_padding=0, bias=False)
语句2:self.deconv1 = nn.ConvTranspose2d(in_channel, out_channel, kernel_size=5, stride=2, padding=2, output_padding=1, bias=False)

这两个语句都可以使特征上采用两倍。

根据经验,反卷积操作中,stride和ksize 不能整除时,会出现棋盘格现象,二维图像的时候更显著,所以语句1在消除棋盘格上表现更优。

但是在pytorch中,根据经验(可参考:https://blog.csdn.net/qq_41368247/article/details/86626446),如果stride>1,一般将out_padding设置为stride-1,然而语句1中的output_padding却采用了默认参数0。

我在做实验过程中发现:语句1运行不够稳定,连续两次跑同样的模型,结果会有微小的差异,具体原因也可以从https://blog.csdn.net/qq_41368247/article/details/86626446中寻找答案,我认为主要原因是out_padding参数设置的问题。

如果语句1也设置output_padding为1呢?会出现反卷积生成的特征图大小不会正好上采样两倍(比两倍大小偏大)。但是语句2可能会出现棋盘格现象,那么怎么解决呢?

可以采用如下方法解决:

https://blog.csdn.net/cs_softwore/article/details/86593604

另,语句1是否可以out_padding=1,然后将特征大小裁剪为两倍大小呢?这个方法我没有尝试,有类似经验的小伙伴欢迎补充、指正。

  • 作者:cs_software_
  • 原文链接:https://blog.csdn.net/cs_softwore/article/details/104758205
    更新时间:2022-10-09 11:35:28