目录
2 Pytorch:多GPU训练网络与单GPU训练网络保存模型的区别
3 多GPU训练保存的模型,在单GPU环境下加载出错问题解决办法
1 pytorch使用多个GPU同时训练
在pytorch上使用多个GPU(在同一台设备上,并非分布式)进行训练是件非常容易的事情,只要在源代码中添加(修改)两行代码即可。
把模型放在GPU上:
device = torch.device("cuda:0")
model.to(device)
将tensor复制到GPU上
mytensor = my_tensor.to(device)
注意:调用my_tensor.to(device)会在GPU上返回一个新的my_tensor副本,而不是重写my_tensor。你需要给它分配一个新的张量,然后在GPU上使用这个张量。
Pytorch默认情况下只使用一个GPU。想用多GPU同时训练,只需下面一步简单的操作:使用模块DataParallel,你就很容易地在多个gpu上运行你的操作:
model = nn.DataParallel(model)
2 Pytorch:多GPU训练网络与单GPU训练网络保存模型的区别
在pytorch中,使用多GPU训练网络需要用到 【nn.DataParallel】:
gpu_ids = [0, 1, 2, 3]
device = t.device("cuda:0" if t.cuda.is_available() else "cpu") # 只能单GPU运行
net = LeNet()
if len(gpu_ids) > 1:
net = nn.DataParallel(net, device_ids=gpu_ids)
net = net.to(device)
使用单GPU训练网络:
device = t.device("cuda:0" if t.cuda.is_available() else "cpu") # 只能单GPU运行
net = LeNet().to(device)
由于多GPU训练使用了 nn.DataParallel(net, device_ids=gpu_ids) 对网络进行封装,因此在原始网络结构中添加了一层 module。网络结构如下:
DataParallel(
(module): LeNet(
(conv1): Conv2d(3, 6, kernel_size=(5, 5), stride=(1, 1))
(conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
(fc1): Linear(in_features=400, out_features=120, bias=True)
(fc2): Linear(in_features=120, out_features=84, bias=True)
(fc3): Linear(in_features=84, out_features=10, bias=True)
)
)
而不使用多GPU的网络结构如下:
LeNet(
(conv1): Conv2d(3, 6, kernel_size=(5, 5), stride=(1, 1))
(conv2): Conv2d(6, 16, kernel_size=(5, 5), stride=(1, 1))
(fc1): Linear(in_features=400, out_features=120, bias=True)
(fc2): Linear(in_features=120, out_features=84, bias=True)
(fc3): Linear(in_features=84, out_features=10, bias=True)
)
由于在测试模型时不需要用到多GPU测试,因此在保存模型时应该把module层去掉。如下:
if len(gpu_ids) > 1:
t.save(net.module.state_dict(), "model.pth")
else:
t.save(net.state_dict(), "model.pth")
3 多GPU训练保存的模型,在单GPU环境下加载出错问题解决办法
用多卡训练模型,得到权值文件后保存,在没有多卡的环境下,用单卡训练,加载模型时出错,因为单卡机器上,没有使用DataParallel来加载模型,所以会出现加载错误。
原因分析:DataParallel包装的模型在保存时,权值参数前面会带有module字符,然后自己在单卡环境下,没有用DataParallel包装的模型权值参数不带module。本质上保存的权值文件是一个有序字典。
解决方法
1.在单卡环境下,用DataParallel包装模型。
2.自己重写Load函数,灵活。
from collections import OrderedDict
def myOwnLoad(model, check):
modelState = model.state_dict()
tempState = OrderedDict()
for i in range(len(check.keys())-2):
print modelState.keys()[i], check.keys()[i]
tempState[modelState.keys()[i]] = check[check.keys()[i]]
temp = [[0.02]*1024 for i in range(200)] # mean=0, std=0.02
tempState['myFc.weight'] = torch.normal(mean=0, std=torch.FloatTensor(temp)).cuda()
tempState['myFc.bias'] = torch.normal(mean=0,std=torch.FloatTensor([0]*200)).cuda()
model.load_state_dict(tempState)
return model