如何解决pytorch损失反向传播后梯度为none的问题
导读:本文共1065字符,通常情况下阅读需要4分钟。同时您也可以点击右侧朗读,来听本文内容。按键盘←(左) →(右) 方向键可以翻页。
摘要: 错误代码:输出grad为nonea=torch.ones((2,2),requires_grad=True).to(device)b=a.sum()b.backward()print(a.grad)由于.to(device)是一次操作,此时的a已经不是叶子节点了修改后的代码为:a=torch.ones((2,2),requires_grad=True)c... ...
音频解说
目录
(为您整理了一些要点),点击可以直达。修改后的代码为:
类似错误:
应该为
补充:pytorch梯度返回none的bug
tensor即使设置了requires_grad,反向传播之后, x返回没有grad梯度,为none
不知道其他版本有无此bug
补充:PyTorch中梯度反向传播的注意点
optimizer.zero_grad()语句的位置比较随意,只要放在loss.backward()前面即可,它的作用是将梯度归零,否则会在每一个迭代中进行累加,
loss.backward()的作用是反向传播,计算梯度,optimizer.step()的功能是优化器自动完成参数的更新。
本文:
如何解决pytorch损失反向传播后梯度为none的问题的详细内容,希望对您有所帮助,信息来源于网络。