pytorch中的Variable()

Handsome_zhou

1. #torch.autograd.Variable是Autograd的核心类，它封装了Tensor，并整合了反向传播的相关实现
   
2. #Variable包含三个属性:
   
3. #    data: 存储了Tensor, 是本体的数据
   
4. #    grad: 保存了data的梯度，本事是个Variable而非Tensor, 与data形状一致
   
5. #    grad_fn: 指向Function对象，用于反向传播的梯度计算只用
   
6. import torch
   
7. from torch.autograd import Variable
   
8. 
   
9. x = Variable(torch.ones(2,2), requires_grad = True)
   
10. 
    
11. y = x[0,0] + x[0,1] + x[1,0] + x[1,1] #Variable的运算结果也是Variable，但是中间结果反向传播中不会被求导。
    
12. 
    
13. y = x.sum()
    
14. 
    
15. y#其实查询的是x.data, 是个tensor。
    
16. """
    
17.     Variable containing:
    
18.     4
    
19.     [torch.FloatTensor of size 1]
    
20. """
    
21. 
    
22. 
    
23. y.grad_fn # 目标函数的.grad_fn方法，它用来求梯度
    
24. 
    
25. """
    
26.     <SumBackward0 at 0x18bcbfcdd30>
    
27. """
    
28. 
    
29. 
    
30. y.backward() # 反向传播
    
31. x.grad  #Variable的梯度保存在Variable.grad中
    
32. """
    
33.     Variable containing:
    
34.     1  1
    
35.     1  1
    
36.     [torch.FloatTensor of size 2x2]
    
37. """
    
38. 
    
39. 
    
40. #grad属性保存在Variable中， 新的梯度下来会进行累加，再次求导后结果变成了2
    
41. y.backward()
    
42. x.grad # 可以看到变量梯度是累加的
    
43. """
    
44.     Variable containing:
    
45.     2  2
    
46.     2  2
    
47. """
    
48. 
    
49. 
    
50. #所以梯度要归零     在模型训练时直接优化器梯度清零， optimizer.zero_grad()
    
51. x.grad.data.zero_() # 归零梯度， 注意， 在torch中所有的Inplace操作都是要带下划线的，所以就没有.data.zero()方法
    
52. 
    
53. """
    
54.     0  0
    
55.     0  0
    
56.     [torch.FloatTensor of size 2x2]
    
57. """
    
58. 
    
59. 
    
60. 
    
61. #对比Variable和Tensor的接口，相差无两
    
62. x = Variable(torch.ones(4, 5))
    
63. 
    
64. y = torch.cos(x) # 传入Variable
    
65. x_tensor_cos = torch.cos(x.data) # 传入Tensor
    
66. 
    
67. print(y)
    
68. print(x_tensor_cos)
    
69. 
    
70. """
    
71.     Variable containing:
    
72.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
73.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
74.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
75.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
76.     [torch.FloatTensor of size 4x5]
    
77.    
    
78.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
79.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
80.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
81.     0.5403, 0.5403, 0.5403, 0.5403, 0.5403
    
82.     [torch.FloatTensor of size 4x5]
    
83. """

复制代码

chentyping

什么时候出一种语言一统江湖就好了。

zxynb

牛逼，大佬