Pytorch Tensor基本数学运算详解
1. 加法运算
示例代码:
import torch # 这两个Tensor加减乘除会对b自动进行Broadcasting a = torch.rand(3, 4) b = torch.rand(4) c1 = a + b c2 = torch.add(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
输出结果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
2. 减法运算
示例代码:
a = torch.rand(3, 4) b = torch.rand(4) c1 = a - b c2 = torch.sub(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
输出结果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
3. 哈达玛积(element wise,对应元素相乘)
示例代码:
c1 = a * b c2 = torch.mul(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
输出结果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
4. 除法运算
示例代码:
c1 = a / b c2 = torch.div(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
输出结果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
5. 矩阵乘法
(1)二维矩阵相乘
二维矩阵乘法运算操作包括torch.mm()、torch.matmul()、@,
示例代码:
import torch a = torch.ones(2, 1) b = torch.ones(1, 2) print(torch.mm(a, b).shape) print(torch.matmul(a, b).shape) print((a @ b).shape)
输出结果:
torch.Size([2, 2]) torch.Size([2, 2]) torch.Size([2, 2])
(2)多维矩阵相乘
对于高维的Tensor(dim>2),定义其矩阵乘法仅在最后的两个维度上,要求前面的维度必须保持一致,就像矩阵的索引一样并且运算操只有torch.matmul()。
示例代码:
c = torch.rand(4, 3, 28, 64) d = torch.rand(4, 3, 64, 32) print(torch.matmul(c, d).shape)
输出结果:
torch.Size([4, 3, 28, 32])
注意,在这种情形下的矩阵相乘,前面的"矩阵索引维度"如果符合Broadcasting机制,也会自动做广播,然后相乘。
示例代码:
c = torch.rand(4, 3, 28, 64) d = torch.rand(4, 1, 64, 32) print(torch.matmul(c, d).shape)
输出结果:
torch.Size([4, 3, 28, 32])
6. 幂运算
示例代码:
import torch a = torch.full([2, 2], 3) b = a.pow(2) # 也可以a**2 print(b)
输出结果:
tensor([[9., 9.], [9., 9.]])
7. 开方运算
示例代码:
c = b.sqrt() # 也可以a**(0.5) print(c) d = b.rsqrt() # 平方根的倒数 print(d)
输出结果:
tensor([[3., 3.], [3., 3.]]) tensor([[0.3333, 0.3333], [0.3333, 0.3333]])
8.指数与对数运算
注意log是以自然对数为底数的,以2为底的用log2,以10为底的用log10
示例代码:
import torch a = torch.exp(torch.ones(2, 2)) # 得到2*2的全是e的Tensor print(a) print(torch.log(a)) # 取自然对数
输出结果:
tensor([[2.7183, 2.7183], [2.7183, 2.7183]]) tensor([[1., 1.], [1., 1.]])
9.近似值运算
示例代码:
import torch a = torch.tensor(3.14) print(a.floor(), a.ceil(), a.trunc(), a.frac()) # 取下,取上,取整数,取小数 b = torch.tensor(3.49) c = torch.tensor(3.5) print(b.round(), c.round()) # 四舍五入
输出结果:
tensor(3.) tensor(4.) tensor(3.) tensor(0.1400) tensor(3.) tensor(4.)
10. 裁剪运算
即对Tensor中的元素进行范围过滤,不符合条件的可以把它变换到范围内部(边界)上,常用于梯度裁剪(gradient clipping),即在发生梯度离散或者梯度爆炸时对梯度的处理,实际使用时可以查看梯度的(L2范数)模来看看需不需要做处理:w.grad.norm(2)。
示例代码:
import torch grad = torch.rand(2, 3) * 15 # 0~15随机生成 print(grad.max(), grad.min(), grad.median()) # 最大值最小值平均值 print(grad) print(grad.clamp(10)) # 最小是10,小于10的都变成10 print(grad.clamp(3, 10)) # 最小是3,小于3的都变成3;最大是10,大于10的都变成10
输出结果:
tensor(14.7400) tensor(1.8522) tensor(10.5734) tensor([[ 1.8522, 14.7400, 8.2445], [13.5520, 10.5734, 12.9756]]) tensor([[10.0000, 14.7400, 10.0000], [13.5520, 10.5734, 12.9756]]) tensor([[ 3.0000, 10.0000, 8.2445], [10.0000, 10.0000, 10.0000]])
以上这篇Pytorch Tensor基本数学运算详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持猪先飞。
相关文章
pytorch nn.Conv2d()中的padding以及输出大小方式
今天小编就为大家分享一篇pytorch nn.Conv2d()中的padding以及输出大小方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27- 这篇文章主要介绍了PyTorch一小时掌握之迁移学习篇,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-08
Linux安装Pytorch1.8GPU(CUDA11.1)的实现
这篇文章主要介绍了Linux安装Pytorch1.8GPU(CUDA11.1)的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-25- 这篇文章主要介绍了Pytorch之扩充tensor的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05
- 今天小编就为大家分享一篇pytorch 自定义卷积核进行卷积操作方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-06
- 这篇文章主要介绍了解决pytorch 交叉熵损失输出为负数的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-07-08
pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率
今天小编就为大家分享一篇pytorch绘制并显示loss曲线和acc曲线,LeNet5识别图像准确率,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch 实现冻结部分参数训练另一部分,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-27
从Pytorch模型pth文件中读取参数成numpy矩阵的操作
这篇文章主要介绍了从Pytorch模型pth文件中读取参数成numpy矩阵的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-04Pytorch 的损失函数Loss function使用详解
今天小编就为大家分享一篇Pytorch 的损失函数Loss function使用详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 今天小编就为大家分享一篇python Tensor和Array对比分析,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 今天小编就为大家分享一篇pytorch中的上采样以及各种反操作,求逆操作详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-30
- 这篇文章主要介绍了基于Pytorch版yolov5的滑块验证码破解思路详解,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-02-25
pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解
今天小编就为大家分享一篇pytorch中交叉熵损失(nn.CrossEntropyLoss())的计算过程详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-02- 这篇文章主要介绍了pytorch深度学习中对softmax实现进行了详细解析,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步...2021-09-30
- 今天小编就为大家分享一篇Pytorch 计算误判率,计算准确率,计算召回率的例子,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 今天小编就为大家分享一篇Pytorch实现LSTM和GRU示例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 这篇文章主要介绍了Pytorch如何切换 cpu和gpu的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-01
- 今天小编就为大家分享一篇pytorch动态网络以及权重共享实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-29
- 这篇文章主要介绍了解决Pytorch修改预训练模型时遇到key不匹配的情况,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-06-05