pytorch 把图片数据转化成tensor的操作

摘要：

在图像识别当中，一般步骤是先读取图片，然后把图片数据转化成tensor格式，再输送到网络中去。本文将介绍如何把图片转换成tensor。

一、数据转换

把图片转成成torch的tensor数据，一般采用函数：torchvision.transforms。通过一个例子说明，先用opencv读取一张图片，然后在转换；注意一点是：opencv储存图片的格式和torch的储存方式不一样，opencv储存图片格式是（H,W,C），而torch储存的格式是（C,H,W）。

import torchvision.transforms as transforms
import cv2 as cv
img = cv.imread('image/000001.jpg')
print(img.shape)  # numpy数组格式为（H,W,C）
transf = transforms.ToTensor()
img_tensor = transf(img) # tensor数据格式是torch(C,H,W)
print(img_tensor.size())

注意：使用torchvision.transforms时要注意一下，其子函数 ToTensor() 是没有参数输入的，以下用法是会报错的

img_tensor = transforms.ToTensor(img)

必须是先定义和赋值转换函数，再调用并输入参数，正确用法：

img = cv.imread('image/000001.jpg')
transf = transforms.ToTensor()
img_tensor = transf(img)

再转换过程中正则化

在使用 transforms.ToTensor() 进行图片数据转换过程中会对图像的像素值进行正则化，即一般读取的图片像素值都是8 bit 的二进制，那么它的十进制的范围为 [0, 255]，而正则化会对每个像素值除以255，也就是把像素值正则化成 [0.0, 1.0]的范围。通过例子理解一下：

import torchvision.transforms as transforms
import cv2 as cv
img = cv.imread('image/000001.jpg')
transf = transforms.ToTensor()
img_tensor = transf(img)
print('opencv', img)
print('torch', img_tensor)

三、自行修改正则化的范围

使用transforms.Compose函数可以自行修改正则化的范围，下面举个例子正则化成 [-1.0, 1.0]

transf2 = transforms.Compose(
  [
    transforms.ToTensor(),
    transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5))
  ]
)
img_tensor2 = transf2(img)
print(img_tensor2)

计算方式就是：

C=（C-mean）/ std

C为每个通道的所有像素值，彩色图片为三通道图像（BGR），所以mean和std是三个数的数组。

使用transforms.ToTensor()时已经正则化成 [0,0, 0,1]了，那么(0.0 - 0.5)/0.5=-1.0，(1.0 - 0.5)/0.5=1.0，所以正则化成 [-1.0, 1.0]

补充：Python: 记录一个关于图片直接转化为pytorch.tensor和numpy.array的不同之处的问题

img = Image.open(img_path).convert("RGB")
img2 = torchvision.transforms.functional.to_tensor(img)
print(img2)
img1 = np.array(img)
print(img1)

输出是这样的：

不仅shape不一样，而且值也是不一样的。

解释如下：

tensor = torch.from_numpy(np.asarray(PIL.Image.open(path))).permute(2, 0, 1).float() / 255
tensor = torchvision.transforms.functional.to_tensor(PIL.Image.open(path)) # 两种方法是一样的

PIL.Image.open()得到HWC格式，直接使用numpy 去转换得到(h,w,c)格式，而用to_tensor得到(c,h,w)格式且值已经除了255。

byte()相当于to(torch.uint8)，tensor.numpy()是把tensor 转化为numpy.array格式。

在这里需要注意的是PIL和OPENCV的图像读取得到的格式都是HWC格式，一般模型训练使用的是CHW格式, H为Y轴是竖直方向，W为X轴水平方向。

且torchvision.transforms.functional.to_tensor()对所有输入都是有变换操作。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持猪先飞。如有错误或未考虑完全的地方，望不吝赐教。