深度学习(PyTorch)——加载数据初认识与实战操作
B站UP主“我是土堆”视频内容
pytorch中涉及到读取和加载数据的两个类分别是Dataset和Dataloader。
下图中,不同颜色的圈圈假设为垃圾(数据),不同颜色为不同的垃圾数据
Dataset主要作用是提取出可回收垃圾(我们需要的数据),并且给每一个具体垃圾(数据)进行编号,同时可以获取该数据的标签。
Dataloader可以对Dataset里的可回收垃圾进行打包,比如送进网络时候,不是一个一个送进去,而是有一个batch_size的批量大小送进去网络训练。比如下图中,对Dataset里的0123数据进行打包。
实战操作如下:
打开pycharm,输入from torch.utils.data import Dataset,相当于从torch这个大工具箱里面的常用工具区里取出需要的工具,用help(Dataset)查看一下官方文档解释
Dataset是一个抽象类,所有的数据集都需要去继承这个类,所有的子类都须重写__getitem__方法,这个方法主要是获取每个数据及其对应的标签,还可以选择去重写__len__方法,可以获得数据集的大小。
如何获取图片的绝对地址和相对地址?看下图
copy path是复制数据的绝对路径,copy relative path是复制数据的相对路径,一般情况下用相对路径比较多一些
在window下,绝对路径需要用2个斜杠(\),如下图所示
img=Image.open(img_path)可以获取该路径img_path下的数据信息,img.size可以查看图片的大小,如下图所示
img.show()可以展示该图片
os.listdir(dir_path)是把该路径下的文件名变成一个列表 ,如下图所示
os.path.join()可以把输入的上下级路径拼接起来
类当中使用self的意义:一个函数当中的变量是不能传递给另一个函数的,而使用self的话,可以把该函数的变量给当前类其他函数使用,相当于指定了一个类当中的全局变量,例如self.root_dir=root_dir,此时的self.root_dir便是当前类的全局变量
train_dataset = ants_dataset + bees_dataset表示蚂蚁数据集加上蜜蜂数据集,可以把两个小的数据集进行拼接,单独运行该程序可以得到如下结果
0~123均为蚂蚁数据,其余的为蜜蜂数据
程序如下:
from torch.utils.data import Dataset
import os
from PIL import Image
class MyData(Dataset):
def __init__(self, root_dir, label_dir):
self.root_dir=root_dir
self.label_dir=label_dir
self.path=os.path.join(self.root_dir,self.label_dir)
self.img_path=os.listdir(self.path)
def __getitem__(self, idx):
img_name =self.img_path[idx]
img_item_path=os.path.join(self.root_dir,self.label_dir,img_name)
img=Image.open(img_item_path)
label=self.label_dir
return img,label
def __len__(self):
return len(self.img_path)
root_dir="dataset/train"
ant_label_dir="ants"
bees_label_dir="bees"
ants_dataset = MyData(root_dir,ant_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)
train_dataset = ants_dataset + bees_dataset