【PyTorch】深度学习PyTorch加载数据
系列文章目录
【PyTorch】深度学习PyTorch环境配置及安装【详细清晰】
文章目录
- 系列文章目录
- 前言
- 一、Dataset与Dataloader
- Dataset
- Dataloader
- 二、使用步骤
- Dataset类的使用
- 2.读入数据
前言
pytorch的数据加载中关于如何操作数据主要涉及Dataset和DataLoader两个类，Dataset主要告诉Dataloader如何获取数据，DataLoader主要用于加载数据和为网络提供数据。打个比方，假如我们面前有一堆垃圾，要对其进行回收。这时候我们要告诉垃圾回收器两个重要信息，如何获取可回收的垃圾（如何获取数据Dataset）和可回收的垃圾数量有多少（知道什么时候算一轮）。
一、Dataset与Dataloader
Dataset
假设我现在这里有一堆垃圾（相当于一堆数据），分别有红黄蓝三种颜色，我需要将这些垃圾分类出来，就能用到Dataset，Dataset能够分别将不同种颜色的垃圾归成各自的一类（获取数据），蓝色为蓝色的一类，红色为红色归为一类，并将它们标注编号，例如0、1、2、3、4…等等，同时还能获取到相应的label（图中的黑色）。
Dataloader
对获取到的数据进行打包，比如说要将数据送进网络的时候，不会是一个一个送进去，而是进行打包成几个几个送入，例如将编号0、1、2、3打包进入网络输送。
二、使用步骤
Dataset类的使用
我们需要导入这个类，使用from torch.utils.data import Dataset。utils意为工具的意思，主要是从torch这个大工具箱中挑选实用（经常用）的工具区，从这个工具区中挑选跟数据（data）有关的工具。Dataset是干嘛的呢？我们可以采用help(Dataset)或者在jupyter中使用Dataset??，就会出现一段英文用来描述Dataset的相关信息，大概意思就是所有的子类应该继承Dataset这个抽象类，同时应该重写__getitem__和__len__方法。
__getitem__：提供方式去获取数据；__len__：提供这个数据集的数量有多少
通过下面数据来写代码
点击下载数据集：https://download.csdn.net/download/Q20011102/89607569，这是一个分类蚂蚁和蜜蜂的数据集
下载完毕，看数据的组织结构，首先分为训练数据集和测试数据集，然后每个数据集下面有ants/bees两类。ants/bees文件夹中有对应的图片。这时候，我们需要确定，如何去获取数据集的输入数据和真实label，对于这个数据集，输入数据就是每一个图片，真实的label就是图片对应的动物名称。
2.读入数据
from torch.utils.data import Dataset
from PIL import Image
import osclass Mydata(Dataset):def __init__(self, root_dir, label_dir):self.root_dir = root_dir #只有用self变量才会变成全局变量self.label_dir = label_dir self.path = os.path.join(self.root_dir, self.label_dir)self.img_path = os.listdir(self.path)def __getitem__(self, idx):# 通过索引去获取图片地址img_name = self.img_path[idx]img_item_path = os.path.join(self.root_dir, self.label_dir, img_name)#拼接图片地址img = Image.open(img_item_path)#读取图片label = self.label_dirreturn img, labeldef __len__(self):return len(self.img_path)root_dir = "dataset/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = Mydata(root_dir, ants_label_dir)
bees_dataset = Mydata(root_dir, bees_label_dir)train_dataset=ants_dataset+bees_dataset