李沐深度学习 自制数据集
os.makedirs(os.path.join('.','data'),exist_ok= True)
data_file = os.path.join('.','data','house_tiny.csv')'.'生成在当前目录中
完整代码
import torch
import os
import pandas as pd
os.makedirs(os.path.join('.', 'data'), exist_ok=True)
data_file = os.path.join('.', 'data', '通信2402.csv')
with open(data_file, 'w',encoding='utf-8') as f:f.write('Name,性别,Salary,Level\n') # 列名f.write('1,男,127500,1\n') # 每行表示一个数据样本f.write('2,女,106000,2\n')f.write('3,男,178100,3\n')f.write('4,男,NA,NA\n')f.write('5,男,NA,NA\n')f.write('NA,NA,106000,NA\n')f.write('7,男,178100,NA\n')f.write('8,男,140000,2\n')
data = pd.read_csv(data_file)
print(data)
# 计算每一列的缺失值数量
missing_counts = data.isnull().sum()###计算每一列 缺失值的数量 是缺失值为True= 1# 找到缺失值最多的列的名称
column_to_drop = missing_counts.idxmax() ##column_to_drop = level# 删除缺失值最多的列
data_cleaned = data.drop(columns=[column_to_drop]) ##丢弃掉level行
# 打印处理后的数据
print("\n删除缺失值最多的列后数据：")
print(data_cleaned)
inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean(numeric_only = True))###将Name行进行平均填充
print(inputs)
inputs = pd.get_dummies(inputs, dummy_na=True,dtype=int)###独热编码
x,y = torch.tensor(inputs.values),torch.tensor(outputs.values)
print(x)
print(y)data_file 为写入文件名称，'w'为写模式，encoing='utf-8'处理中文字符
with open(data_file, 'w',encoding='utf-8') as f:计算每一列NAN个数并求和 赋值给变量
isnull()
missing_counts = data.isnull().sum()###计算每一列 缺失值的数量 是缺失值为True= 1idxmax
它通常用于查找数据集中最大值对应的行或列名。