python数据预处理工作记录
检测string数据有nan值的情况
报错场景
titles = json.loads(row[‘titles’].replace(“'”, ‘"’))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: ‘float’ object has no attribute ‘replace’
检测
import pandas as pdstring = pd.NAif pd.isna(string):print("The string is NaN.")
else:print("The string is not NaN.")python 将文本数据保存为json、csv、jsonl文件方法
pandas数据保存为.csv文件
df.to_csv('data.csv', index=False, encoding='utf-8')
json列表数据保存为.json文件
import json# 示例数据
data = [{"value": {"start": 268,"end": 273,"text": "博士生导师","labels": ["title"]}}
]# 保存数据到 .json 文件
with open('data.json', 'w', encoding='utf-8') as file:json.dump(data, file, ensure_ascii=False, indent=4)print("数据已保存到 data.json 文件中")