huggingface 数据集和模型加速下载, hfdata 输出为json
如果有碰到huggingface的数据集下载慢，可以使用国内镜像代理下载，首先打开命令行，输入下面的环境变量：
export HF_ENDPOINT=https://hf-mirror.com
然后执行你自己的代码，比如：
from datasets import load_dataset
ds = load_dataset("openai/gsm8k", "main")
for split, split_dataset in ds.items():split_dataset.to_json(f"gsm8k-{split}.jsonl")
你会发现数据集的下载速度变快了：
Downloading readme: 7.94kB [00:00, 7.75MB/s]
Downloading data: 100%|██████████████████████████████████████████████████████████████| 2.31M/2.31M [00:06<00:00, 364kB/s]
Downloading data: 100%|████████████████████████████████████████████████████████████████| 419k/419k [00:00<00:00, 783kB/s]
Generating train split: 100%|██████████████████████████████████████████████| 7473/7473 [00:00<00:00, 86953.96 examples/s]
Generating test split: 100%|███████████████████████████████████████████████| 1319/1319 [00:00<00:00, 58370.39 examples/s]
参考文献
How do I save a Huggingface dataset?