当前位置: 首页 > news >正文

[nlp] id2str的vocab.json转换为str2id

import json# 加载包含ID对应字符串的JSON文件
with open("base_vocab.json", "r", encoding='utf-8') as file:id_to_str = json.load(file)# 将ID对应字符串的JSON转换为字符串对应ID的JSON
# 注意:这里我们假设id_to_str字典的键都是字符串类型
str_to_id = {value: int(key) for key, value in id_to_str.items()}# 将结果保存为JSON文件
with open("base_vocab_str_to_id.json", "w", encoding='utf-8') as file:# 确保设置 `ensure_ascii=False` 以正确保存非ASCII字符# 并且 `sort_keys=True` 可以让输出的JSON文件按照键排序,便于查看json.dump(str_to_id, file, ensure_ascii=False, sort_keys=True, indent=4)# 保存vocab.txtwith open("vocab.txt", "w") as file:for word in str_to_id:file.write(word+"\n")

        在这段代码中,我们首先打开并读取原始的JSON文件,它包含了从ID到字符串的映射。我们使用一个字典推导式来创建一个新的字典,这个字典将字符串映射到它们对应的ID(注意,我们假设原始字典的键都是字符串类型,如果原始的ID不是字符串,则需要修改代码以适应

相关文章:

  • 前端算法专栏-数组-75.颜色分类
  • 西南科技大学电路分析基础实验A1(元件伏安特性测试 )
  • 设计模式——RBAC 模型详解
  • vue 使用vuex中的data数据引用问题
  • Type Hints in Python:python的类型注释
  • VIVADO 擦除flash
  • 在Linux本地部署开源自托管导航页配置服务Dashy并远程访问
  • 计算机组成原理-Cache替换算法
  • 【华为OD题库-048】拔河比赛-java
  • Docker+ Jenkins+Maven+git自动化部署
  • 每日一题:LeetCode-283. 移动零
  • 在Django中使用Q对象和条件运算符来构建动态查询
  • DDoS高防IP到底是什么?
  • C# 友元程序集
  • 225. 用队列实现栈 --力扣 --JAVA
  • Angular6错误 Service: No provider for Renderer2
  • extjs4学习之配置
  • IE报vuex requires a Promise polyfill in this browser问题解决
  • iOS筛选菜单、分段选择器、导航栏、悬浮窗、转场动画、启动视频等源码
  • Kibana配置logstash,报表一体化
  • leetcode46 Permutation 排列组合
  • Node + FFmpeg 实现Canvas动画导出视频
  • Spring Boot快速入门(一):Hello Spring Boot
  • ⭐ Unity 开发bug —— 打包后shader失效或者bug (我这里用Shader做两张图片的合并发现了问题)
  • 表单中readonly的input等标签,禁止光标进入(focus)的几种方式
  • 道格拉斯-普克 抽稀算法 附javascript实现
  • 理解在java “”i=i++;”所发生的事情
  • 容器服务kubernetes弹性伸缩高级用法
  • TPG领衔财团投资轻奢珠宝品牌APM Monaco
  • ​香农与信息论三大定律
  • !!Dom4j 学习笔记
  • #微信小程序:微信小程序常见的配置传值
  • #中国IT界的第一本漂流日记 传递IT正能量# 【分享得“IT漂友”勋章】
  • (3)选择元素——(17)练习(Exercises)
  • (C++)八皇后问题
  • (NO.00004)iOS实现打砖块游戏(十二):伸缩自如,我是如意金箍棒(上)!
  • (二)斐波那契Fabonacci函数
  • (附源码)spring boot公选课在线选课系统 毕业设计 142011
  • (附源码)spring boot火车票售卖系统 毕业设计 211004
  • (三) prometheus + grafana + alertmanager 配置Redis监控
  • (五) 一起学 Unix 环境高级编程 (APUE) 之 进程环境
  • (学习日记)2024.04.04:UCOSIII第三十二节:计数信号量实验
  • (一)WLAN定义和基本架构转
  • (转)Google的Objective-C编码规范
  • (转)自己动手搭建Nginx+memcache+xdebug+php运行环境绿色版 For windows版
  • .net core 控制台应用程序读取配置文件app.config
  • .NET 线程 Thread 进程 Process、线程池 pool、Invoke、begininvoke、异步回调
  • .net6Api后台+uniapp导出Excel
  • .net和php怎么连接,php和apache之间如何连接
  • .NET牛人应该知道些什么(2):中级.NET开发人员
  • [<死锁专题>]
  • [2023-年度总结]凡是过往,皆为序章
  • [Flutter]打包IPA
  • [IE 技巧] 显示/隐藏IE 的菜单/工具栏
  • [IE技巧] 使IE8以单进程的模式运行