当前位置: 首页 > news >正文

python字符编码

1.1什么是字节

字节(Byte)是计算机信息技术用于计量存储容量的一种计量单位,也表示一些计算机编程语言中的数据类型和语言字符。

比特(bit)在计算机中最小的单位,在二进制位的电脑的系统中,每一bit,表示0或1 ,的数字信号。

 

1.1.1在不同字符编码的字节表示

  1. ASCII码:一个英文字母(不分大小写)占一个字节(1B)的空间。一个二进制数字序列,在计算机中作为一个数字单元,一般为8位二进制数,换算成10进制,最小值0,最大值255.
  2. utf-8编码:一个英文字符等于一个字节,一个中文(含繁体)等于3个字节。
  3. unicode编码:一个英文等于两个字节,一个中文(含繁体)等于2个字节。

符号: 英文标点占一个字节,中文的标点占两个字节。例:英文句号"."占一个字节大小,中文句号"。"占两个字节大小。

1.2进制的表示和转换

进制的表示:

二进制: 0 1

8进制 : 0 1 2 3 4 5 6 7 (0-7的组合)(8进制的一位对应2进制的3位,不足3位补位用0表示)

10进制:0-9的组合

16进制:0 1 2 3 4 5 6 7 8 9 A B C D E F(0-F的组合)(16进制的一位对应2进制的4位,不足4位补位用0表示)

 

进制之间的转换:

http://jingyan.baidu.com/article/495ba84109665338b30ede98.html

1.3数据存储和数据传输

数据存储

硬盘厂商是以10进制(即10的3次方=1000,1MB = 1000KB)计算的,而计算机是二进制表示(2的10次方,即1MB = 1024KB)。

在计算机好多1TB的硬盘,在计算机只有

1TB = 1000GB = 1000000MB = 1000000000KB = 1000000000000B  硬盘厂商表示

1TB = 1000000000000B /1024 /1024 /1024 = 931GB   计算机容量表示

1KB=1024B;1MB=1024KB=1024×1024B。其中1024=210。
1B(byte,字节)= 8 bit(见下文);
1KB(Kibibyte,千字节)=1024B= 2^10 B;
1MB(Mebibyte,兆字节,百万字节,简称“兆”)=1024KB= 2^20 B;
1GB(Gigabyte,吉字节,十亿字节,又称“千兆”)=1024MB= 2^30 B;
1TB(Terabyte,万亿字节,太字节)=1024GB= 2^40 B;
1PB(Petabyte,千万亿字节,拍字节)=1024TB= 2^50 B;
1EB(Exabyte,百亿亿字节,艾字节)=1024PB= 2^60 B;
1ZB(Zettabyte,十万亿亿字节,泽字节)= 1024EB= 2^70 B;
1YB(Yottabyte,一亿亿亿字节,尧字节)= 1024ZB= 2^80 B;
1BB(Brontobyte,一千亿亿亿字节)= 1024YB= 2^90 B;
1NB(NonaByte,一百万亿亿亿字节) = 1024 BB = 2^100 B;
1DB(DoggaByte,十亿亿亿亿字节) = 1024 NB = 2^110 B

 

数据传输:

数据存储是字节("Byte")为单位,数据传输大多是以“位”("bit",又名“比特”)为单位,一个位就表示0或q(即二进制),每8个位("bit",简写为b)组成一个字节(Byte,简写B),bit是最小一级的信息单位

在计算机中传输的最小单位是信号单位bit ,数字信息流的基本单位是bit,时间的基本单位是s(秒),因此bit/s(比特每秒)是描述宽带的基本单位。

带宽(bps)就是在一个固定的时间内(1秒),能通过的最大位数据。

bps (bit per second)

例: 

有些宽带运营商,一个20Mbps的带宽  ,而实际的最大下载速度大约只有2.5MB/s (这是以每秒多少字节下载,大写B)

20Mb/s = 20 / 8 = 2.5MB/s

1Mb/s = 1024Kb/s =  1024Kb / 8  = 128KB / s  

你的上传速度和下载速度 都是共用你的带宽

 

1.4字符编码

字符编码就是:特定的字符如何对应一个特定的数字标准

1.ASCII编码

  由于计算机是美国人发明的,因此,最早只有128个字母被编码到计算机里,也就是大小写英文字母、数字和一些英文符号,这个编码被称为ASCII码,最初使用的是ASCII码(American  Standared  Code for information  interchange ,美国标准信息交换码)。

 虽然标准ASCII字符集字符数目有限, 但由于计算机基本处理单位为字节(1Byte =1bit ),所以一般 任意一个字节存放一个ASCII字符,每一个字节中多余出来的一位(最高位)在计算机内部通常保持为0(在数据传输是可用做奇偶校验位。)由于标准ASCII字符集数目有限,在实际应用中往往不够用,后来加入了很多画表格时需要用到下划线、竖线、交叉等序号遍到了最后一个状态255,从128到255这一页的字符集称为“扩展字符集”。

2.GBK 、GB18030、GB2312

GB2312(1980年)一共收录了7445个字符,包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7,低字节从A1-FE,占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。

GB2312 支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号,它分为汉字区和图形符号区。汉字区包括21003个字符。2000年的 GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字,同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030,对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。

GBK就是汉字编码的规范

从ASCII、GB2312、GBK 到GB18030,这些编码方法是向下兼容的,即同一个字符在这些方案中总是有相同的编码,后面的标准支持更多的字符。

3.unicode编码

全世界有上百种语言,日本把日文编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。

因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。

UNICODE 。( Universal Multiple-Octet Coded Character Set )简称UCS

在UNICODE 中,一个汉字算两个英文字符的时代已经快过去了。

无论是半角的英文字母,还是全角的汉字,它们都是统一的“一个字符”!同时,也都是统一的“两个字节"”

请注意”字符”和”字节”两个术语的不同,“字节”是一个8位的物理存贮单元,而“字符”则是一个文化相关的符号。在unicode中,一个字符就是两个字节。一个汉字算两个英文字符的时代已经快过去了。

我们已经知道,英文字母只用一个字节表示就够了,如果unicode统一规定,一个字符都表示两字节这对于存储空间来说是极大的浪费,文本文件的大小会因此大出二倍,这是难以接受的。

4.UTF-8

unicode在很长一段时间内无法推广,直到互联网的出现,为解决unicode如何在网络上传输的问题,于是面向传输的众多 UTF(UCS Transfer Format)标准出现了,顾名思义,UTF-8就是每次8个位传输数据,

UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种unicode的实现方式,这是为传输而设计的编码,并使编码无国界,这样就可以显示全世界上所有文化的字符了。

UTF-8最大的一个特点,就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号,根据不同的符号而变化字节长度,当字符在ASCII 码的范围时,就用一个字节表示,保留了ASCII字符一个字节的编码做为它的一部分,注意的是unicode一个中文字符占2个字节,而UTF-8一个中 文字符占3个字节)。
从unicode到uft-8并不是直接的对应,而是要过一些算法和规则来转换。

转载于:https://www.cnblogs.com/yangjinquan/p/9780999.html

相关文章:

  • 多进程编程
  • 实验报告三
  • 跨域获取后台日期-ASP
  • react 的生命周期函数
  • python基础—基本数据类型(int bool str)
  • 【Java】 剑指offer(29) 顺时针打印矩阵
  • 文件上传下载、socketserver(并发)、解读socketserver源码
  • sass笔记
  • 附加数据库时出错问题处理
  • 整理:手机端弹出提示框,使用的bootstrap中的模态框(modal,弹出层),比kendo弹出效果好...
  • Hdoj 1087.Super Jumping! Jumping! Jumping!
  • docker集群演练
  • UVA11090 Going in Cycle!!
  • 继承派生 属性查找
  • 针对shiro框架authc拦截器认证成功后跳转到根目录,而非指定路径问题
  • [译]CSS 居中(Center)方法大合集
  • 《网管员必读——网络组建》(第2版)电子课件下载
  • 【干货分享】SpringCloud微服务架构分布式组件如何共享session对象
  • centos安装java运行环境jdk+tomcat
  • CNN 在图像分割中的简史:从 R-CNN 到 Mask R-CNN
  • Consul Config 使用Git做版本控制的实现
  • Idea+maven+scala构建包并在spark on yarn 运行
  • IndexedDB
  • JavaScript学习总结——原型
  • Python打包系统简单入门
  • vuex 学习笔记 01
  • WePY 在小程序性能调优上做出的探究
  • 浮动相关
  • 经典排序算法及其 Java 实现
  • 聊聊sentinel的DegradeSlot
  • 聊一聊前端的监控
  • 使用Maven插件构建SpringBoot项目,生成Docker镜像push到DockerHub上
  • 用 vue 组件自定义 v-model, 实现一个 Tab 组件。
  • Nginx实现动静分离
  • ​卜东波研究员:高观点下的少儿计算思维
  • #define MODIFY_REG(REG, CLEARMASK, SETMASK)
  • #define,static,const,三种常量的区别
  • #QT项目实战(天气预报)
  • #我与Java虚拟机的故事#连载01:人在JVM,身不由己
  • (ibm)Java 语言的 XPath API
  • (Redis使用系列) Springboot 在redis中使用BloomFilter布隆过滤器机制 六
  • (二)构建dubbo分布式平台-平台功能导图
  • (力扣记录)235. 二叉搜索树的最近公共祖先
  • (四)Linux Shell编程——输入输出重定向
  • (四)搭建容器云管理平台笔记—安装ETCD(不使用证书)
  • (转)AS3正则:元子符,元序列,标志,数量表达符
  • (转)德国人的记事本
  • *ST京蓝入股力合节能 着力绿色智慧城市服务
  • .NET Core Web APi类库如何内嵌运行?
  • .net framework 4.0中如何 输出 form 的name属性。
  • .NET WebClient 类下载部分文件会错误?可能是解压缩的锅
  • .Net的C#语言取月份数值对应的MonthName值
  • .net开源工作流引擎ccflow表单数据返回值Pop分组模式和表格模式对比
  • .NET开源快速、强大、免费的电子表格组件
  • .NET实现之(自动更新)