当前位置: 首页 > news >正文

python中土耳其编码范围_Python-编码这趟浑水

最近听Alex讲到python编码,还特意用博客讲解,觉得问题严重了,于是翻看各种博客,先简单的对编码错误做一个总结,其他的后续慢慢补上,还得上班、还得学习、还得写博客?感觉有点吃不消了。各位大神不喜勿喷啊。本人是Mac电脑,终端默认编码格式utf-8

Python编码错误及解决办法

字符串是Python中最常用的数据类型,而且很多时候会用一些不属于ascii字符集的字符,这是就会抛出UnicodeDecodeError:ascii codec can't decode byte 0xc4 in position 10:oridinal not range(128)异常。这种异常在python中很容易遇到,尤其是在Python2.x中

字符串在Python3.x内部的表示是unicode编码,因此,在做编码转换时,通常需要以unicode作为转码的中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。但是在Python2.x中默认编码格式是ascii,就是说在没有指定Python源码编码格式的情况下,源码中所有字符都被默认为ascii码。也是因为这个根本原因,在Python2.x中经常遇到UnicodeDecodeError或者UnicodeEncodeError的异常。

Unicode为了能够处理Unicode数据,同时兼容Python某些内部模块,Python2.x中提供了Unicode这种数据类型,通过decode和encode方法可以将其他编码和unicode编码相互转换。

Python常见编码异常(几乎都出现在Python2.x中)

Python中常见的编码异常包括:SyntaxError: Non-ASCII character 、UnicodeDecodeError和UnicodeEncodeError等。

1.SyntaxError: Non-ASCII character

这种异常不是很常见,但最好解决了。只要是因为Python源码文件中存在不属于ascii字符,而且同时没有声明源码的编码格式,例如

#在Python2.x中,在文件头部没有指定编码格式

s= '土耳其大骗子'

prints#SyntaxError: Non-ASCII character '\xe5' in file /xxx/xxx/exercise-unicode.py on line 2, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details

解决办法:在文件头部声明编码格式 #!-*- encoding:utf-8 -*-或#!encoding:utf-8

Python2.x中如果不在源码文件首行指定编码格式,则无法在Python源码文件中出现非ascii字符。这是由于Python解释器默认将源码认为是ascii编码格式

2.UnicodeDecodeError

这个异常则会出现在调用decode方法时,原因是Python将其他编码格式的字符转化为unicode编码,但是字符本身的编码格式和decode传入的编码格式不一致,例如:

#Python2.x中

#!encoding:utf-8

s= '土耳其大骗子'us= s.decode('gbk')#异常#UnicodeDecodeError: 'gbk' codec can't decode bytes in position 4-5: illegal multibyte sequence

上面这段代码字符串字符串s默认的编码格式是“utf-8”(#!encoding:utf-8声明的意思就是:当前.py文件中所有的字符都是utf-8编码的),但是在使用decode转化为unicode编码是传入的编码格式为“gbk”,因此在转化的时候抛出UnicodeDecodeError异常。还有一种情况是在encode的时候:

#Python2.x中#! -*- encoding:utf-8 -*-

s= '土耳其大骗子'us= s.encode('gbk')#输出#UnicodeDecodeError: 'ascii' codec can't decode byte 0xe5 in position 0: ordinal not in range(128)

这里是s是“utf-8”编码,直接使用s.encode('gbk'),实际上是使用了系统默认的defaultencoding来解码,等价于

s.decode(defaultencoding).encode('gbk')

而s的实际编码和defaultencoding(python2.x默认是ascii)不同。

3.UnicodeEncodeError

错误的decode和encode方法会出现异常,比如使用decode方法将unicode字符串转化的时候

#! -*- encoding:utf-8 -*-

s= u'土耳其大骗子'us= s.decode('utf-8')#输出#UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-5: ordinal not in range(128)

由于在Python2.x中,字符串转化为unicode编码的时候,可以通过unicode('xxx')、u'xxx'、'xxx'.decode('utf-8'),但是本示例是将unicode编码的字符串解码,于是抛出“UnicodeEncodeError”异常

Python中编码规范

1.遵循PEP0263原则,声明编码格式(推荐)

在PEP 0263 Defining Python Source Code Encodings中提出了对Python编码问题的最基本的解决方法:在Python源码文件中声明编码格式,最常见的声明格式如下:

#!/usr/bin/python#! -*- encoding:utf-8 -*-

表示当前.py文件的字符串编码格式都是按照“utf-8”编码的,不是读取的文件是用“utf-8”编码读取的

2.使用 u'中文' 代替中文(Python 2.x)

s1 = '中文'

s2 = u'中文'

Python中有以上两种声明字符串变量的方式,它们的主要的是编码格式的不同,其他s1的编码格式和Python头文件声明的编码格式一致,而s2的编码格式则是unicode。如果你声明的字符串变量中包含非ascii字符,最好使用s2的的声明格式,这样你可以不需要执行decode,直接对字符串进行操作,可以避免出现一个异常。

注意:Python3中不存在 u'xx'的声明方式。

3.Reset默认编码

Python中出现这么多的编码问题的根本原因是Python 2x中的默认编码是ascii,所以你可以通过以下的方式修改默认的编码格式:

importsys

sys.setdefaultencoding('utf-8')

这种方法可以解决部分编码问题,但是同时也会引入很多其他问题,得不偿失,建议不要使用这种方式。

相关文章:

  • 做聪明的人很容易,但做善良的人很难
  • webis个人主页设计_个人网页(个人主页)设计论文
  • [个人] 确立了新的研究方向
  • java读书心得_范文精选-读书心得体会-java夜未眠读书心得
  • 经典导航菜单脚本收藏
  • axure 导入元件库显示不出白框_如何用Axure画出Web后台产品的面包屑组件
  • Oracle常用命令
  • echarts 使用热力图 如何能做到在每一个热力点的方格内显示自己需要的数据_3种高级分析型图表,直观解读数据,手把手教你制作...
  • 什么叫h5项目_揭秘使用H5自适应建设网站有哪些优势
  • Windows Mobile 5.0 认知篇
  • 一个手机号注册2个抖音_一个手机号码可以注册多个微信号
  • 工作是美丽的,健康是幸福的——凤凰卫视《世纪大讲堂》:平衡工作生活
  • figure字体 latex_LaTeX学习指南(三)
  • 单点登陆SSO原理介绍
  • matlab调用海康威视摄像头_一周要闻 | 海康威视携手永爱养老共建“智慧养老”实验室;海康威视推出AI防爆摄像机...
  • github从入门到放弃(1)
  • Git同步原始仓库到Fork仓库中
  • JS变量作用域
  • Laravel深入学习6 - 应用体系结构:解耦事件处理器
  • magento2项目上线注意事项
  • miaov-React 最佳入门
  • ubuntu 下nginx安装 并支持https协议
  • UMLCHINA 首席专家潘加宇鼎力推荐
  • 从0实现一个tiny react(三)生命周期
  • 买一台 iPhone X,还是创建一家未来的独角兽?
  • 面试遇到的一些题
  • 目录与文件属性:编写ls
  • 排序算法之--选择排序
  • 入职第二天:使用koa搭建node server是种怎样的体验
  • 深入体验bash on windows,在windows上搭建原生的linux开发环境,酷!
  • 学习笔记TF060:图像语音结合,看图说话
  • 栈实现走出迷宫(C++)
  • [地铁译]使用SSD缓存应用数据——Moneta项目: 低成本优化的下一代EVCache ...
  • 基于django的视频点播网站开发-step3-注册登录功能 ...
  • ​VRRP 虚拟路由冗余协议(华为)
  • ​一、什么是射频识别?二、射频识别系统组成及工作原理三、射频识别系统分类四、RFID与物联网​
  • # 20155222 2016-2017-2 《Java程序设计》第5周学习总结
  • (16)UiBot:智能化软件机器人(以头歌抓取课程数据为例)
  • (c语言版)滑动窗口 给定一个字符串,只包含字母和数字,按要求找出字符串中的最长(连续)子串的长度
  • (PHP)设置修改 Apache 文件根目录 (Document Root)(转帖)
  • (二)Eureka服务搭建,服务注册,服务发现
  • (附源码)springboot 基于HTML5的个人网页的网站设计与实现 毕业设计 031623
  • (论文阅读32/100)Flowing convnets for human pose estimation in videos
  • (每日持续更新)信息系统项目管理(第四版)(高级项目管理)考试重点整理第3章 信息系统治理(一)
  • (免费领源码)python+django+mysql线上兼职平台系统83320-计算机毕业设计项目选题推荐
  • (一)基于IDEA的JAVA基础10
  • (原创)Stanford Machine Learning (by Andrew NG) --- (week 9) Anomaly DetectionRecommender Systems...
  • (转)Linq学习笔记
  • (转)memcache、redis缓存
  • (转)甲方乙方——赵民谈找工作
  • (自适应手机端)响应式新闻博客知识类pbootcms网站模板 自媒体运营博客网站源码下载
  • .Net Core缓存组件(MemoryCache)源码解析
  • .Net MVC + EF搭建学生管理系统
  • .NET 实现 NTFS 文件系统的硬链接 mklink /J(Junction)
  • .Net 中的反射(动态创建类型实例) - Part.4(转自http://www.tracefact.net/CLR-and-Framework/Reflection-Part4.aspx)...