当前位置: 首页 > news >正文

.pyc文件还原.py文件_Python什么情况下会生成pyc文件?

89255deefd057f98122cf809d645cfae.png

作为Python爱好者,需要了解.py脚本的基本运行机制及特性:

在很多工作上Python的运行流程基本上取决于用户,因此源码不需要编译成二进制代码(否则无法实现大部分贴近用户的特性),而直接从源码运行程序。当我们运行python文件程序的时候,Python解释器将源码转换为字节码,然后再由解释器来执行这些字节码。

因此总的来说,它具有以下三条特性

  1. 源码距离底层更远(根据官方文档的解释。不说,你们也感觉得到。)

  2. 运行时都需要生成字节码,交由虚拟机执行。(你们问我虚拟机在哪儿?!你们也不看看各自都是用什么软件执行的!没错,就是解释器,别和我说是IDLE啊。虚拟机具体实现了由switch-case语句构成的框架函数PyEval_EvalFrameEx,刚刚说的字节码就是这货执行的。)

  3. 每次执行脚本,虚拟机总要多出加载和链接的流程。(所以呢,相比于编译型语言就有点慢了。这与“有丝分裂间期”一样,准备东西也要花时间啊!)

那么,有人要问了:“不是说,运行时总要生成字节码么!那,字节码都去哪儿了?”

咳咳,别急!容我先说说,虚拟机它是怎么执行脚本的:

  1. 完成模块的加载和链接;

  2. 将源代码翻译为PyCodeObject对象(这货就是字节码),并将其写入内存当中(方便CPU读取,起到加速程序运行的作用);

  3. 从上述内存空间中读取指令并执行;

  4. 程序结束后,根据命令行调用情况(即运行程序的方式)决定是否将PyCodeObject写回硬盘当中(也就是直接复制到.pyc或.pyo文件中);

  5. 之后若再次执行该脚本,则先检查本地是否有上述字节码文件。有则执行,否则重复上述步骤。

你看!在我们点击(或输入命令)运行脚本,并悠闲地喝咖啡时,“人家”虚拟机做了这么多的事情。不过,你有没有发现.pyc或.pyo文件是否生成,是取决于我们如何运行程序的(虽然我们不知道要怎么做)。

同样,有人会吐槽:“哼!为什么不直接生成这些文件,这样来得不是‘更快、更高、更强’!”

其实,虚拟机也是讲究效率的。毕竟对于比较大的项目,要将PyCodeObject写回硬盘也是不可避免地要花些时间的,而且它又不知道你是不是也就只执行一次,之后就对刚刚跑完的脚本“弃之不顾”了呢。不过,它其实也有贴心的一面。

比如,若你在命令行直接输入“python path/to/projectDir”(假设projectDir目录含有“__main__.py”文件,以及其他将要调用的模块),那么程序运行结束后便自动为当前目录下所有的脚本生成字节码文件,并保存于本地新文件夹__pycache__当中。(这也有可能是IDE写小项目时自动生成.pyc文件的原因,不过问题描述略微暧昧。详情参见上面知乎问题板块)

或者是,在命令行输入“python path/to/projectDir/__main__.py”,则生成除__main__.py外脚本的字节码文件。

不过总的来说,上述这两种行为都大大缩短了项目运行前的准备时间(毕竟分工明确的程序,规模应该不会太小,复用率也不会太低。除非吃饱了撑着,搞出这么多事情)

模块在每次导入前总会检查其字节码文件的修改时间是否与自身的一致。若是则直接从该字节码文件读取内容,否则源模块重新导入,并在最后生成同名文件覆盖当前已有的字节码,从而完成内容的更新(详见import.py)。 这样,就避免了修改源代码后与本地字节码文件产生冲突(当然,设计者也不会这么傻。)。 若想优化生成字节码,应注意这两点:
  • .pyc文件是由.py文件经过编译后生成的字节码文件,其加载速度相对于之前的.py文件有所提高,而且还可以实现源码隐藏,以及一定程度上的反编译。比如,Python3.3编译生成的.pyc文件,Python3.4就别想着去运行啦!

  • .pyo文件也是优化(注意这两个字,便于后续的理解)编译后的程序(相比于.pyc文件更小),也可以提高加载速度。但对于嵌入式系统,它可将所需模块编译成.pyo文件以减少容量。

但总的来说,作用上是几乎与原来的.py脚本没有区别的,也就是“然并卵 ”(当然,并非毫无作用。比如,我个人觉得用处最大的地方就是防止别人偷看我的代码,毕竟.py源文件是直接以源码的形式呈现给大家的。

在所有的Python选项中:

  • -O,表示优化生成.pyo字节码(这里又有“优化”两个字,得注意啦!)

  • -OO,表示进一步移除-O选项生成的字节码文件中的文档字符串(这是在作用效果上解释的,而不是说从-O选项得到的文件去除)

  • -m,表示导入并运行指定的模块

对此,我们可以使用如下格式运行.py文件来生成.pyc文件(以下调用均假设/path/to目录含有.py脚本):

python -m py_compile /path/to/需要生成.pyc的脚本.py #若批量处理.py文件                                                  #则替换为/path/to/{需要生成.pyc的脚本1,脚本2,...}.py                                                  #或者/path/to/

其效果等效于如下代码:

import py_compilepy_compile.compile(r'/path/to/需要生成.pyc的脚本.py') #同样也可以是包含.py文件的目录路径                                                    #此处尽可能使用raw字符串,从而避免转义的麻烦。比如,这里不加“r”的话,你就得对斜杠进行转义

py_compile是Python的自带模块,这里面就两个函数。其下的py_compile.compile(file[, cfile[, dfile[, doraise]]])可将.py文件编译生成.pyc文件(默认),对应的参数解释如下

  1. file,表示需要生成.pyc或.pyo文件的源脚本名(字符串);

  2. cfile,表示需要生成.pyc或.pyo文件的目标脚本名。呃...好像没有区别 ,也就是源脚本-----目标脚本。当然,它默认是以.pyc为扩展名的路径名的字符串。此外,当且仅当所使用的解释器允许编译成.pyo文件,才能以“.pyo”结尾。这也就是我上面为什么会在函数功能解释上加上“(默认)”这两个字的原因。

  3. dfile,表示编译出错时,将报错信息中的名字“file”替换为“dfile”。

  4. doraise,设置是否忽略异常。若为True,则抛出PyCompileError异常;否则直接将错误信息写入sys.stderr(什么!不知道sys.stderr?!温馨提示:sys.stderr是Python自带的标准错误输出)

另外,生成.pyo文件的格式调用如下:

python -O -m py_compile /path/to/需要生成.pyo的脚本.py

那么,有人要问了:为什么不是像生成.pyc文件那样采用“python -O /path/to/需要生成.pyo的脚本.py”形式的调用?

“忘记”说明这一点了,很多博客以及书籍都像我上面那样解释“-O”选项的作用,但详细来解释的话是-O选项,将.pyc文件优化(注意我一直强调的“优化”二字,这里就用到啦!)为.pyo文件,而不是将.py文件优化编译为.pyo文件。(其直接的结果是优化编译后的文件略微小于.pyc文件,也就是“减肥”了。现在,大家知道.pyo文件为什么小的原因了吧!)

注意:

以上无论是生成.pyc还是.pyo文件,都将在当前脚本的目录下生成一个含有字节码的文件夹__pycache__。

可能还有人会问,.pyd文件又是什么鬼?

别在意,那只是Python的动态链接库。如果要深究,还得扯上C++的知识。

再啰嗦一句:生成字节码的方法多了去了,不止以上这几种。比如,你们不妨试试将上面命令行调用中的“py_compile”改成“compileall”,而代码行中的“py_compile.compile”改成“compileall.compile_file”或“compileall.compile_dir”,又或者直接使用带有编译功能的IDE生成字节码。

再再啰嗦一句:知道Python运行机制,并不是我们一般人所必须的(吃瓜群众:“滚!我刚好不容易看完了,你才说?!”)。但是,了解其加速程序运行以及优化代码的设计思想,对于我们在日后构造缓存系统、如何减少不必要的运行时间,以及同步更新工作内容等问题上起到很大的借鉴作用。

若想要了解更多的内容,可以去翻翻官方文档和其他博客:

  • https://docs.python.org/3.5/using/cmdline.html?highlight=#command-line-and-environment

  • https://docs.python.org/3.5/library/py_compile.html?highlight=.pyc#module-py_compile

  • https://docs.python.org/3.5/c-api/code.html?highlight=pycodeobject#code-objects

  • http://nedbatchelder.com/blog/200804/the_structure_of_pyc_files.html

  • http://www.tuicool.com/articles/Q7Rj6rr

  • http://developer.51cto.com/art/201002/184914.htm

- END -

原文链接:

https://www.zhihu.com/question/30296617/answer/112564303

文源网络,仅供学习之用,如有侵权,联系删除。

往期精彩

d545b7233ec7d05c2633d4d986b74680.png

◆  50款开源工具你都用过吗?

◆  你知道Python的就业方向和薪资吗?(赠学习资料)

◆  python网络爬虫的基本原理详解

70b5a0321d95da108b029c36f91a5465.png

相关文章:

  • c++ 多线程 垃圾回收器_如何写一个C++垃圾回收器(一)
  • abb机器人编程手册_ABB机器人编程基本知识汇总
  • android activity根节点addview_Android应用程序目录
  • top中的res只增不减_美术高考嘘声不断,为什么热度依旧不减?
  • android 动画_炫酷的Android过渡动画,让APP应用富有生机
  • phpstorm xdebug本地调试断点不生效_卓象程序员:PHPStudy PHPStorm XDebug调试
  • 游戏脚本高级编程_godot游戏引擎实现TCP和UDP(网络联机,多人游戏)
  • 12333新农合网上查询_以下这些你们都懂?社保,医保,新农合,城镇医保都是什么鬼?...
  • batch normalization_深度学习各种normalization
  • python底层实现原理_Vue底层实现原理概述
  • layui后台模板_基于SpringBoot+Mybatis+Vue搭建后台管理模板框架,CRUD源码分享
  • 怎么在ubuntu上运行python_ubuntu怎么运行python
  • python判断图片相似度_opencv+python用直方图进行相似度判断、对比
  • python发送qq邮件_python实现QQ邮箱发送邮件
  • html开关_用树莓派DIY“啪啪”声控开关
  • [deviceone开发]-do_Webview的基本示例
  • 2017 年终总结 —— 在路上
  • C++类中的特殊成员函数
  • canvas 高仿 Apple Watch 表盘
  • CSS3 变换
  • ERLANG 网工修炼笔记 ---- UDP
  • interface和setter,getter
  • Java教程_软件开发基础
  • uva 10370 Above Average
  • 回流、重绘及其优化
  • 浅谈web中前端模板引擎的使用
  • 区块链共识机制优缺点对比都是什么
  • 软件开发学习的5大技巧,你知道吗?
  • 腾讯视频格式如何转换成mp4 将下载的qlv文件转换成mp4的方法
  • 验证码识别技术——15分钟带你突破各种复杂不定长验证码
  • mysql 慢查询分析工具:pt-query-digest 在mac 上的安装使用 ...
  • ### Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLTr
  • #WEB前端(HTML属性)
  • #我与Java虚拟机的故事#连载05:Java虚拟机的修炼之道
  • $(selector).each()和$.each()的区别
  • (aiohttp-asyncio-FFmpeg-Docker-SRS)实现异步摄像头转码服务器
  • (floyd+补集) poj 3275
  • (附源码)springboot炼糖厂地磅全自动控制系统 毕业设计 341357
  • (过滤器)Filter和(监听器)listener
  • (每日持续更新)信息系统项目管理(第四版)(高级项目管理)考试重点整理第3章 信息系统治理(一)
  • (三)终结任务
  • (转) ns2/nam与nam实现相关的文件
  • (转)Oracle存储过程编写经验和优化措施
  • (转)创业家杂志:UCWEB天使第一步
  • (转载)CentOS查看系统信息|CentOS查看命令
  • .NET delegate 委托 、 Event 事件
  • .Net 垃圾回收机制原理(二)
  • .net 提取注释生成API文档 帮助文档
  • .NET:自动将请求参数绑定到ASPX、ASHX和MVC(菜鸟必看)
  • @AutoConfigurationPackage的使用
  • @DateTimeFormat 和 @JsonFormat 注解详解
  • [ Linux 长征路第二篇] 基本指令head,tail,date,cal,find,grep,zip,tar,bc,unname
  • [2018][note]用于超快偏振开关和动态光束分裂的all-optical有源THz超表——
  • [2019/05/17]解决springboot测试List接口时JSON传参异常
  • [AndroidStudio]_[初级]_[修改虚拟设备镜像文件的存放位置]