当前位置: 首页 > news >正文

python为什么慢?(自用)

《Cython系列》1. Cython 是什么?为什么要有 Cython?为什么我们要用 Cython? - 古明地盆 - 博客园 (cnblogs.com)

古明地盆的主页 - 博客园 (cnblogs.com)

我原本认为,python慢的原因是“逐行解释程序并执行”,那么我把python代码提前编译后,速度不就不慢了吗?显然,这种观点是错的。

- 为什么慢

以python的for循环为例,解释为什么慢

1. Python 的 for 循环机制

Python 在遍历一个可迭代对象的时候,会先调用这个可迭代对象内部的__iter__ 方法返回其对应的迭代器,然后再不断地调用这个迭代器的 __next__ 方法,将值一个一个的迭代出来,直到迭代器抛出 StopIteration 异常,for循环捕捉,终止循环。而迭代器是有状态的,Python 解释器需要时刻记录迭代器的迭代状态。

2. Python 的算数操作

Python 由于其动态特性,使得其无法做任何基于类型的优化。比如:循环体中的 a + b,这个 a、b 指向的可以是整数、浮点数、字符串、元组、列表,甚至是我们实现了魔法方法 __add__ 的类的实例对象,等等等等。尽管我们知道是浮点数,但是 Python 不会做这种假设,所以每一次执行 a + b 的时候,都会检测其类型到底是什么?然后判断内部是否有 __add__ 方法,以及两者能不能相加,然后条件满足的话再调用对应的 __add__ 方法,将 a 和 b 作为参数,将 a 和 b 指向的对象进行相加。计算出结果之后,再返回其指针转成 PyObject * 返回。

而对于 C 和 Cython 来说,在创建变量的时候就实现规定了类型。就是这个类型,不是其它的,因此编译之后的 a + b 只是一条简单的机器指令。这对比下来,Python能不慢吗。

3. Python中对象的内存分配

我们说 Python 中的对象是分配在堆上面的,因为 Python 中的对象本质上就是 C 中的 malloc 函数为结构体在堆区申请的一块内存。我们知道在堆区进行内存的分配和释放是需要付出很大的代价的,而栈则要小很多,并且它是由操作系统维护的,会自动回收,效率极高。而堆显然没有此待遇,而恰恰 Python 的对象都是分配在堆上的,尽管 Python 引入了内存池机制使得其在一定程度上避免了和操作系统的频繁交互,并且还引入了小整数对象池以及针对字符串的intern机制。但事实上,当涉及到对象(任意对象、包括标量)的创建和销毁时,都会增加动态分配内存、以及 Python 内存子系统的开销。而 float 对象又是不可变的,因此每循环一次都会创建和销毁一次,所以效率依旧是不高的。

而 Cython 分配的变量,这里是 a 和 b,它们就不再是指针了(我们说 Python 中的变量本质上都是一个指针),而是分配在栈上的双精度浮点数。而栈上分配的效率远远高于堆,因此非常适合 for 循环,所以效率要比 Python 高很多。

所以在 for 循环方面,C 和 Cython 要比纯 Python 快了一个数量级以上,这并不是奇怪的事情,因为 Python 每次迭代都要做很多的工作。

- 用Cython加速

1.编写好C函数

// fib.h
double cfib(int n);// fib.c
double cfib(int n) {int i;double a=0.0, b=1.0, tmp;for (i=0; i<n; ++i) {tmp = a; a = a + b; b = tmp;}return a;
}

2.1 用Cython语法调用(包装)C函数

##== fib.pyx =============# 引入C函数库,并声明函数cfib
cdef extern from "cfib.h":double cfib(int n)def fib(n):# 调用 C 实现的斐波那契函数return cfib(n)

2.2 或者用Cython语法编写函数

##==== fib.pyx ==========def fib(int n):cdef int icdef double a = 0.0, b = 1.0for i in range(n):a, b = a + b, areturn a

3.将Cython代码编译为.pyd拓展文件,供python程序调用

        大致为两步:Cython代码---->C代码----->pyd文件

                第一步依靠Cython包,通过pip install Cython下载即可

                第二步通过disutils包,它可以借助C编译器将C代码编译为pyd拓展

from distutils.core import setup
from Cython.Build import cythonize# 我们说构建扩展模块的过程分为两步: 1. 将 Cython 代码翻译成 C 代码; 2. 根据 C 代码生成扩展模块
# 而第一步要由 cython 编译器完成, 通过 cythonize; 第二步要由 distutils 完成, 通过 distutils.core 下的 setup
setup(ext_modules=cythonize("fib.pyx", language_level=3))
# 里面的 language_level=3 表示只需要兼容 python3 即可, 而默认是 2 和 3 都兼容
# 强烈建议加上这个参数, 因为目前为止我们只需要考虑 python3 即可# cythonize 负责将 Cython 代码转成 C 代码, 这里我们可以传入单个文件, 也可以是多个文件组成的列表
# 或者一个glob模式, 会匹配满足模式的所有 Cython 文件; 然后 setup 根据 C 代码生成扩展模块

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 软件建模概要
  • Vagrant配合VirtualBox搭建虚拟机
  • 设计模式8-桥模式
  • Windows之nslookup命令
  • 图解数据结构---绪论
  • # Redis 入门到精通(一)数据类型(4)
  • 创建yum源、NFS共享存储
  • C++惯用法: 通过std::decltype来SFINAE掉表达式
  • 有关去中心化算路大模型的一些误区:低带宽互连导致训练速度太慢;小容量设备无法生成基础规模的模型;去中心化总是会花费更多;虫群永远不够大
  • 内容协商源码解析与自定义 MessageConverter
  • 100个C++面试题
  • C#实现Winform程序右下角弹窗消息提示
  • Web组成架构
  • Spring Boot项目中JPA操作视图会改变原表吗?
  • Spring源码十九:Bean实例化流程二
  • 【划重点】MySQL技术内幕:InnoDB存储引擎
  • 002-读书笔记-JavaScript高级程序设计 在HTML中使用JavaScript
  • AHK 中 = 和 == 等比较运算符的用法
  • CSS相对定位
  • EOS是什么
  • Java IO学习笔记一
  • JavaScript标准库系列——Math对象和Date对象(二)
  • JavaScript服务器推送技术之 WebSocket
  • Nacos系列:Nacos的Java SDK使用
  • PaddlePaddle-GitHub的正确打开姿势
  • php的插入排序,通过双层for循环
  • Three.js 再探 - 写一个跳一跳极简版游戏
  • 大整数乘法-表格法
  • 开源中国专访:Chameleon原理首发,其它跨多端统一框架都是假的?
  • 利用阿里云 OSS 搭建私有 Docker 仓库
  • 配置 PM2 实现代码自动发布
  • 要让cordova项目适配iphoneX + ios11.4,总共要几步?三步
  • 一、python与pycharm的安装
  • 优化 Vue 项目编译文件大小
  • ionic入门之数据绑定显示-1
  • Nginx实现动静分离
  • python最赚钱的4个方向,你最心动的是哪个?
  • SAP CRM里Lead通过工作流自动创建Opportunity的原理讲解 ...
  • 京东物流联手山西图灵打造智能供应链,让阅读更有趣 ...
  • ​Java并发新构件之Exchanger
  • !$boo在php中什么意思,php前戏
  • $forceUpdate()函数
  • (007)XHTML文档之标题——h1~h6
  • (delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节(封闭类和Final方法)
  • (Repost) Getting Genode with TrustZone on the i.MX
  • (教学思路 C#之类三)方法参数类型(ref、out、parmas)
  • (九)信息融合方式简介
  • (三)mysql_MYSQL(三)
  • (实战)静默dbca安装创建数据库 --参数说明+举例
  • (最新)华为 2024 届秋招-硬件技术工程师-单板硬件开发—机试题—(共12套)(每套四十题)
  • .Mobi域名介绍
  • .net php 通信,flash与asp/php/asp.net通信的方法
  • .NET/C# 在代码中测量代码执行耗时的建议(比较系统性能计数器和系统时间)
  • .NET编程C#线程之旅:十种开启线程的方式以及各自使用场景和优缺点
  • .Net下C#针对Excel开发控件汇总(ClosedXML,EPPlus,NPOI)