当前位置: 首页 > news >正文

第二热门语言:从入门到精通,Python数据科学简洁教程

Python是一门通用的编程语言,在过去十年中被数据科学领域广泛使用。事实上,Python在数据科学领域是仅次于R的第二热门的编程语言。

本篇文章的主要目的在于向大家展示使用Python学习数据科学有多么的容易。你可能以为自己要先成为一名高级Python程序员,然后才能进行通常与数据科学相关的复杂任务,然而事实并非如此。Python附带了很多有用的工具库,它们可以在后台为你提供强大的支持。你甚至不需要知道程序在运行什么,你不必关心这些。唯一你真正需要知道的是,你需要执行一些特定的任务,而Python使这些任务变得相当简单。

那么,让我们现在就开始吧。

配置数据科学所需的Python环境

无论你使用的电脑是Mac还是Windows,我都建议你下载一个免费的能够让你轻松访问尽可能多的有用模块的Python发行版本。

我试用了一些Python的发行版本,在这里,我推荐大家使用Continuum Analytics提供的Anaconda。这个Python发行版本包含200多个工具库。要理解Python中包、模块和库的差异,请查阅这篇文章。

在你下载Anaconda的时候,你需要选择下载Python 2版本还是Python 3版本。我强烈建议你使用Python 2.17.12版本。截止到2016年底,绝大多数的非计算机科学的Python用户都使用了这个Python版本。它能够出色地完成数据科学任务,比Python 3更容易学习,而且像GitHub这样的网站中有数百万的Python脚本和代码片段,可供大家参考,生活会变得更加容易。

Anaconda也附带了Ipython编程环境,建议大家使用。安装Anaconda后,只需要导航到Jupyter笔记本并开启程序,就可以在Web浏览器中打开IPython。Jupyter笔记本的程序会自动启动Web浏览器中的应用程序。


294afd9ee97c7c51f0f3a2bec2b028123933a786

你可以参考这篇文章了解如何在Ipython笔记本中更改路径。

基础知识学习

在你深入了解Python的数据科学库之前,你首先需要学习一些Python的基础知识。Python是一门面向对象的编程语言。在Python中,对象既可以赋值给一个变量,也可以作为参数传递给一个函数。以下都是Python中的对象:数字、字符串、列表、元组、集合、字典、函数以及类。

Python中的函数与普通数学中的函数基本上是一致的——它接收输入数据,对数据进行处理并输出结果。输出的结果完全取决于函数是如何被设计的。另一方面,Python中的类是被设计为输出其他对象的对象的原型。

如果你的目标是编写快速、可复用、易于修改的Python代码,那么你必须使用函数和类。使用函数和类有助于保证代码的高效与整洁。

现在,让我们看看Python中有哪些可用的数据科学工具库。

科学计算:Numpy与Scipy

Numpy是一个主要用于处理n维数组对象的Python工具包,而Scipy则提供了许多数学算法与复杂函数的实现,可用来扩展Numpy库的功能。Scipy库为Python添加了一些专门的科学函数,以应对数据科学中的一些特定任务。

为了在Python中使用Numpy(或其他任何Python库),你必须首先导入对应的工具库。


6cc4a1539315a415495f2faf7d3843972c03ddd0

np.array(scores) 将一个列表转换成一个数组。

当你使用普通的Python程序时——未使用任何外部扩展(例如工具库)的Python程序——你只能受限地使用一维列表来存储数据。但是,如果你使用Numpy库来扩展Python,你可以直接使用n维数组。(如果你想知道的话,n维数组是包含一个或多个维度的数组。)

最开始就学习Numpy,是因为在使用Python进行科学计算时Numpy必不可少。对Numpy的深入了解将有助于你高效地使用Pandas和Scipy这样的工具库。

数据再加工:Pandas

Pandas是数据再加工过程中使用的最为广泛的工具。它包含为使数据分析更加快速便捷而设计的高级数据结构与数据操作工具。对于使用R语言进行统计计算的用户,一定不会对DataFrame的变量名感到陌生。

Pandas是Python成长为一个强大而高效的数据分析平台的关键因素之一。

接下来,我将向你展示如何使用Pandas处理一个小型数据集。


a8cf30a1383362a453db14c88a46cbf264ec5958

DataFrame是一个电子表格结构,包含一个有序的列集合。每个列都可以有不同的变量类型。DataFrame既包含行索引,也包含列索引。


d3c5c955bfb1bea1d17ee459990fa482cbd253ff

可视化:Matplotlib + Seaborn + Bokeh

Matlplotlib是Python中一个用于数据可视化的模块。Matplotlib可使你轻松地绘制线形图、饼状图、直方图以及其他专业图表。

你可以使用Matplotlib自定义图表中的每个细节。当你在IPython中使用Matplotlib时,Matplotlib具备缩放、平移等交互特性。Matplotlib在所有操作系统上均支持不同的GUI后端,同时,它也可以将图表导出为若干种常见的图像格式,如PDF、SVG、JPG、PNG、BMP、GIF等。


14a65a4f1e4cf8e9f21157a34b2691d5c41d7dfb

Seaborn是一个基于Matplotlib的数据可视化工具库,用来在Python中创建富有吸引力且内容翔实的统计图表。Seaborn的主要特点在于,其仅使用相对简单的命令就可以从Pandas数据中创建出复杂的图表类型。我使用Seaborn绘制了下面这幅图:


a6e0aabf56c941972066039b0eb92e6f7427c9c7

机器学习: Scikit-learn

机器学习的目标在于通过向机器(软件)提供一些示例(如何执行任务或者执行什么无法完成任务)来教会机器执行任务。

Python中有很多机器学习的工具库,然而,Scikit-learn是最受欢迎的一个。Scikit-learn建立在Numpy、Scipy与Matplotlib库之上。基于Scikit-learn库,你几乎可以实现所有的机器学习算法,如回归、聚类、分类等等。因此,如果你打算使用Python学习机器学习,那么我建议你从学习Scikit-learn开始。

K近邻算法可用于分类或回归。下面这段代码展示了如何使用KNN模型对鸢尾花数据集进行预测。


affeb624ec5a3c8814a2332af48b9ff5c24edbf3


cb9f9293512a91c4da1c47c31ae190a3460c26be

其他的一些机器学习库还有:

  • Theano
  • Pylearn2
  • Pyevolve
  • Caffe
  • Tensorflow

统计学:Statsmodels与Scipy.stats

Statsmodels和Scipy.stats是Python中两个热门的统计学习模块。Scipy.stats主要用于概率分布的实现。另一方面,Statsmodels则为统计学模型提供了类似于R的公式框架。包括描述统计学、统计检验、绘图函数以及结果统计在内的扩展功能均适用于不同类型的数据以及每一种估计器。

下面的代码展示了如何使用Scipy.stats模块调用正态分布。


07f098eb0cedcb28937177c13390ba93143eb067


7905479d4377cb66ad7e452c731433023ec87759

正态分布是一种连续的输入为实线上任何值的分布或函数。正态分布可通过以下两个参数进行参数化:分布的均值μ以及方差σ2

Web抓取:Requests、Scrapy与BeautifulSoup
Web抓取表示从网络中获取非结构化数据(通常为HTML格式),并将其转换为便于分析的结构化格式数据的过程。

深受欢迎的用于Web抓取的工具库有:

  • Scrapy
  • URl lib
  • Beautifulsoup
  • Requests

要从网站中爬取数据,你需要了解一些HTML的基本知识。

这里有一个使用BeautifulSoup库进行网络爬取的示例:

import urllib2
import bs4


015460c8042ff4e80e891f9e9311a6a3d95c9b05

代码beautiful = urllib2.urlopen(url).read();前往bigdataexaminer.com并获取了网站对应的整个HTML文本。随后,我将文本存储在变量beautiful中。

我使用了urllib2来获取url为http://www.bigdataexaminer.com/ 的网站页面,你也可以使用Requests做同样的事情。这里有篇文章可以帮助你了解urllib2和Requests间的差别。

Scrapy与BeautifulSoup类似。后端工程师Prasanna Venkadesh在Quora上解释了这两个工具库的差别:

_"Scrapy是一个Web爬虫,或者说,是一个Web爬虫框架,你为Scrapy提供一个开始抓取操作的根URL,然后你可以指定一些约束,例如要抓取多少个URL等等,这是一个用于Web抓取或爬取的完整框架。

而BeautifulSoup则是一个解析库,它也可以出色地页面爬取任务,并允许你轻松地解析页面中的某些内容。但是,BeautifulSoup只会抓取你提供URL的页面的内容。它不会抓取其他页面,除非你以一定方式手动地将页面URL添加到循环中来。
简单来说,你可以用BeautifulSoup构建出与Scrapy类似的东西。但是BeautifulSoup是一个Python库,而Scrapy则是一个完整的框架。"_

结论

现在,你知道了Python的一些基础知识以及这些工具库的用途。是时候使用你所学到的知识来解决具体的数据分析问题了。你可以先处理结构化的数据集,之后可以解决那些复杂的非结构化数据分析问题了。
数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!
以上为译文

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Python for Data Science Made Simple: A Step-by-Step Guide》,作者:Manu Jeevan,译者:6816816151

文章为简译,更为详细的内容,请查看原文

相关文章:

  • SQLite入门与分析(四)---Page Cache之事务处理(3)
  • Linux 文件基本属性
  • linux常用命令以及命令帮助的使用
  • linux 安装fileinfo扩展
  • Linux 2.6.19.x 内核编译配置选项简介
  • Hibernate实体关系映射(OneToMany、ManyToOne双边)——完整实例
  • ASL4000驱动
  • 40 个轻量级 JavaScript 库 (下)
  • Exchange 2013 配置邮件流
  • 序列化对象存储与反序列化--比较方便查看对象
  • java Nio 异步操作(四)channel
  • Share Point 开发系列之二:SharePoint 网站元素介绍
  • html 调用qq客服
  • 已测,Centos安装git2.2.1
  • Nginx+PHP
  • 【挥舞JS】JS实现继承,封装一个extends方法
  • 【跃迁之路】【477天】刻意练习系列236(2018.05.28)
  • 002-读书笔记-JavaScript高级程序设计 在HTML中使用JavaScript
  • Dubbo 整合 Pinpoint 做分布式服务请求跟踪
  • es的写入过程
  • gulp 教程
  • in typeof instanceof ===这些运算符有什么作用
  • Java,console输出实时的转向GUI textbox
  • jquery ajax学习笔记
  • tab.js分享及浏览器兼容性问题汇总
  • Vultr 教程目录
  • 日剧·日综资源集合(建议收藏)
  • 如何设计一个微型分布式架构?
  • 如何正确配置 Ubuntu 14.04 服务器?
  • 使用阿里云发布分布式网站,开发时候应该注意什么?
  • 通过git安装npm私有模块
  • 微信小程序:实现悬浮返回和分享按钮
  • # C++之functional库用法整理
  • #if #elif #endif
  • (C#)Windows Shell 外壳编程系列4 - 上下文菜单(iContextMenu)(二)嵌入菜单和执行命令...
  • (Matalb时序预测)WOA-BP鲸鱼算法优化BP神经网络的多维时序回归预测
  • (pt可视化)利用torch的make_grid进行张量可视化
  • (定时器/计数器)中断系统(详解与使用)
  • (读书笔记)Javascript高级程序设计---ECMAScript基础
  • (分布式缓存)Redis哨兵
  • (附源码)ssm高校实验室 毕业设计 800008
  • (附源码)计算机毕业设计ssm基于B_S的汽车售后服务管理系统
  • (教学思路 C#之类三)方法参数类型(ref、out、parmas)
  • (六)软件测试分工
  • (四)库存超卖案例实战——优化redis分布式锁
  • (原創) 系統分析和系統設計有什麼差別? (OO)
  • (转载)微软数据挖掘算法:Microsoft 时序算法(5)
  • **Java有哪些悲观锁的实现_乐观锁、悲观锁、Redis分布式锁和Zookeeper分布式锁的实现以及流程原理...
  • .net 调用php,php 调用.net com组件 --
  • .NET轻量级ORM组件Dapper葵花宝典
  • [@Controller]4 详解@ModelAttribute
  • []常用AT命令解释()
  • [BZOJ]4817: [Sdoi2017]树点涂色
  • [BZOJ1008][HNOI2008]越狱
  • [C#]winform使用引导APSF和梯度自适应卷积增强夜间雾图像的可见性算法实现夜间雾霾图像的可见度增强