当前位置: 首页 > news >正文

python爬虫搭建环境_python爬虫起步...开发环境搭建,最简单的方式

研究一门编程语言,一般第一步就是配置安装部署相关的编程环境。我认为啊,在学习的初期,大家不是十分了解相关的环境,或者是jar包,python模块等的相关内容,就不需要花费大量的时间去研究如何去安装它。在你积累到一定程度之后,回头再来看看这些模块和包的安装,应是十分容易的,即使某一个环节出了错误,遇到一些问题,这些问题也能快速解决掉,所以我推荐使用anaconda来研究python。

最近在研究python爬虫的相关内容。一点一点来吧,由浅入深,稍微后面一点会搞搞分布式爬虫框架scrapy + MongoDB,现在先做一些requests + bs4的简单爬虫,稍后一点会将数据存放到数据库,这里先预定使用 mysql,而且爬取的基本是一些没有任何反扒机制的网站。

关于静态网页和动态网页的区别,以后也会介绍的,现在已经11点多了,起个头,洗洗睡了。

首先介绍下环境搭建。

我这里用的是win10系统,最最简单快捷的方法,真的是一个软件就解决的事,不需要下载python,不需要配置环境变量,不需要下载pycharm!

那就是anaconda。它不仅包含了python开发所需要的环境,而且是一个方便快捷的python第三方包安装管理工具,比pip要方便的多,虽然pip和pycharm都可以安装第三方模块。

这里是官网下载地址:https://www.anaconda.com/download/

根据自己的电脑和想要使用的python版本,下载相应的版本,一步步安装即可,只有一点需要注意的,安装过程中,记不清具体是什么,大概是 just for me/ for everyone, 这里要选择 for everyone,然后一步步next。

这里放一张软件截图给大家,让大家先感受下 anaconda 的方便之处。

1301446-20180704232253668-120930613.png

单击 spyder ,一个仅仅比pycharm逊色一点的开发工具就打开了。如果想要代码自动补全的功能,大家可以百度下哈,这里就不介绍了。

1301446-20180704232923825-1643718058.png

相关文章:

  • if test 多条件_1分钟让你读懂if __name__==#x27;__main__#x27;的含义,面试不用愁
  • python打不开txt文件苹果怎么打开_如何在Mac上的Python中从TextEdit中打开文本文......
  • 如何使用python编程抢京东优惠券 知乎_小猿圈Python之实现京东秒杀功能代码
  • 预警系统一键自动升级程序_带有L2级自动驾驶技术,本田思域的起售价为11.99万...
  • python删除列表中的偶数_从奇数/偶数Python列表中删除偶数/奇数
  • ehcache使用_技术分享|浅谈EhCache实现页面缓存和数据缓存
  • elasticsearch date_史上最全的ElasticSearch系列之基础
  • python字符串函数参数_python:字符串常用函数
  • fabric白皮书_安全: Intel发布CSME安全白皮书
  • resnet50能用cpu跑吗_锐龙5000上市倒计时 官方告诉你哪些主板能用
  • web个人主页制作代码_Web前端开发是干嘛的?Web前端工资一般多少?
  • java动态代理_Java 动态代理及 RPC 框架介绍
  • 关于python的赋值说法_Python中tuple+=赋值的四个问题
  • python如何截取日期中的月份_python – 从给定日期开始提取日,月和年的...
  • python3 beautifulsoup_(转载) python3: beautifulsoup的使用
  • 分享的文章《人生如棋》
  • (ckeditor+ckfinder用法)Jquery,js获取ckeditor值
  • [deviceone开发]-do_Webview的基本示例
  • 2017届校招提前批面试回顾
  • Cumulo 的 ClojureScript 模块已经成型
  • Github访问慢解决办法
  • HTTP 简介
  • Java 9 被无情抛弃,Java 8 直接升级到 Java 10!!
  • LintCode 31. partitionArray 数组划分
  • nfs客户端进程变D,延伸linux的lock
  • opencv python Meanshift 和 Camshift
  • PHP 7 修改了什么呢 -- 2
  • react-native 安卓真机环境搭建
  • vue和cordova项目整合打包,并实现vue调用android的相机的demo
  • Webpack 4x 之路 ( 四 )
  • win10下安装mysql5.7
  • 规范化安全开发 KOA 手脚架
  • 记录一下第一次使用npm
  • 消息队列系列二(IOT中消息队列的应用)
  • 写给高年级小学生看的《Bash 指南》
  • 自定义函数
  • 阿里云ACE认证之理解CDN技术
  • 带你开发类似Pokemon Go的AR游戏
  • ​LeetCode解法汇总1410. HTML 实体解析器
  • ​插件化DPI在商用WIFI中的价值
  • ​一些不规范的GTID使用场景
  • #AngularJS#$sce.trustAsResourceUrl
  • %3cscript放入php,跟bWAPP学WEB安全(PHP代码)--XSS跨站脚本攻击
  • (16)UiBot:智能化软件机器人(以头歌抓取课程数据为例)
  • (Java)【深基9.例1】选举学生会
  • (LeetCode 49)Anagrams
  • (ZT)出版业改革:该死的死,该生的生
  • (第二周)效能测试
  • (二)JAVA使用POI操作excel
  • (二)WCF的Binding模型
  • (附源码)ssm基于微信小程序的疫苗管理系统 毕业设计 092354
  • (附源码)基于SpringBoot和Vue的厨到家服务平台的设计与实现 毕业设计 063133
  • (转)C#调用WebService 基础
  • ... fatal error LINK1120:1个无法解析的外部命令 的解决办法
  • .Net Core/.Net6/.Net8 ,启动配置/Program.cs 配置