当前位置：首页 > news >正文

小学生python编程----学爬虫

news 来源：原创 2024/5/5 20:54:48

基础知识

1、请求网页

爬虫用到的requset库，可以模拟人类打开网页，获取网页的行为。这个过程叫"请求网页"。

2、获取网页文本

3、分析网页网页代码是由一个个标签组成的，大多数都成对出现。

4、变为解析对象bs4库：用来解析爬取的网页，提取信息。

5、获取内容

data保存获取到的内容，是一个列表。

6、获取标签文字标签.text方法：获取标签中的文本信息。

7、示例

基础知识

网络爬虫（又称为网页蜘蛛，网络机器人），是一种按照一定的规则，自动地抓取互网联信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序.

爬虫又叫网络爬虫（web Spider），网络像一张大网，上面布满"数据"。爬虫就是从网上获取数据的"程序蜘蛛"。

步骤：请求网页-分析网页-展示结果

1、请求网页

爬虫用到的requset库，可以模拟人类打开网页，获取网页的行为。这个过程叫"请求网页"。

requset中的get()方法是进入网站的"法宝"。

request库使用get()来获取网页信息，并输出response对象名和状态码，表示成功获取到了网页。

get("url")函数：get函数用于请求网页，URL是需要请求的网址。

UTF-8：编码格式，避免中文乱码

直接输出get获取的内容，是网页对象名和状态码，其中200是状态码--表示网页请求成功。

代码：

# 爬取网页内容
import requests
response = requests.get("https://www.baidu.com/“)
response.encoding = "UTF-8"
print(response)

如没有安装requests模块，要先安装他 pip install requests
输出结果：

E:\乐乐python\venv\Scripts\python.exe E:/乐乐python/思成/爬虫/读百度.py
<Response [200]>

进程已结束，退出代码 0

2、获取网页文本

网页对象.text：获取网页的文本。

格式1：

response = requests.get(）

response.text

格式2:

response = requests.get().text

注意text后不加括号

import requests
response = requests.get("https://www.baidu.com/")
response.encoding = "UTF-8"
mytext=response.text
print(mytext)

结果：

E:\乐乐python\venv\Scripts\python.exe E:/乐乐python/思成/爬虫/读百度2.py
<!DOCTYPE html>
<html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度前必读</a>  <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a> 京ICP证030173号  <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

3、分析网页
网页代码是由一个个标签组成的，大多数都成对出现。

alt 网页代码标签

从网页代码中找信息的过程叫做“解析网页”。

4、变为解析对象
bs4库：用来解析爬取的网页，提取信息。

soup是变量名，用来存储解析之后的内容。response.text表示网页文本。lxml表示解析器。

我们可以把创建的对象soup看作是由代码组成的汤。想要提取“汤”中的内容还要借助勺子--“lxml”。import bs4
soup = bs4.beautifulSoup(response.text,"lxml")

5、获取内容

data保存获取到的内容，是一个列表。

参数name和属性可以根据需要选择使用一个或多个。

常用的属性有id、class_。

data = soup.find_all(name="属性名",属性="属性值")

6、获取标签文字
标签.text方法：获取标签中的文本信息。

格式： data = <标签名>文本信息</标签名> data.text

注意： response.text表示获取字符串格式的网页代码。

这里的data是一对标签，data.text获取标签内容

7、示例

代码：

# 爬取网页新闻

import requests, bs4, time
response = requests.get("https://icourse.xesimg.com/programme/static/py/pcdata/lw-web/新闻网站/index.html")
response.encoding = "UTF-8"
soup = bs4.BeautifulSoup(response.text, "lxml")
data1 = soup.find_all(name="div", attrs={'class': 'article'})

for n in data1:
    data2 = n.find_all(name="a")
    print("--------------------------------------")
    print("题目:"+data2[0].text)
    print("摘要:"+data2[1].text)
    print("主题:"+data2[2].text)

运行结果：

运行上述代码如出错：

bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?需安装下：pip install lxml