当前位置： 首页 > news >正文

python3 爬虫（初试牛刀）

news 来源：原创 2024/5/19 22:26:17

此文章仅供学习交流使用
在学习爬虫之前，把最近对于 VMware 的网络学习做个总结
VMware
接下来，步入正题！

分析 Robots 协议

  • 禁止所有爬虫访问任何目录的代码：
User-agent: *
Disallow:/
  • 允许所有爬虫访问任何目录的代码：
User-agent: *
Disallow:
  • 禁止所有爬虫访问网站某些目录的代码：
User-agent: *
Disallow: /private/
Disallow: /tmp/
  • 只允许某一个爬虫访问的代码：
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /

from urllib.robotparser import RobotFileParser

rp = RobotFileParser('http://www.jianshu.com/robots.txt')
rp.read()
// 利用 can_fetch() 方法判断了网页是否可以被抓取
print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
print(rp.can_fetch('*', 'https://www.jianshu.com/p/c678ce575f4c'))

result

抓取bilibili首页

import requests

def get_one_page(url):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
    }
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    return None

def main():
        url = 'https://www.bilibili.com'
        html = get_one_page(url)
        print(html)

main()

json

抓取猫眼电影排行

数据存储

  1. TXT 文本存储
    用 requests 将网页源代码获取下来，再使用 pyquery 解析库解析。
import requests
from pyquery import PyQuery as pq

url = 'https://www.zhihu.com/explore'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}
html = requests.get(url, headers=headers).text
doc = pq(html)
items = doc('.explore-tab .feed-item').items()
for item in items:
    question = item.find('h2').text()
    author = item.find('.author-link-line').text()
    answer = pq(item.find('.content').html()).text()
    file = open('explore.txt', 'a', encoding='utf-8')
    file.write('\n'.join([question, author, answer]))  # type: ignore
    file.write('\n' + '=' * 50 + '\n')
    file.close()
  1. JSON 文件存储
    想保存 JSON 的格式，可以将 JSON 对象转为字符串，然后再调用文件的 write() 方法写入文本。
import json 

data = [{
    'name': '张三',
    'gender': '女',
    'birthday': '1992-10-18'
}]

with open('data.json','w', encoding='utf-8') as file:
    file.write(json.dumps(data, indent=2, ensure_ascii=False))

可
3. CSV 文件存储

import csv

with open('data.csv', 'w') as csvfile:
    fieldnames = ['id', 'name', 'age']
    writer = csv.DictWriter(csvfile, delimiter=' ', fieldnames=fieldnames)
    writer.writeheader()
    writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
    writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
    writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

data

  • 读取数据
import pandas

df = pandas.read_csv('data.csv')
print(df)

datas

  1. 数据库的存储
  • MySQL 的存储
import pymysql

db = pymysql.connect(host="localhost", user="root", password="[数据库密码]", port=3306, db="spiders")
cursor = db.cursor()
// 创建表
sql='CREATE TABLE IF NOT EXISTS students (id VARCHAR(255) NOT NULL, name VARCHAR(255) NOT NULL, age INT NOT NULL, PRIMARY KEY (id))'
cursor.execute(sql)
db.close()
  • rollback() 执行数据回滚
try:
    id = '20120001'
    user = 'Bob'
    age = 20
    sql = 'INSERT INTO students(id, name, age) values(%s, %s, %s)'
    cursor.execute(sql, (id, user, age))
    db.commit()
except:
    db.rollback()
  • MongoDB 存储（略）
  • Redis 存储（略）

Ajax 数据爬取

  • 将前10页的微博全部爬取下来
from pyquery import PyQuery as pq
from urllib.parse import urlencode
import requests
base_url = "https://m.weibo.cn/api/container/getIndex?"

headers = {
    'Host': 'm.weibo.cn',
    'Referer': 'https://m.weibo.cn/u/2830678474',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    'X-Requested-With': 'XMLHttpRequest',
}
def get_page(page):
    params = {
        'type': 'uid',
        'value': '2830678474',
        'containerid': '1076032830678474',
        'page': page
    }
    url = base_url + urlencode(params)
    try:
        response = requests.get(url, headers=headers)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError as e:
        print('Error', e.args)

def parse_page(json):
    if json:
        items = json.get('data').get('cards')
        for item in items:
            item = item.get('mblog')
            weibo = {}
            weibo['id'] = item.get('id')
            weibo['text'] = pq(item.get('text')).text()
            weibo['attitudes'] = item.get('attitudes_count')
            weibo['comments'] = item.get('comments_count')
            weibo['reposts'] = item.get('reposts_count')
            yield weibo

if __name__ == '__main__':
    for page in range(1, 11):
        json = get_page(page)
        results = parse_page(json)
        for result in results:
            print(result)

results

  • 分析 Ajax 爬取今日头条街拍美图
from hashlib import md5
from multiprocessing.pool import Pool
from urllib.parse import urlencode
import os
import requests

def get_page(offset):
    params = {
        'offset': offset,
        'format': 'json',
        'keyword': '街拍',
        'autoload': 'true',
        'count': '20',
        'cur_tab': '1',
    }
    url = 'https://www.toutiao.com/search_content/?' + urlencode(params)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.json()
    except requests.ConnectionError:
        return None

def get_images(json):
    if json.get('data'):
        for item in json.get('data'):
            title = item.get('title')
            images = item.get('image_detail')
            for image in images:
                yield {
                    'image': image.get('url'),
                    'title': title
                }

def save_image(item):
    if not os.path.exists(item.get('title')):
        os.mkdir(item.get('title'))
    try:
        response = requests.get(item.get('image'))
        if response.status_code == 200:
            file_path = '{0}/{1}.{2}'.format(item.get('title'), md5(response.content).hexdigest(), 'jpg')
            if not os.path.exists(file_path):
                with open(file_path, 'wb') as f:
                    f.write(response.content)
            else:
                print('Already Downloaded', file_path)
    except requests.ConnectionError:
        print('Failed to Save Image')

def main(offset):
    json = get_page(offset)
    for item in get_images(json):
        print(item)
        save_image(item)

GROUP_START = 1
GROUP_END = 20

if __name__ == '__main__':
    pool = Pool()
    groups = ([x * 20 for x in range(GROUP_START, GROUP_END + 1)])
    pool.map(main, groups)
    pool.close()
    pool.join()

但未运行成功

OCR

tesserocr download

图形验证码的识别

import tesserocr
from PIL import Image

image = Image.open('Code.jpg')
result = tesserocr.image_to_text(image)
print(result)
  • 更简单的方法：
import tesserocr
print(tesserocr.file_to_text('Code.jpg'))

另外，还有转灰度，二值化等操作！

极验滑动验证码的识别

使用 Selenium 配置 ChromeDriver
示例代码

点触验证码的识别

示例代码

微博宫格验证码的识别

示例代码

代理的使用：

urllib 与 urllib3 对比

# from urllib.error import URLError
# from urllib.request import ProxyHandler, build_opener

# proxy = '127.0.0.1:9743'
# proxy_handler = ProxyHandler({
#     'http': 'http://' + proxy,
#     'https': 'https://' + proxy
# })
# opener = build_opener(proxy_handler)
# try:
#     response = opener.open('http://httpbin.org/get')
#     print(response.read().decode('utf-8'))
# except URLError as e:
#     print(e.reason)

import urllib3
proxy = urllib3.ProxyManager('http://127.0.0.1:11088', headers={'connection': 'keep-alive'})
resp = proxy.request('get', 'http://httpbin.org/ip')
print(resp.status)
print(resp.data)

代理的获取：

  • 代理池的维护
    实现一个比较高效的代理池，来获取随机可用的代理。
  • ADSL 拨号代理
    设置代理服务器：
    安装 TinyProxy

App 的爬取

  • Charles 的使用
  • mitmproxy 的使用
  • mitmdump 爬取“得到” App电子书信息
  • Appium 的基本使用
  • Appium 爬取微信朋友圈
  • Appium+mitmdump 爬取京东商品

pyspider 框架的使用

详情见官网

Scrapy 框架的使用

scrapy.Request的更多参数

scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
  • 参数解释
  1. 中括号里的参数为可选参数
  2. callback:表示当前的url的响应交给哪个函数去处理
  3. meta:实现数据在不同的解析函数中传递，meta默认带有部分数据，比如下载延迟，请求深度等
  4. dont_filter:默认为False，会过滤请求的uri地址，即请求过的url地址不会继续被请求，对需要重复请求的url地址可以把它设置为Ture，比如贴吧的翻页请求，页面的数据总是在变化;start_urls中的地址会被反复请求，否则程序不会启动
  5. method:指定POST或GET请求
  6. headers:接收一个字典，其中不包括cookies
  7. cookies:接收一个字典，专门放置cookies
  8. body: 接收ison字符串，为POST的数据，发送payload_post请求时使用

meta参数的使用
meta的作用: meta可以实现数据在不同的解析函数中的传递在爬虫文件的parse方法中，提取详情页增加之前callback指定的parse_detail函数:

def parse(self,response):
   ...
   yield scrapy.Request(detail_url, callback=self.parse detail,meta=("item":item))
...

def parse detail(self,response):
#获取之前传入的item
   item = resposne.meta["item"]

特别注意

  1. meta参数是一个字典
  2. meta字典中有一个固定的键 proxy ，表示代理ip

反爬虫：

  1. UA检测
  • UA伪装
  1. post请求 (携带了参数）
  • 响应数据是一组ison数据

文章持续更新中…

相关文章：

  • excel的frequency函数的用法和实例
  • 程序员这个身份，比你想象的还值钱！
  • Feng Office 3.7.0.5 - 文件上传
  • C#编程流程控制与集合类型
  • JADE: Adaptive Differential Evolution withOptional External Archive
  • Python学习基础笔记五——列表
  • 【深度学习】使用深度学习框架来简洁地实现线性回归模型
  • 超神之路 数据结构 3 —— Stack栈实现及应用
  • 面试官问：Spring 如何解决循环依赖？
  • 动力节点索引优化解决方案学习笔记——查询优化
  • 400Gbps 网络面临的挑战
  • 【 C++ 】特殊类设计
  • 【UML】活动图Activity Diagram、状态机图State Machine Diagram、顺序图Sequence Diagram
  • 微信小程序|从零动手实现俄罗斯方块
  • 让学前端不再害怕英语单词（一）
  • [deviceone开发]-do_Webview的基本示例
  • 《深入 React 技术栈》
  • 【402天】跃迁之路——程序员高效学习方法论探索系列（实验阶段159-2018.03.14）...
  • 【跃迁之路】【733天】程序员高效学习方法论探索系列（实验阶段490-2019.2.23）...
  • Create React App 使用
  • CSS 三角实现
  • git 常用命令
  • jQuery(一)
  • mockjs让前端开发独立于后端
  • python 学习笔记 - Queue Pipes，进程间通讯
  • Spring Security中异常上抛机制及对于转型处理的一些感悟
  • Theano - 导数
  • Vue UI框架库开发介绍
  • Vue--数据传输
  • Webpack 4 学习01（基础配置）
  • 阿里云应用高可用服务公测发布
  • 利用jquery编写加法运算验证码
  • 因为阿里，他们成了“杭漂”
  • Linux权限管理(week1_day5)--技术流ken
  • 数据库巡检项
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • #if #elif #endif
  • $jQuery 重写Alert样式方法
  • （12）Linux 常见的三种进程状态
  • (delphi11最新学习资料) Object Pascal 学习笔记---第2章第五节(日期和时间)
  • （编译到47%失败）to be deleted
  • (附源码）spring boot网络空间安全实验教学示范中心网站 毕业设计 111454
  • （附源码）ssm基于jsp高校选课系统 毕业设计 291627
  • （接口封装）
  • (区间dp) (经典例题) 石子合并
  • (原創) 未来三学期想要修的课 (日記)
  • ******之网络***——物理***
  • .bat批处理（十）：从路径字符串中截取盘符、文件名、后缀名等信息
  • .Mobi域名介绍
  • .NET CF命令行调试器MDbg入门（二） 设备模拟器
  • .net core 调用c dll_用C++生成一个简单的DLL文件VS2008
  • .NET Remoting Basic(10)-创建不同宿主的客户端与服务器端
  • .NET 自定义中间件 判断是否存在 AllowAnonymousAttribute 特性 来判断是否需要身份验证
  • .NET导入Excel数据
  • .ui文件相关