当前位置： 首页 > news >正文

Python爬虫:下载4K壁纸

news 来源：原创 2024/9/20 16:38:41

🎁🎁创作不易，关注作者不迷路🎀🎀

目录

🌸完整代码

🌸分析

 🎁基本思路

🎁需要的库

🎁提取图片的链接和标题

👓寻找Cookie和User-Agent

👓图片链接和标题

🎁下载保存图片

🎁获取目录页面图片和翻页提取

👓目录页图片的提取

👓翻页规律寻找

🌸运行效果

 🌸文末彩蛋🎀

我们经常想要寻找一些高清的壁纸，图片作为素材（为CSDN博客找一张吸引读者的封面🤣），然而一张一张的下载太慢了，因此为了提高工作效率， 我们可以采用爬虫的方式，快速下载图片。

🌸完整代码

import os#导入操作系统的库
import requests  #导入HTTP库
from lxml import etree#导入lxml库，数据解析global num
num=1
#请求头,伪装爬虫
header={
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0',
'cookie':
'zkhanecookieclassrecord=%2C66%2C70%2C'}#获取具体的图片的地址和名字信息
# url='https://pic.netbian.com/tupian/34694.html'
def get_pic(url,header):re=requests.get(url,headers=header)re.encoding=re.apparent_encoding#获取html文本时用网页原有的编码方式，防止乱码#print(re.apparent_encoding) #返回的编码html=etree.HTML(re.text)link=html.xpath('//div[@class="photo-pic"]/a/img/@src')[0]#获取图片链接link='https://pic.netbian.com'+linkprint(link)title=html.xpath('//div[@class="photo-pic"]/a/img/@title')[0]#获取图片名称print(title)return title,link#下载保存图片
def download_pic(url,header):global numtitle,link=get_pic(url,header)if not os.path.exists(r"C:\Users\liu\Desktop\图片\4K壁纸"):#未找到文件夹则创建文件夹os.mkdir(r"C:\Users\liu\Desktop\图片\4K壁纸")content=requests.get(link,headers=header).contentwith open(rf"C:\Users\liu\Desktop\图片\4K壁纸\{str(num)}.jpg",'wb') as f:#以二进制编码写入文件f.write(content)num += 1#目录翻页提取链接
def get_content_link(url,header):# url='https://pic.netbian.com/pingban/index.html're=requests.get(url,headers=header)re.encoding=re.apparent_encoding# print(re.text)html=etree.HTML(re.text)links=html.xpath('//div[@class="slist"]//a/@href')for x in links:x='https://pic.netbian.com'+xdownload_pic(x,header)#循环遍历网页，处理信息
for i in range(1,24):if i==1:url='https://pic.netbian.com/pingban/index.html'else :url=f'https://pic.netbian.com/pingban/index_{i}.html'get_content_link(url,header)

🌸分析

 🎁基本思路

  •  找到图片页网页源代码
  • 提取所有图片的链接和标题
  • 下载保存图片
  • 爬取目录页的网页源代码
  • 下载目录页的图片
  • 分析不同页面的地址变化，找出规律实现翻页下载

🎁需要的库

import os
import requests
from lxml import etree

requests和lxml库是第三方库，需要自己安装

🎁提取图片的链接和标题

👓寻找Cookie和User-Agent

首先打开页面，打开开发者工具，按Ctrl+R刷新页面，点击开发者工具的“网络”选项，点击第一份文件，查看请求地址，Cookie和User-Agent

 将Cookie和User-Agent作为请求头

header={
'user-agent':
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0',
'cookie':
'zkhanecookieclassrecord=%2C66%2C70%2C'}
👓图片链接和标题

这里需要用到lxml库以及xpath的知识，看图说话，链接和地址存在<div class="photo-pic">下的a元素中img元素中的src属性和title属性

图片链接

link=html.xpath('//div[@class="photo-pic"]/a/img/@src')[0]#获取图片链接

图片标题

title=html.xpath('//div[@class="photo-pic"]/a/img/@title')[0]#获取图片名称

写成函数方便调用

#获取具体的图片的地址和名字信息
# url='https://pic.netbian.com/tupian/34694.html'
def get_pic(url,header):re=requests.get(url,headers=header)re.encoding=re.apparent_encoding#获取html文本时用网页原有的编码方式，防止乱码#print(re.apparent_encoding) #返回的编码html=etree.HTML(re.text)link=html.xpath('//div[@class="photo-pic"]/a/img/@src')[0]#获取图片链接link='https://pic.netbian.com'+linkprint(link)title=html.xpath('//div[@class="photo-pic"]/a/img/@title')[0]#获取图片名称print(title)return title,link

🎁下载保存图片

存储到一个新的文件夹“4K壁纸”，如果文件夹不存在，需要创建，这里要用到os库

#未找到文件夹则创建文件夹
if not os.path.exists(r"C:\Users\liu\Desktop\图片\4K壁纸"):        os.mkdir(r"C:\Users\liu\Desktop\图片\4K壁纸")

写入文件

content=requests.get(link,headers=header).content
with open(rf"C:\Users\liu\Desktop\图片\4K壁纸\{str(num)}.jpg",'wb') as f:#以二进制编码写入文件f.write(content)

写成函数方便调用

#下载保存图片
def download_pic(url,header):global numtitle,link=get_pic(url,header)if not os.path.exists(r"C:\Users\liu\Desktop\图片\4K壁纸"):#未找到文件夹则创建文件夹os.mkdir(r"C:\Users\liu\Desktop\图片\4K壁纸")content=requests.get(link,headers=header).contentwith open(rf"C:\Users\liu\Desktop\图片\4K壁纸\{str(num)}.jpg",'wb') as f:#以二进制编码写入文件f.write(content)num += 1

🎁获取目录页面图片和翻页提取

上面我们实现一张图片的保存，写了十几行代码算是成功保存了🤣🤣🤣，一张图片干嘛这么麻烦捏😂，直接点击“图片另存为”不就行了吗，那如果是很多图片吗，那肯定是爬虫更快了呗

👓目录页图片的提取

依然用到lxml库，利用xpath语法提取

#目录翻页提取链接
def get_content_link(url,header):# url='https://pic.netbian.com/pingban/index.html're=requests.get(url,headers=header)re.encoding=re.apparent_encoding# print(re.text)html=etree.HTML(re.text)links=html.xpath('//div[@class="slist"]//a/@href')for x in links:x='https://pic.netbian.com'+xdownload_pic(x,header)
👓翻页规律寻找

📕找到第一页目录页

https://pic.netbian.com/pingban/index.html

📕找到第二页目录页

https://pic.netbian.com/pingban/index_2.html

📕找到第三页目录页

https://pic.netbian.com/pingban/index_3.html

发现规律:第一页单独列出来，其他页通过for循环改变index_{i}即可

#循环遍历网页，处理信息
for i in range(1,24):if i==1:url='https://pic.netbian.com/pingban/index.html'else :url=f'https://pic.netbian.com/pingban/index_{i}.html'get_content_link(url,header)

通过for循环遍历，最终可以实现所有图片的下载

🌸运行效果

成功下载4K壁纸，耗时两分半🐔，下载400多张图片，爬虫提取就是快，手动提取预估一坤时左右🐔

 

 🌸文末彩蛋🎀

 

 

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 六、go函数
  • 我与数据库的七年之痒：从初识到没它不行
  • Hive SQL ——窗口函数源码阅读
  • C++第一讲：开篇
  • LVS（Linux Virtual Server）负载均衡详解
  • PC端与移动端皆可用的在线3D模型评审预览工具，随时随地掌握细节
  • haproxy是什么？以及haproxy基础实验
  • Shiro-721 分析
  • 利用数据库编码特性绕过
  • vue 打包时候的分包
  • 告别手写CRUD通过Springboot+mybatis-plug 实现任意表Crud从Controller开始不需要手写一行代码
  • sql注入实战——thinkPHP
  • Unity入门3——脚本入门
  • 基于SpringBoot+Vue社团管理系统的设计与实现
  • cisp-pte考试复盘
  • 深入了解以太坊
  • CSS盒模型深入
  • express.js的介绍及使用
  • gulp 教程
  • JavaScript工作原理（五）：深入了解WebSockets，HTTP/2和SSE，以及如何选择
  • Laravel核心解读--Facades
  • Netty+SpringBoot+FastDFS+Html5实现聊天App(六)
  • Node项目之评分系统（二）- 数据库设计
  • Vue2.x学习三：事件处理生命周期钩子
  • yii2中session跨域名的问题
  • 翻译 | 老司机带你秒懂内存管理 - 第一部（共三部）
  • 使用API自动生成工具优化前端工作流
  • 译米田引理
  • 掌握面试——弹出框的实现（一道题中包含布局/js设计模式）
  • LevelDB 入门 —— 全面了解 LevelDB 的功能特性
  • ​iOS实时查看App运行日志
  • ‌U盘闪一下就没了？‌如何有效恢复数据
  • #13 yum、编译安装与sed命令的使用
  • #includecmath
  • $.ajax()方法详解
  • （2）空速传感器
  • （20）目标检测算法之YOLOv5计算预选框、详解anchor计算
  • (delphi11最新学习资料) Object Pascal 学习笔记---第13章第1节 （全局数据、栈和堆）
  • （笔试题）合法字符串
  • （二）学习JVM —— 垃圾回收机制
  • （二）延时任务篇——通过redis的key监听，实现延迟任务实战
  • （附源码）springboot电竞专题网站 毕业设计 641314
  • （附源码）ssm码农论坛 毕业设计 231126
  • （机器学习的矩阵）（向量、矩阵与多元线性回归）
  • (使用vite搭建vue3项目（vite + vue3 + vue router + pinia + element plus）)
  • （算法）Travel Information Center
  • .mysql secret在哪_MYSQL基本操作（上）
  • .NET Core 发展历程和版本迭代
  • .NET Core 和 .NET Framework 中的 MEF2
  • .Net 知识杂记
  • .NET/C# 利用 Walterlv.WeakEvents 高性能地定义和使用弱事件
  • .net2005怎么读string形的xml，不是xml文件。
  • .Net各种迷惑命名解释
  • /proc/stat文件详解（翻译）
  • @ConditionalOnProperty注解使用说明