当前位置: 首页 > news >正文

python网络爬虫(二)——数据的清洗与组织

  学会了网络爬虫发送请求后,我们可以获得一段目标的HTML代码,但是还没有把数据提取出来,接下来需要进行数据的清洗与组织。

for item in data:result={'title':item.get_test(),'link':item.get('href')}print(result)

  首先明确要提取的数据是标题和链接,标题在a标签中,提取标签的正文用get_text()方法;链接在a标签的href属性中,提取标签中的href属性用get()方法,在括号中指定要提取的属性数据,即get(‘href’)
  需要使用的正则符合如下:

\d:匹配数字
+:匹配前一个字符1次或多次

  在Python中调用正则表达式时使用re库,这个库不用安装,可以直接调用。可以用如下代码:

import requests
import re
from bs4 import BeautifulSoupurl = 'https://www.bilibili.com/video/BV1TC4y1N7dB/?spm_id_from=333.1007.0.0&vd_source=912d1bec97cad7dac820d2ba865f116a'
strhtml = requests.get(url)
#print(strhtml.text)soup = BeautifulSoup(strhtml.text,'lxml')
data = soup.select('#main >div >div.mtop.firstMod.clearfix>div.centerBox>ul.newsList>li>a')
print(data)for item in data:result={'title':item.get_test(),'link':item.get('href')'ID:'re.findall('\d+',item.get('href'))}print(result)

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 浅谈JAVA中的SPI机制
  • 制作 Docker 镜像
  • 有关树形结构数据的功能函数
  • Uniapp 调用aar、jar包
  • 什么是Jmeter ?Jmeter使用的原理步骤是什么?
  • Cobalt Strike 4.8 用户指南-第五节-获取初始访问
  • [数据集][目标检测]玻璃瓶塑料瓶检测数据集VOC+YOLO格式8943张2类别
  • 猫咪浮毛清理措施?希喂、安德迈、有哈宠物空气净化器数据大揭秘
  • html+css+js网页设计 翘珠宝微商城移动端20个页面
  • 正则表达式实现带有条件的爬取
  • .net dataexcel winform控件 更新 日志
  • Linux - 深入探讨 Linux `ls` 命令:一个全面的技术指南
  • 【前端面试】采用react前后,浏览器-解析渲染UI的变化
  • cnocr 安装
  • OpenHarmony使用ArkUI Inspector分析布局
  • 【译】理解JavaScript:new 关键字
  • Babel配置的不完全指南
  • E-HPC支持多队列管理和自动伸缩
  • ESLint简单操作
  • EventListener原理
  • GraphQL学习过程应该是这样的
  • Java多态
  • Java方法详解
  • RedisSerializer之JdkSerializationRedisSerializer分析
  • SegmentFault 技术周刊 Vol.27 - Git 学习宝典:程序员走江湖必备
  • sessionStorage和localStorage
  • 阿里云前端周刊 - 第 26 期
  • 多线程事务回滚
  • 离散点最小(凸)包围边界查找
  • 如何利用MongoDB打造TOP榜小程序
  • 王永庆:技术创新改变教育未来
  • 微信公众号开发小记——5.python微信红包
  • Java总结 - String - 这篇请使劲喷我
  • 不要一棍子打翻所有黑盒模型,其实可以让它们发挥作用 ...
  • ​【已解决】npm install​卡主不动的情况
  • #C++ 智能指针 std::unique_ptr 、std::shared_ptr 和 std::weak_ptr
  • #pragma 指令
  • #数据结构 笔记三
  • #微信小程序:微信小程序常见的配置传旨
  • (06)金属布线——为半导体注入生命的连接
  • (4)logging(日志模块)
  • (C)一些题4
  • (Java数据结构)ArrayList
  • (rabbitmq的高级特性)消息可靠性
  • (仿QQ聊天消息列表加载)wp7 listbox 列表项逐一加载的一种实现方式,以及加入渐显动画...
  • (附源码)ssm教材管理系统 毕业设计 011229
  • (九)信息融合方式简介
  • (四)docker:为mysql和java jar运行环境创建同一网络,容器互联
  • (四)TensorRT | 基于 GPU 端的 Python 推理
  • (一)Spring Cloud 直击微服务作用、架构应用、hystrix降级
  • (转)es进行聚合操作时提示Fielddata is disabled on text fields by default
  • (转)shell中括号的特殊用法 linux if多条件判断
  • (转)人的集合论——移山之道
  • ... fatal error LINK1120:1个无法解析的外部命令 的解决办法
  • .dwp和.webpart的区别