当前位置: 首页 > news >正文

python爬新闻并保存csv_Python爬虫如何实现自动翻页并将数据存入csv中?

求大神指导,本人刚接触到python爬虫,有一些问题,再此感激不尽!!!!

我想爬取一些英文新闻标题,然后把他们存在一个csv文件里面

我的代码如下

import csv, requests, re

from bs4 import BeautifulSoup

urls = ['https://www.defense.gov/News/Archive/?Page={}'.format(str(i)) for i in range(1,10)]

def get_titles(urls,data = None):

html = requests.get(urls).text

soup = BeautifulSoup(html, 'html.parser')

articles = []

for article in soup.find_all(class_='info'):

Label = 'Archive'

News = article.find(class_='title').get_text()

articles.append([Label,News])

with open(r'1.csv','a', newline='') as f:

writer = csv.writer(f)

writer.writerow(['Label','News'])

for row in articles:

writer.writerow(row)

for titles in urls:

get_titles(titles)

想这样来爬取1-9页的新闻标题,但是最后运行结果是这样

bV92XK?w=638&h=464

每增加一个新闻标题都会把之前的标题重复写入csv中。

求大神指导!!

相关文章:

  • python3官网下载教程_Python3 快速入门教程
  • python现在排第几_2019编程语言排行榜:铁打的Python连续3年第一,它居然跌出前十?...
  • 交换机调试工具_工业交换机在工厂中使用需要注意什么?
  • pyqt qtableview 添加下拉框控件_Qt制作桌面小控件-待办列表,从此事情再多也不会忘了
  • 2018 ideal 链接数据_2018 年度 GtiHub 开源项目 TOP 25:数据科学 机器学习
  • .describe() python_Python-Win32com-Excel
  • js 点击选择前和选择后的数据对比_「手把手教python3接口自动化」:结构化数据提取...
  • gpg: 找不到有效的 openpgp 数据。_最新免费电子书网站,就没有找不到的电子书,亲测有效,赶快收藏...
  • python中的点表示什么_Python中的点表示法。方法应该在对象之前还是之后?
  • python内容推荐算法_python 推荐算法
  • 新闻类app页面使用说明书_【好物推荐】备忘录类APP“知了清单”深度使用体验...
  • grep 与条件_【命令解析】Linux系统 grep命令用法详解
  • 左斜杠和右斜杠有什么区别_优先通行权中右方来车先行,右转弯让左转弯,为什么呢?...
  • matlab lu分解求线性方程组_计算方法(三)平方根法及其改进解线性方程组
  • python chdir_Python os.chdir()用法及代码示例
  • [译]Python中的类属性与实例属性的区别
  • [译]如何构建服务器端web组件,为何要构建?
  • 【知识碎片】第三方登录弹窗效果
  • js数组之filter
  • log4j2输出到kafka
  • php面试题 汇集2
  • 多线程事务回滚
  • 京东美团研发面经
  • 理解 C# 泛型接口中的协变与逆变(抗变)
  • 排序算法学习笔记
  • 入门级的git使用指北
  • 深入浅出Node.js
  • 原生Ajax
  • LevelDB 入门 —— 全面了解 LevelDB 的功能特性
  • ​Linux Ubuntu环境下使用docker构建spark运行环境(超级详细)
  • # Java NIO(一)FileChannel
  • #快捷键# 大学四年我常用的软件快捷键大全,教你成为电脑高手!!
  • (2022版)一套教程搞定k8s安装到实战 | RBAC
  • (分类)KNN算法- 参数调优
  • (附源码)spring boot北京冬奥会志愿者报名系统 毕业设计 150947
  • (附源码)ssm高校社团管理系统 毕业设计 234162
  • (求助)用傲游上csdn博客时标签栏和网址栏一直显示袁萌 的头像
  • (三)centos7案例实战—vmware虚拟机硬盘挂载与卸载
  • (四)linux文件内容查看
  • (转载)Google Chrome调试JS
  • (自适应手机端)响应式新闻博客知识类pbootcms网站模板 自媒体运营博客网站源码下载
  • .[backups@airmail.cc].faust勒索病毒的最新威胁:如何恢复您的数据?
  • .cn根服务器被攻击之后
  • .Family_物联网
  • .NET 8.0 中有哪些新的变化?
  • .NET Compact Framework 多线程环境下的UI异步刷新
  • .NET Core 成都线下面基会拉开序幕
  • .net framework profiles /.net framework 配置
  • .Net Memory Profiler的使用举例
  • .NET Micro Framework初体验
  • .NET 使用 ILRepack 合并多个程序集(替代 ILMerge),避免引入额外的依赖
  • .NET开发不可不知、不可不用的辅助类(三)(报表导出---终结版)
  • .net开发时的诡异问题,button的onclick事件无效
  • .net快速开发框架源码分享
  • .NET企业级应用架构设计系列之应用服务器