当前位置： 首页 > news >正文

scrapy框架

news 来源：原创 2024/6/24 20:11:40

scrapy文档

        文档链接

         安装指南 — Scrapy 2.5.0 文档 (osgeo.cn)icon-default.png?t=N7T8https://www.osgeo.cn/scrapy/intro/install.html

创建scrapy框架

        0.介绍：

                scrapy是异步非阻塞框架

                异步：一个主线程有20个任务，可以来回切换

                非阻塞：运行的程序不需要等待调用结果

        1.创建命令

命令：scrapy startproject 项目名称

例子：scrapy startproject mySpider

目录结构：

        2.创建爬虫脚本

        命令：scrapy genspider 爬虫名 允许爬取的域名

        例子：scrapy genspider baidu baidu.com

        3.运行项目 

在红框的目录下运行启动命令

命令：scrapy crawl 爬虫名称

相关文章：

  • iOS 17.2:可以修改消息提示音了
  • 【RabbitMQ】RabbitMQ快速入门 通俗易懂 初学者入门
  • API接口防刷-IP限制
  • 对某登录站点的JS前端逆向思路
  • 删除文件夹或文件时提示文件不存在
  • Nacos 注册中心下载到搭建详细步骤【微服务】
  • 51单片机蜂鸣器发出悦耳的声音
  • Doris 数据导入二：Stream Load 方式
  • ⭐ Unity 开发bug —— 打包后shader失效或者bug (我这里用Shader做两张图片的合并发现了问题)
  • php获取过去一段的时间范围
  • repo常用命令解析（持续更新）
  • 公网穿透和RTC
  • 【HuggingFace Transformer库学习笔记】基础组件学习：Tokenizer
  • 【Excel】WPS快速按某列查重数据
  • 安装vscode插件与安装vue项目
  • 【EOS】Cleos基础
  • httpie使用详解
  • Java IO学习笔记一
  • Javascripit类型转换比较那点事儿，双等号（==）
  • JS实现简单的MVC模式开发小游戏
  • PHP 7 修改了什么呢 -- 2
  • use Google search engine
  • Vue--数据传输
  • 翻译 | 老司机带你秒懂内存管理 - 第一部（共三部）
  • 关于Android中设置闹钟的相对比较完善的解决方案
  • 官方解决所有 npm 全局安装权限问题
  • 人脸识别最新开发经验demo
  • 提醒我喝水chrome插件开发指南
  • 找一份好的前端工作，起点很重要
  • 你对linux中grep命令知道多少？
  • Java数据解析之JSON
  • ​一帧图像的Android之旅 :应用的首个绘制请求
  • ### Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLTr
  • #define、const、typedef的差别
  • #NOIP 2014# day.2 T2 寻找道路
  • (1/2) 为了理解 UWP 的启动流程，我从零开始创建了一个 UWP 程序
  • （二）PySpark3：SparkSQL编程
  • （附源码）ssm基于jsp的在线点餐系统 毕业设计 111016
  • .net Application的目录
  • .NET Compact Framework 多线程环境下的UI异步刷新
  • .NET CORE使用Redis分布式锁续命(续期)问题
  • .Net程序猿乐Android发展---(10)框架布局FrameLayout
  • .NET构架之我见
  • .NET中使用Protobuffer 实现序列化和反序列化
  • .net最好用的JSON类Newtonsoft.Json获取多级数据SelectToken
  • [ vulhub漏洞复现篇 ] Apache Flink目录遍历(CVE-2020-17519)
  • [ 网络通信基础 ]——网络的传输介质(双绞线,光纤,标准,线序)
  • [2019.2.28]BZOJ4033 [HAOI2015]树上染色
  • [20190401]关于semtimedop函数调用.txt
  • [Android]Tool-Systrace
  • [C/C++]数据结构----顺序表的实现(增删查改)
  • [Docker]五.Docker中Dockerfile详解
  • [Golang]K-V存储引擎的学习 从零实现 （RoseDB mini版本）
  • [IE技巧] 如何让IE 启动的时候不加载任何插件
  • [javaSE] 数据结构（二叉查找树-插入节点）