当前位置: 首页 > news >正文

时隔五年,Scrapyd 终于原生支持 basic auth

Issue in 2014

scrapy/scrapyd/issues/43

Pull request in 2019

scrapy/scrapyd/pull/326

试用

  1. 安装:pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth
  2. 更新配置文件 scrapyd.conf,其余配置项详见官方文档
[scrapyd]
username = yourusername
password = yourpassword
复制代码
  1. 启动:scrapyd
In [1]: import requests

In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401

In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401

In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200
复制代码
  1. 由于 Scrapyd 的 GitHub 最新提交已经重构了 Jobs 页面,如果正在使用 ScrapydWeb 管理 Scrapyd,则需同步更新 ScrapydWeb:

pip install -U git+https://github.com/my8100/scrapydweb.git

GitHub

my8100/scrapyd

相关文章:

  • (编译到47%失败)to be deleted
  • (一)插入排序
  • 阿里一道Java并发面试题 (详细分析篇)
  • 内核对象句柄
  • 函数-函数文档
  • Zookeeper的介绍与基本部署
  • 前端开发学习Day29
  • 分布式配置中心disconf第二部(基于注解的实现)
  • nacos客户端篇
  • Java虚拟机,类文件结构深度解析
  • SpringCloud微服务治理三(Zuul网关)
  • JQuery实现表单验证
  • 钉钉与wcp集成通知【原创】
  • Html5新的选择器
  • 说说Charles
  • 4. 路由到控制器 - Laravel从零开始教程
  • ES6核心特性
  • Git 使用集
  • Git的一些常用操作
  • Java 9 被无情抛弃,Java 8 直接升级到 Java 10!!
  • JS正则表达式精简教程(JavaScript RegExp 对象)
  • Mysql5.6主从复制
  • passportjs 源码分析
  • Redux 中间件分析
  • Spring Cloud Feign的两种使用姿势
  • 从0实现一个tiny react(三)生命周期
  • 大型网站性能监测、分析与优化常见问题QA
  • 区块链将重新定义世界
  • 如何使用Mybatis第三方插件--PageHelper实现分页操作
  • 我建了一个叫Hello World的项目
  • 用Canvas画一棵二叉树
  • 用jQuery怎么做到前后端分离
  • 用Visual Studio开发以太坊智能合约
  • 云栖大讲堂Java基础入门(三)- 阿里巴巴Java开发手册介绍
  • MPAndroidChart 教程:Y轴 YAxis
  • ​2021半年盘点,不想你错过的重磅新书
  • ​io --- 处理流的核心工具​
  • #gStore-weekly | gStore最新版本1.0之三角形计数函数的使用
  • (14)目标检测_SSD训练代码基于pytorch搭建代码
  • (3)选择元素——(17)练习(Exercises)
  • (java)关于Thread的挂起和恢复
  • (webRTC、RecordRTC):navigator.mediaDevices undefined
  • (附源码)springboot建达集团公司平台 毕业设计 141538
  • (附源码)springboot社区居家养老互助服务管理平台 毕业设计 062027
  • (附源码)ssm经济信息门户网站 毕业设计 141634
  • (附源码)计算机毕业设计ssm基于B_S的汽车售后服务管理系统
  • (剑指Offer)面试题41:和为s的连续正数序列
  • (六)软件测试分工
  • (完整代码)R语言中利用SVM-RFE机器学习算法筛选关键因子
  • .helper勒索病毒的最新威胁:如何恢复您的数据?
  • .L0CK3D来袭:如何保护您的数据免受致命攻击
  • .net MySql
  • .net 提取注释生成API文档 帮助文档
  • .net 无限分类
  • .NET 依赖注入和配置系统