当前位置: 首页 > news >正文

SeimiCrawler 2.0版本变动介绍

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

  • 完美支持SpringBoot,可以尽情的集成SpringBoot现有生态,demo参考

  • 回调函数支持方法引用,设置起来更自然

    push(Request.build(s.toString(),Basic::getTitle));
  • 非SpringBoot模式全局配置项通过SeimiConfig进行配置,包括 Redis集群信息,SeimiAgent信息等,SpringBoot模式则通过SpringBoot标准模式配置

常规模式:

SeimiConfig config = new SeimiConfig();
config.setSeimiAgentHost("127.0.0.1");
//config.redisSingleServer().setAddress("redis://127.0.0.1:6379");
Seimi s = new Seimi(config);
s.goRun("basic");

SpringBoot模式,在application.properties中配置

seimi.crawler.enabled=true
# 指定要发起start请求的crawler的name
seimi.crawler.names=basic,test

seimi.crawler.seimi-agent-host=xx
seimi.crawler.seimi-agent-port=xx

#开启分布式队列
seimi.crawler.enable-redisson-queue=true
#自定义bloomFilter预期插入次数,不设置用默认值 ()
#seimi.crawler.bloom-filter-expected-insertions=
#自定义bloomFilter预期的错误率,0.001为1000个允许有一个判断错误的。不设置用默认值(0.001)
#seimi.crawler.bloom-filter-false-probability=
  • 分布式队列改用Redisson实现,底层依旧为redis,去重引入BloomFilter以提高空间利用率,一个线上的BloomFilter调参模拟器地址

  • JDK要求 1.8+

转载于:https://my.oschina.net/u/589889/blog/1834882

相关文章:

  • DNS服务的配置与管理(5) 配置转发器
  • 基于注解实现SpringBoot多数据源配置
  • shell if 参数
  • 换个角度看问题
  • Lr(3)-脚本调试之“参数化、检查点”
  • 添加删除mysql用户
  • dp学习笔记1
  • AT&T以11亿美元的价格将数据中心出售给Brookfield
  • mysql开启常规日志
  • js里的数据转换
  • sql删除重复数据只保留一条
  • 构建可观测的分布式系统
  • centos 普通用户获得sudo超级权限
  • 比特币独角兽圈在5月份新机构客户中录得30%的
  • sql server数据库导入导出bcp方法
  • 【Under-the-hood-ReactJS-Part0】React源码解读
  • Brief introduction of how to 'Call, Apply and Bind'
  • CEF与代理
  • Go 语言编译器的 //go: 详解
  • javascript 总结(常用工具类的封装)
  • Koa2 之文件上传下载
  • node入门
  • php面试题 汇集2
  • Python学习之路16-使用API
  • Redis提升并发能力 | 从0开始构建SpringCloud微服务(2)
  • Sublime text 3 3103 注册码
  • Theano - 导数
  • Tornado学习笔记(1)
  • 初识 webpack
  • 高度不固定时垂直居中
  • 基于Dubbo+ZooKeeper的分布式服务的实现
  • 开源地图数据可视化库——mapnik
  • 类orAPI - 收藏集 - 掘金
  • 力扣(LeetCode)357
  • raise 与 raise ... from 的区别
  • 通过调用文摘列表API获取文摘
  • 新年再起“裁员潮”,“钢铁侠”马斯克要一举裁掉SpaceX 600余名员工 ...
  • # 手柄编程_北通阿修罗3动手评:一款兼具功能、操控性的电竞手柄
  • #鸿蒙生态创新中心#揭幕仪式在深圳湾科技生态园举行
  • (1)安装hadoop之虚拟机准备(配置IP与主机名)
  • (react踩过的坑)Antd Select(设置了labelInValue)在FormItem中initialValue的问题
  • (附源码)springboot宠物医疗服务网站 毕业设计688413
  • (附源码)ssm码农论坛 毕业设计 231126
  • (简单) HDU 2612 Find a way,BFS。
  • (十)T检验-第一部分
  • (四)Tiki-taka算法(TTA)求解无人机三维路径规划研究(MATLAB)
  • (一)SpringBoot3---尚硅谷总结
  • (一)基于IDEA的JAVA基础10
  • (一一四)第九章编程练习
  • (轉貼)《OOD启思录》:61条面向对象设计的经验原则 (OO)
  • .NET : 在VS2008中计算代码度量值
  • .net core 3.0 linux,.NET Core 3.0 的新增功能
  • .NET Core WebAPI中使用swagger版本控制,添加注释
  • .NET的数据绑定
  • @Autowired和@Resource的区别