当前位置: 首页 > news >正文

实时机票/火车票抓取系统整体架构

实时机票/火车票抓取系统是一个带有业余性质的系统,主要是作为技术的训练场。比如说ActiveMq,RMI,WebService,即使最原始的Socket也在这里一展拳脚。

大概可以分为几个模块:

  1. 对外服务模块:WebService(Axis2),RMI的方式,原始Socket流方式(主要学习用),HTTP JSON方式。
  2. 日志监控:提供对抓取的监控,监控抓取网站的规则变化,如果出现抓取错误等提供Email报警。
  3. 流量/性能监控:经过改造后的系统粒度非常细,运用了责任链的方式来把整个流程串起来,这样可以实现比较细粒度的流量和性能监控,可以知道每个流程节点(Handler)的流量情况和性能情况,5分钟把数据刷到DB。最后以报表图的方式展现出来。实现限流/监控功能。
  4. 抓取工具:顾名思议,作为业务最核心的部分,实现对网站规则的解析。

各模块讲完,上一张整体的架构图:

相关文章:

  • 我是伪程序员
  • asp.net实验一:hello world!
  • asp.net实验二:连接sql server 2008数据库
  • ASP.NET实验三:读取web.config连接数据库
  • 谷歌面试题(持续更新)
  • web前端实验一:利用Js捕获鼠标事件实现图片切换
  • web前端实验二:利用JS保护网页源代码
  • 五年专业编程的14个经验
  • 大数四则运算
  • JDBC学习之-Connection(一)
  • Linux实验二:Linux 内核模块测试
  • 套接字选项(getsockopt()与setsockopt())
  • Vim高级进阶之ex命令集
  • 线程中CreateEvevt、SetEvent与WaitForSingleObject的用法
  • ioctlsocket()详解
  • [NodeJS] 关于Buffer
  • “寒冬”下的金三银四跳槽季来了,帮你客观分析一下局面
  • 【399天】跃迁之路——程序员高效学习方法论探索系列(实验阶段156-2018.03.11)...
  • Consul Config 使用Git做版本控制的实现
  • create-react-app做的留言板
  • iOS 系统授权开发
  • JavaScript服务器推送技术之 WebSocket
  • Webpack 4 学习01(基础配置)
  • 阿里云爬虫风险管理产品商业化,为云端流量保驾护航
  • 构建二叉树进行数值数组的去重及优化
  • 基于组件的设计工作流与界面抽象
  • 聊聊spring cloud的LoadBalancerAutoConfiguration
  • 深度学习中的信息论知识详解
  • 使用权重正则化较少模型过拟合
  • 文本多行溢出显示...之最后一行不到行尾的解决
  • 一份游戏开发学习路线
  • 资深实践篇 | 基于Kubernetes 1.61的Kubernetes Scheduler 调度详解 ...
  • ​​​​​​​​​​​​​​Γ函数
  • ​LeetCode解法汇总2808. 使循环数组所有元素相等的最少秒数
  • # Python csv、xlsx、json、二进制(MP3) 文件读写基本使用
  • #define,static,const,三种常量的区别
  • #快捷键# 大学四年我常用的软件快捷键大全,教你成为电脑高手!!
  • (12)Linux 常见的三种进程状态
  • (26)4.7 字符函数和字符串函数
  • (C语言)fread与fwrite详解
  • (DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕
  • (done) NLP “bag-of-words“ 方法 (带有二元分类和多元分类两个例子)词袋模型、BoW
  • (Redis使用系列) Springboot 在redis中使用BloomFilter布隆过滤器机制 六
  • (翻译)terry crowley: 写给程序员
  • (七)理解angular中的module和injector,即依赖注入
  • (学习日记)2024.03.25:UCOSIII第二十二节:系统启动流程详解
  • ******IT公司面试题汇总+优秀技术博客汇总
  • **python多态
  • .desktop 桌面快捷_Linux桌面环境那么多,这几款优秀的任你选
  • .gitignore
  • .MSSQLSERVER 导入导出 命令集--堪称经典,值得借鉴!
  • .net FrameWork简介,数组,枚举
  • .net mvc部分视图
  • .net(C#)中String.Format如何使用
  • .net6 webapi log4net完整配置使用流程