当前位置: 首页 > news >正文

中小型研发团队架构实践九:任务调度Job

一、Job 简介

     Job 类似于数据库中的作业,多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

     我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob,其中,WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现,HttpJob 的服务端是自主开发实现的,可以直接定时调用你的计划任务,如微服务。下面分别予以介绍。

二、WinJob

     WinJob 使用 Quartz.NET+ZooKeeper 来实现,Quartz.NET 实现调度,ZooKeeper 使用 MasterElection 来实现高可用,解决单点问题

     Quartz.NET 是一个全功能的开源任务调度框架,通过简单的配置就可以实现强大的任务调度功能,使得开发人员不用过多关注任务的调度,只用关注项目的业务逻辑。使用任务调度框架的价值:

  1. 提高开发效率:开发人员只需要编写业务代码,而具体的任务调度只需要通过配置就可以实现。
  2. 提高软件的可靠性:同一应用多个任务之间可以很好的隔离起来,互不影响。
  3. 降低开发人员成本和开发复杂度:开发人员不需要对线程、Timer 很了解,就能实现一个强大的执行计划应用。
  4. 容易迁移:只需实现 Quartz.IJob 接口即可,调用一次业务逻辑的入口即可。
  5. 容易扩展:新业务只需增加配置即可。

     基于 Quartz.NET 实现 Job 调度的方法:

     在后端服务声明实例化一个调度器,在启动服务的时候启动调度器,相应的代码如下所示:

 1 /// <summary>         
 2 /// 当前调度服务的调度器         
 3 /// </summary>         
 4 public IScheduler CurrentSched 
 5 { 
 6    get; private set; 
 7 }
 8 public JobService()         
 9 {    
10    InitializeComponent();  
11 
12    StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();                
13    CurrentSched = schedulerFactory.GetScheduler();       
14 }        
15 protected override void OnStart(string[] args)        
16 {    
17    CurrentSched.Start();                 
18    logger.Info("调度服务成功启动!");         
19 }

     创建相应的任务和触发器,之后把任务和关联的触发器加入之前声明的调度器 CurrentSched,相应的代码如下所示:

 1 /// <summary>         
 2 /// 演示一个任务多触发器的使用        
 3 /// </summary>         
 4 private static void JobWithManyTriggerDemo()         
{
5 IJobDetail simpleJob = JobBuilder.Create<SimpleJob>().WithIdentity("任务名称", "任务组名").Build(); // 创建一个 simpleJob 任务 6 ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 3", "触发器组名").StartNow() 7 .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build(); // 创建一个简单触发器,每隔 5 秒执行一次 8 9 CurrentSched.ScheduleJob(simpleJob, simpleTrigger); // 把 simpleJob 任务、简单触发器加入调度器 10 11 ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity("触发器名称 4", "触发器组名").StartNow() 12 .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build(); // 创建一个为任务“simpleJob”服务的 Cron 触发器,每隔 10 秒执行一次 13 14 CurrentSched.ScheduleJob(cronTrigger); // 把 Cron 触发器加入调度器 15 }

     在业务逻辑层继承 IJob 接口,并实现 Execute 方法,在该方法内实现需要调度的业务逻辑,相应的代码如下所示:

 1 /// <summary>     
 2 /// 简单任务     
 3 /// </summary>     
 4 public class SimpleJob : IJob     
 5 {             
 6     ILog logger = LogManager.GetLogger(typeof(SimpleJob));    
 7     public void Execute(IJobExecutionContext context)                 
 8     {       
 9         Console.WriteLine("简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));       
10         logger.Info("简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));                    
11         // 业务逻辑处理                    
12         Thread.Sleep(2000);             
13      }     
14 }

三、HttpJob

     通过自主开发的 JobServer,结合自主开发的 Job 集中式管理平台,可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可,无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

     JobServer 实现的主要逻辑:

  1. 借助 Quartz,可实现多个线程(如 10 个线程)同时调用多个 HttpJob;
  2. 实现了 Get、Post、Head 三种方式的请求;
  3. 借助 ZooKeeper的 MasterElection 来实现高可用,实现自动主备切换;
  4. 记录日志,方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

     在集中式 Job 管理平台中,配置相应的 Job 信息。配置完 Job 信息后,JobServer 获取到这些 Job 信息后,就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

     其中请求地址就是 JobServer 实际定时调用的任务的 http 地址,例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

    

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势

  1. 高可用:借助网站集群巧妙地解决 Job 服务的单点问题。
  2. 方便发布:不用重启 Job 服务。
  3. 减少依赖,易学易用,不用关注线程、Windows 服务方面的知识。
  4. 数据分片,可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束

  1. 由于请求 HttpJob 的最长响应时间是 30 秒,所以 Job 运行时间一旦超过 30 秒,则建议为 Job 先创建异步线程,立即返回。
  2. Job 调度的频率最少间隔时间是 1 分钟,因为通过 HttpJob 通知并不是件高效的事情。
  3. 为了安全应建立专业的 Job 集群,一般两台即可,外部不可访问,SLB(Server Load Balancing:服务器负载均衡) 采用简单轮询方案。
  4. 新增及修改 Job 配置,10 分钟生效。

四、Cron 表达式

     Cron 表达式格式:秒 分 时 日 月 周 年(可选)。要遵守的规范请见下表:

     

五、Demo 下载及更多资料

  • WinJobDemo 下载地址:https://github.com/das2017/QuartzDemo

  • HttpJobDemo 下载地址:https://github.com/das2017/HttpJobDemo

  • Quartz.NET 官网:http://www.quartz-scheduler.net/

  • Quartz.NET 开源网址:https://github.com/quartznet/quartznet

 

转载链接:http://www.infoq.com/cn/articles/architecture-practice-04-job-schedule

转载于:https://www.cnblogs.com/supersnowyao/p/8438835.html

相关文章:

  • 数组
  • golang 发送GET和POST示例
  • 监听器
  • 用Hexo搭建属于自己的Blog
  • ipcs命令详解
  • 多态
  • 个人站点的日期查询
  • 2017-2018年度Scrum现状报告发布
  • 我们的春节--2019
  • BZOJ 1412 狼和羊的故事
  • LeetCode29.两数相除 JavaScript
  • vim命令模式下光标移动+查找
  • Fastjson的基本使用方法大全
  • 面孔相册按脸给照片分类 这是靠小米人脸检测技术实现的
  • 数据结构java版之冒泡排序及优化
  • 【React系列】如何构建React应用程序
  • JWT究竟是什么呢?
  • Linux Process Manage
  • Material Design
  • Objective-C 中关联引用的概念
  • React as a UI Runtime(五、列表)
  • Sublime Text 2/3 绑定Eclipse快捷键
  • 聚类分析——Kmeans
  • 算法之不定期更新(一)(2018-04-12)
  • 优秀架构师必须掌握的架构思维
  • 与 ConTeXt MkIV 官方文档的接驳
  • python最赚钱的4个方向,你最心动的是哪个?
  • 如何用纯 CSS 创作一个菱形 loader 动画
  • 数据可视化之下发图实践
  • #NOIP 2014# day.2 T2 寻找道路
  • (1/2) 为了理解 UWP 的启动流程,我从零开始创建了一个 UWP 程序
  • (10)工业界推荐系统-小红书推荐场景及内部实践【排序模型的特征】
  • (8)Linux使用C语言读取proc/stat等cpu使用数据
  • (C语言)输入一个序列,判断是否为奇偶交叉数
  • (solr系列:一)使用tomcat部署solr服务
  • (附源码)springboot 个人网页的网站 毕业设计031623
  • (附源码)springboot电竞专题网站 毕业设计 641314
  • (简单) HDU 2612 Find a way,BFS。
  • (经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路
  • (算法设计与分析)第一章算法概述-习题
  • (学习日记)2024.03.25:UCOSIII第二十二节:系统启动流程详解
  • (转)shell中括号的特殊用法 linux if多条件判断
  • * 论文笔记 【Wide Deep Learning for Recommender Systems】
  • .NET Core 实现 Redis 批量查询指定格式的Key
  • .NET core 自定义过滤器 Filter 实现webapi RestFul 统一接口数据返回格式
  • .NET开发人员必知的八个网站
  • .sys文件乱码_python vscode输出乱码
  • :中兴通讯为何成功
  • @Repository 注解
  • @Transactional 详解
  • [20161101]rman备份与数据文件变化7.txt
  • [ACTF2020 新生赛]Include
  • [ARM]ldr 和 adr 伪指令的区别
  • [BUG]vscode插件live server无法自动打开浏览器
  • [BZOJ 3531][Sdoi2014]旅行(树链剖分+线段树)