当前位置: 首页 > news >正文

Python定时任务 Celery+Redis

引言:

  当需要用python创建和完成定时任务时,第一个会想到的就是使用crontab库,

  但是crontab不支持Windows系统,于是我们可以使用一个支持Windows且功能强大的库:Celery。

Celery-分布式任务队列:

  Celery是一个简单,灵活,可靠的分布式系统,用于处理大量消息,同时为操作提供维护此类系统所需的工具。

  它是一个任务队列,专注于实时处理,同时还支持任务调度。

  Celery是开源的,并根据BSD许可授权。

  Celery由Python语言实现。

Celery安装:

  celery的版本非常令人头疼,它的版本无法做到完全上下兼容,且有些版本会与一些库冲突,所以对于celery版本的选择非常重要:

    1、celery 4.0.0~4.2.0(latest) 目前最新的celery版本是官方的4.2.0 链接:http://docs.celeryproject.org/en/latest/

     (1) celery 4.0.0及以上版本目前不兼容python3.7 由于在python3.7中 async变成了关键字 在运行celery worker的时候会报错,

         

         from . import async,base 此处出错。

     (2) django-celery是一个便于在django工程中管理celery的库,但是django-celery不支持celery 4.0.0以上版本,如若要在django工程中

      使用celery,请降低版本,比如celery 3.1.26

    2、celery 3~4的版本之间 相对稳定 本人用的就是celery 3.1.26版本 推荐 pip install celery==3.1.26 

Celery介绍:

上图为celery工作简要流程,原谅我盗的图...原作者po上:https://www.qikqiak.com/

1、application(task producer)"任务的生产者",我们通过代码层面,产生任务然后发送给broker(task queue)

2、celery beat(task scheduler)"任务调度器",常见为生成定时任务

3、broker(task queue)"任务队列",我们需要将任务送往任务队列去,官网强烈推荐的broker有:redis和rabbitmq

4、worker(taks consumer)"任务消费者",在任务送往broker后,worker从中进行操作,完成任务后生成result

5、result 完成任务后产生的结果

Broker的选择:

  broker我们可选的有redis和rabbitmq,官网推荐的两种,我们这里选redis,相对于rabbitmq更加轻量级,安装方便。

  所以我们需要安装redis,redis很容易安装,这里就不细讲了,po上github链接:https://github.com/MicrosoftArchive/redis/releases

  与此同时 celery还需要python的redis依赖库这里注意版本 pip install redis==2.10 最好下2.10版本,这里是为了后续和django联用

  若下最新版本,可能会报以下错:

任务的编写:

  主要的代码层面来了,我们通过流程图知道,我们需要生产任务,目录结构如下图:

        

  1、其中__init__.py是通过启动项目时,选择的配置文件:

1 from celery import Celery
2 
3 app = Celery('demo')
4 app.config_from_object('celery_app.celeryconfig')

  2、celeryconfig.py里面主要是celery的配置:

from datetime import timedelta
from celery.schedules import crontab
# 配置broker为redis
BROKER_URL = 'redis://localhost:6379/1'
# 配置结果存储至redis
CELERY_RESULT_BACKEND = 'redis://localhost:6379/2'
# 时区设置
CELERY_TIMEZONE='Asia/Shanghai'
# 导入任务
CELERY_IMPORTS = (
    'celery_app.task1',
    'celery_app.task2',
    )
# 配置定时任务的调度器
CELERYBEAT_SCHEDULE={
    # 任务名字
    'task1':{
        # 任务启动的函数
        'task':'celery_app.task1.add',
        # 定时时间设置,每10秒一次
        'schedule':timedelta(seconds=10),
        # 传递的参数
        'args':(2,8)
    },
    'task2':{
        'task':'celery_app.task2.mul',
        # 定时时间设置,16:45
        'schedule':crontab(hour=16,minute=45),
        'args':(4,5)

    }
}

  3、task1的任务:

import time

from celery_app import app

@app.task
def add(x, y):
    # 阻塞测试
    time.sleep(3)
    return x + y  

  4、 task2的任务:

import time

from celery_app import app

@app.task
def mul(x, y):
    time.sleep(3)
    return x * y

运行任务:

  1、打开redis服务器:

$ .\redis-server.exe .\redis.windows.conf

 

  2、在celery_app文件的上一级 shift+右键 打开命令行窗口,win10打开powershell:

celery worker -A celery_app --pool=solo -l INFO

  此命令打开worer 任务目标为celery_app windows下需要加--pool=solo 日志级别为INFO

  3、然后打开celery beat 启动定时任务,另开一个命令行窗口:

 celery beat -A celery_app -l INFO

   4、结果如下:

  

  可以看见celery beat一直在隔10秒发送任务

  再来看worker:

  

  第一次是处理了4秒 其余是3秒,可以看出windows处理celery还是不太稳定。

  结语:celery是一个强大的库,能让我们处理异步任务,不过最好还是于Linux上运行

  

 

转载于:https://www.cnblogs.com/Stitchez/p/10240387.html

相关文章:

  • Matplotlib添加图例操作
  • 2019-1-10 日记
  • 【奔走相告】- Github送福利:用户可免费创建私有代码库啦
  • go语言之进阶篇方法表达式
  • Java 网络编程 之 TCP协议
  • java面试题(四)
  • Java将string内容写入到TXT文件
  • 爬虫之图片懒加载技术、selenium和PhantomJS
  • 词云制作没那么难,Python 10 行代码就实现了!
  • D-赌神(判断2^k = n时 k的值)
  • vue-router(hash模式)常见问题以及解决方法
  • 链式存储结构之静态链表
  • js简单实用的垂直导航菜单,鼠标移动触发
  • idea运行提示Error:java:无效的源发行版:1.9
  • zookeeper-3.5.4-beta安装
  • 30秒的PHP代码片段(1)数组 - Array
  • extract-text-webpack-plugin用法
  • Hexo+码云+git快速搭建免费的静态Blog
  • Java教程_软件开发基础
  • oschina
  • pdf文件如何在线转换为jpg图片
  • python_bomb----数据类型总结
  • scala基础语法(二)
  • SwizzleMethod 黑魔法
  • uva 10370 Above Average
  • 安装python包到指定虚拟环境
  • 基于Mobx的多页面小程序的全局共享状态管理实践
  • 开源SQL-on-Hadoop系统一览
  • 使用Gradle第一次构建Java程序
  • 我有几个粽子,和一个故事
  • 自定义函数
  • 白色的风信子
  • 函数计算新功能-----支持C#函数
  • #mysql 8.0 踩坑日记
  • $(selector).each()和$.each()的区别
  • (1)Nginx简介和安装教程
  • (175)FPGA门控时钟技术
  • (C#)Windows Shell 外壳编程系列4 - 上下文菜单(iContextMenu)(二)嵌入菜单和执行命令...
  • (JS基础)String 类型
  • (附源码)ssm经济信息门户网站 毕业设计 141634
  • (一)80c52学习之旅-起始篇
  • .net core 控制台应用程序读取配置文件app.config
  • .net对接阿里云CSB服务
  • .net反编译工具
  • .NET基础篇——反射的奥妙
  • .NET中使用Redis (二)
  • /etc/motd and /etc/issue
  • ?php echo $logosrc[0];?,如何在一行中显示logo和标题?
  • [ C++ ] template 模板进阶 (特化,分离编译)
  • [Angular] 笔记 18:Angular Router
  • [BZOJ] 2044: 三维导弹拦截
  • [BZOJ4337][BJOI2015]树的同构(树的最小表示法)
  • [C#]手把手教你打造Socket的TCP通讯连接(一)
  • [C++]C++类基本语法
  • [emuch.net]MatrixComputations(7-12)