celery_once在Django中的使用(结合celery
)
原理,redis的分布式锁
1 django项目下的celery.py文件中添加如下:
# 目的是拒绝隐士引入,celery.py和celery冲突。
from __future__ import absolute_import, unicode_literals
from celery import Celery, platforms
from django.conf import settings
import os
# set the default Django settings module for the 'celery' program.
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'tasksystem.settings')
# 创建celery应用
app = Celery('tasksystem')
platforms.C_FORCE_ROOT = True
app.config_from_object('django.conf:settings')
# 以下配置 celery_once 用以实现防止同一任务的并发执行所造成的的数据混乱的问题
# app.conf.update({
# 'ONCE': {
# 'backend': 'celery_once.backends.Redis',
# 'settings': {
# 'url': 'redis://localhost:6379/1',
# # 'default_timeout': 60
# }
# }
# })
app.conf.ONCE = {
'backend': 'celery_once.backends.Redis', # 指定分布式锁,指定的后端
'settings': {
'url': 'redis://:hehehehe@localhost:6379/1',
# 'default_timeout': 60 * 10
}
}
# 如果在工程的应用中创建了tasks.py模块,那么Celery应用就会自动去检索创建的任务。比如你添加了一个任#务,在django中会实时地检索出来。
app.autodiscover_tasks(lambda: settings.INSTALLED_APPS)
2 在对应app应用文件下的tasks.py文件中:
from celery_once.tasks import QueueOnce
...
...
# 'graceful': True设置后,当同一任务出现堆积,不会报错
# timeout 设置后任务枷锁的最大时长,任务在规定时间完成,会在任务结束后立即释放锁,
@app.task(base=QueueOnce, once={'graceful': True, 'timeout': 60 * 10})
def test():
pass