celery筆記二之建立celery項目、配置及幾種載入方式

来源:https://www.cnblogs.com/hunterxiong/archive/2023/06/02/17452888.html
-Advertisement-
Play Games

> 本文首發於公眾號:Hunter後端 > 原文鏈接:[celery筆記二之建立celery項目、配置及幾種載入方式](https://mp.weixin.qq.com/s/KZjuypZ-e9EHi7XkKXt0Xg) 接下來我們創建一個 celery 項目,文件夾及目錄如下: ```python ...


本文首發於公眾號:Hunter後端
原文鏈接:celery筆記二之建立celery項目、配置及幾種載入方式

接下來我們創建一個 celery 項目,文件夾及目錄如下:

proj/__init__.py
    /celery.py
    /tasks1.py
    /tasks2.py

接下來我們逐個文件向裡面添加內容。

1、項目文件內容及介紹

我們建立了一個名為 proj 的文件夾作為我們的項目文件夾,其下有兩個文件,celery.py 和 tasks.py

celery.py

其中 celery.py 內容為 celery 實例化以及一些基礎配置,文件內容如下:

from celery import Celery

app = Celery('proj',
             broker='redis://localhost/0',
             backend='redis://localhost/1',
             include=['proj.tasks1', 'proj.tasks2'])

app.conf.update(
    result_expires=60
)

if __name__ == '__main__':
    app.start()

在這裡,我們還是對 celery 進行了實例化的操作,但是在這裡項目名稱改為了 proj,也就是這個文件的上一級文件夾名稱

broker、backend 還是對應的配置

但是因為對應的任務我們是單獨以文件的形式引入,所以,在這裡引入的方式是通過 include 的方式來實現的

app.conf.update() 是對 celery 配置的補充,這裡只加了一個參數,表示是對系統對結果的留存時間。

另外幾種配置方式我們放在下麵詳講。

接著 app.start() 就是項目的啟動。

tasks.py

在這裡我們將 task 作為兩部分拆解,分別放在兩個文件下,內容分別如下

#tasks1.py
from .celery import app

@app.task
def add(x, y):
    return x + y
#tasks2.py
from .celery import app

@app.task
def mul(x, y):
    return x * y

啟動服務,在 proj 所在的文件夾,執行下麵的命令:

celery -A proj worker -l INFO

運行延時任務

在 proj 同級的文件夾下執行 python3,進入 python 的交互界面:

from proj.tasks1 import add
add.delay(1, 2)

2、celery配置的幾種方式

在上面的 celery 的配置方式,是一部分寫在 celery 的實例化過程中,另一部分是通過 app.conf.update() 的方式寫入

這裡介紹一下,celery 的配置還可以通過類的方式來寫入,或者把所有變數都寫入一個文件,通過引入文件的形式來引入變數。

不管是以類的方式還是文件的形式都會使用到一個方法:config_from_object(),參數為需要引入的變數

類的方式載入配置

下麵是一個類的方式引入的示例:

# celery.py
from celery import Celery

app = Celery()
class Config:
    include = ['proj.tasks1', 'proj.tasks2']
    broker_url = 'redis://localhost:6379/0'
    result_backend = 'redis://localhost:6379/1'
    
app.config_from_object(Config)

if __name__ == '__main__':
    app.start()

這裡需要註意的是在 Config 中的 broker_url 和 result_backend 與直接實例化 Celery 時寫入的參數名稱是不一樣的

文件的形式載入配置

接下來我們在 proj 的文件夾中新建一個文件 celeryconfig.py,那麼 proj 文件夾下的文件配置則如下:

proj/__init__.py
    /celery.py
    /celeryconfig.py
    /tasks1.py
    /tasks2.py

配置文件內容:

# celeryconfig.py
broker_url = 'redis://localhost/0'
result_backend = 'redis://localhost/1'
include = ['proj.tasks1', 'proj.tasks2']

celery 文件內容:

# celery.py
from celery import Celery
from . import celeryconfig


app = Celery()
app.config_from_object(celeryconfig)

if __name__ == '__main__':
    app.start()

無論是把配置寫入 Config 類中,還是寫入文件,這裡的思想都是將配置集中處理,在一處管理所有的配置內容。

註意:
在這裡我們引入配置的方式都是 config_from_object(),我們之前還介紹過一個更新配置的方式是 app.conf.update()

這裡要說明的是,只要運行了 config_from_object() 函數,在此之前的變數都會被覆蓋失效,如果我們要新增 celeryconfig 之外的配置,則需要在調用 config_from_object() 函數之後調用,比如:


app = Celery()

app.conf.update(result_expires=60) # 在 config_from_config() 之前調用,會失效

app.config_from_object(celeryconfig)

app.conf.update(result_expires=30)  # 這個配置會生效

還有一種引入配置的方式是在 Django 系統中,將 Celery 相關的變數都寫入 settings.py,然後通過 namespace 的方式引入到 Celery 中進行實例化處理。

這個方式我們在介紹 celery 與 Django 結合的時候再做介紹。

3、一些基本配置

設置時區

比如我們設置北京時間:

app.conf.update(
    enable_utc=False,
    timezone='Asia/Shanghai',
)

broker 和 result_backend 設置

設置 broker 和 result_backend 的地址:

app.conf.update(
    broker_url = 'redis://localhost:6379/0'
    result_backend = 'redis://localhost:6379/1'
)

如果是 broker 和 backend 加密碼的配置,則是如下:

app.conf.update(
    broker_url = 'redis://:123456@localhost:6380/0'
    result_backend = 'redis://:123456@localhost:6380/1'
)

其中,123456 是密碼。

如果是用 docker 啟動一個帶密碼的 redis,命令如下:

docker run -d --name redis_pwd -p6380:6379 redis:latest --requirepass 123456

此外還有一些任務隊列 queue、預設隊列、任務路由配置、定時任務的設置,在後面介紹到的時候再一一介紹。

下一篇筆記將介紹 task 和 task 的調用。

如果想獲取更多後端相關文章,可掃碼關註閱讀:
image


您的分享是我們最大的動力!

-Advertisement-
Play Games
更多相關文章
  • **歷時一年多,我也體驗了不少的靜態博客托管服務了,這裡進行一下對比吧。主要列舉一下優缺點,所有的內容基於該平臺免費版,並且不添加任何增值服務的情況。 速度體驗基於浙江電信的個人測試結果。** # GitHub Pages > 速度:尚可,並不很慢,但有時候會抽風。 自定義功能變數名稱:一個。 限制: 單個 ...
  • # 如何在 CloudFlare Pages 上建站? > 幾分鐘、零基礎搭建個人網頁!- 高速直連,基於Cloudflare Page: `https://zhuanlan.zhihu.com/p/416269228` 使用 Cloudflare Worker 免費搭建網址導航網站 `https: ...
  • setTimeout 倒計時誤差的出現主要與 JavaScript 的事件迴圈機制和計時器的執行方式有關。 在 JavaScript 中,事件迴圈是用於管理和調度代碼執行的機制。setTimeout 函數用於設置一個定時器,在指定的延遲時間後執行回調函數。然而,由於事件迴圈的機制,setTimeou ...
  • # 高解析度大圖像可縮放 Web 查看器的實踐 ## 一、使用 vips 將高解析度大圖像轉換為 DZI 1. 安裝 vips 具體安裝步驟請參考[libvips Install](https://www.libvips.org/install.html)。 註意,在 windows 11 中安裝 ...
  • 前面博文有介紹JavaScript中數組的一些特性,通過對這些數組特性的深入梳理,能夠加深我們對數組相關知識的理解,詳見博文: [一文搞懂JavaScript數組的特性](https://www.cnblogs.com/jimojianghu/p/17292277.html) 其實,在前端開發中,除 ...
  • # 前言 本文主要講述設計模式中的**抽象工廠模式**,文中使用通俗易懂的案例,使你更好的學習本章知識點並理解原理,做到有道無術。 # 一.什麼是抽象工廠模式 抽象工廠是23種設計模式中**創建型模式**的一種,抽象工廠是由多個工廠組合而成。 上一章我們提到的工廠模式只存在一個抽象角色,而抽象工廠是 ...
  • ## 概述 Java 對客戶程式的通信過程進行了抽象,提供了通用的協議處理框架,該框架封裝了 Socket,主要包括以下類: - URL 類:統一資源定位符,表示客戶程式要訪問的遠程資源 - URLConnection 類:表示客戶程式與遠程伺服器的連接,客戶程式可以從 URLConnection ...
  • 基於java的美食菜譜分享系統設計與實現,餐飲分享平臺設計與實現,可用於美食線上分享平臺,作為世界各地愛好美食的人們的橋梁,為其創造一個氛圍好的平臺,促進美食世界的文化交流。該系統是一個供商家或者個人推薦美食的網站,網站不支持交易僅供分享。 ...
一周排行
    -Advertisement-
    Play Games
  • 下麵是一個標準的IDistributedCache用例: public class SomeService(IDistributedCache cache) { public async Task<SomeInformation> GetSomeInformationAsync (string na ...
  • 這個庫提供了在啟動期間實例化已註冊的單例,而不是在首次使用它時實例化。 單例通常在首次使用時創建,這可能會導致響應傳入請求的延遲高於平時。在註冊時創建實例有助於防止第一次Request請求的SLA 以往我們要在註冊的時候實例單例可能會這樣寫: //註冊: services.AddSingleton< ...
  • 最近公司的很多項目都要改單點登錄了,不過大部分都還沒敲定,目前立刻要做的就只有一個比較老的項目 先改一個試試手,主要目標就是最短最快實現功能 首先因為要保留原登錄方式,所以頁面上的改動就是在原來登錄頁面下加一個SSO登錄入口 用超鏈接寫的入口,頁面改造後如下圖: 其中超鏈接的 href="Staff ...
  • Like運算符很好用,特別是它所提供的其中*、?這兩種通配符,在Windows文件系統和各類項目中運用非常廣泛。 但Like運算符僅在VB中支持,在C#中,如何實現呢? 以下是關於LikeString的四種實現方式,其中第四種為Regex正則表達式實現,且在.NET Standard 2.0及以上平... ...
  • 一:背景 1. 講故事 前些天有位朋友找到我,說他們的程式記憶體會偶發性暴漲,自己分析了下是非托管記憶體問題,讓我幫忙看下怎麼回事?哈哈,看到這個dump我還是非常有興趣的,居然還有這種游戲幣自助機類型的程式,下次去大玩家看看他們出幣的機器後端是不是C#寫的?由於dump是linux上的程式,剛好win ...
  • 前言 大家好,我是老馬。很高興遇到你。 我們為 java 開發者實現了 java 版本的 nginx https://github.com/houbb/nginx4j 如果你想知道 servlet 如何處理的,可以參考我的另一個項目: 手寫從零實現簡易版 tomcat minicat 手寫 ngin ...
  • 上一次的介紹,主要圍繞如何統一去捕獲異常,以及為每一種異常添加自己的Mapper實現,並且我們知道,當在ExceptionMapper中返回非200的Response,不支持application/json的響應類型,而是寫死的text/plain類型。 Filter為二方包異常手動捕獲 參考:ht ...
  • 大家好,我是R哥。 今天分享一個爽飛了的面試輔導 case: 這個杭州兄弟空窗期 1 個月+,面試了 6 家公司 0 Offer,不知道問題出在哪,難道是杭州的 IT 崩盤了麽? 報名面試輔導後,經過一個多月的輔導打磨,現在成功入職某上市公司,漲薪 30%+,955 工作制,不咋加班,還不捲。 其他 ...
  • 引入依賴 <!--Freemarker wls--> <dependency> <groupId>org.freemarker</groupId> <artifactId>freemarker</artifactId> <version>2.3.30</version> </dependency> ...
  • 你應如何運行程式 互動式命令模式 開始一個互動式會話 一般是在操作系統命令行下輸入python,且不帶任何參數 系統路徑 如果沒有設置系統的PATH環境變數來包括Python的安裝路徑,可能需要機器上Python可執行文件的完整路徑來代替python 運行的位置:代碼位置 不要輸入的內容:提示符和註 ...