前言:
大家是否需要一個强度大點的任務處理框架,比如臨時發送大量的通知郵件,需要做大量的cpu計算,需要做大量的部署,需要做xxxx。好嘞,下麵看看jug的介紹及使用檔案。
介紹一個簡單易用的任務處理框架,名字叫Jug,它是一個基於任務的並行處理框架,採用Python編寫,可馬上實現多工處理,及在不同的機器上運行同一個任務,使用NFS做檔案系統的通訊;也可在使用同一臺服務器的多CPU運行同一任務。這裡不僅可以用nfs,也可以用redis。
個人覺得他比celery相比,在於介面不好用。用celery可以輕易做成非同步,當然jug的優勢在於輕易的分佈式,和派生多進程,以及任務不會衝突。當然這些東西也可以自己開發實現。 看個人喜好了。
我這裡的測試程式碼很簡單,就是獲取一個清單,然後用jug運行,大家會注意到,你不管開了多少個行程,他們的任務都不會衝突,有點類似redis隊列。
在第一臺服務器處理的結果:
再另一臺服務器測試的結果:
可以看到,他們在完成任務後,會把記錄hash的管道寫入記錄。
原文:http://rfyiamcool.blog.51cto.com/1030776/1405532
這裡介紹的比較簡單,想看詳細的,請到官網看:
https://pythonhosted.org/Jug/tutorial.html