哈哈哈哈哈操欧洲电影,久草网在线,亚洲久久熟女熟妇视频,麻豆精品色,久久福利在线视频,日韩中文字幕的,淫乱毛视频一区,亚洲成人一二三,中文人妻日韩精品电影

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何讓Python和Go互相調度

科技綠洲 ? 來源:Python實用寶典 ? 作者:Python實用寶典 ? 2023-11-02 11:24 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

我們曾經(jīng)研究過如何讓Python和Go互相調度,當時發(fā)現(xiàn),將Go語言寫的模塊打包成動態(tài)鏈接庫,就能在Python中進行調度:

優(yōu)劣互補! Python+Go結合開發(fā)的探討

Go的優(yōu)勢很明顯,從1億減到1,在我的設備上測試,用Go運行只需要50ms,Python可能需要接近100倍的時間。

但是,這種寫法也有缺點:實在太麻煩了,大大增加了整個項目的耦合性。

那Python中有沒有辦法不通過打包成動態(tài)鏈接庫的方法,用Python調度Go的任務呢?答案是Go celery.

https://github.com/gocelery/gocelery

我們可以用Go寫一個計算密集型任務的Worker,然后用Python的Celery beat來調度這個Worker,下面給大家演示一下:

1.編寫Go Worker

最好是將計算密集型的任務改造成Go語言版的,這樣收益才能最大化。

比如這里,我使用的是上回從1億減到1的老梗。

PS,別被下面這段代碼嚇到了,其實大部分是可以去掉的配置項,核心代碼就幾行。

圖片

輸入命令:

go run main.go

即可運行該worker

2.編寫Python客戶端

圖片

每5秒調度一次1億減到1,不過不跑Python worker. 由于Go Worker在運行,這里的minus會被Go Worker消費。

另外請注意,這里的minus函數(shù)實際上只是為了能被識別到而編寫的,其內容毫無意義,直接寫個pass都沒問題(因為實際上是Go Worker在消費)。

編寫完后,針對go_tasks模塊啟動beat:

celery -A go_tasks beat

此時,調度器就會調度Go Worker執(zhí)行任務:

圖片

圖片

可以看到,我們成功用Python的Celery Beat調度了Go寫的Worker!可喜可賀。

接下來可以看看如果單純用Python的Worker做這樣的計算是有多耗時:

圖片

啟動worker:

celery worker -A python_tasks -l info --pool=eventlet

啟動beat調度器:

celery -A python_tasks beat

結果如下:

圖片

可以看到,Python從1億減到1平均需要5.2秒左右的時間,和Go版相差了100倍左右。

如果我們將調度器的頻率提高到每秒計算1次,Python版的Worker,其任務隊列一定會堵塞,因為Worker消費能力不夠強大。相比之下,Go版的Worker可就非常給力了。

因此,如果你的項目中有這種計算密集型的任務,可以嘗試將其提取成Go版本試試,說不定有驚喜呢。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Go
    Go
    +關注

    關注

    0

    文章

    45

    瀏覽量

    12608
  • python
    +關注

    關注

    58

    文章

    4882

    瀏覽量

    90274
  • Worker
    +關注

    關注

    0

    文章

    8

    瀏覽量

    6706
  • 動態(tài)鏈接庫

    關注

    0

    文章

    11

    瀏覽量

    7255
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    Go語言開發(fā)有什么優(yōu)勢?怎么學?

    ?! ?. 部署簡單。Go 編譯生成的是一個靜態(tài)可執(zhí)行文件,除了glibc 外沒有其他外部依賴。這部署變得異常方便:目標機器上只需要一個基礎的系統(tǒng)和必要的管理、監(jiān)控工具,完全不需要操心應用所需的各種包
    發(fā)表于 12-19 16:08

    python2和python3是如何互相切換的

    python2和python3互相切換在本地有兩個Python的版本:默認使用Python2.7:可以這樣查看當前版本:如果要使用
    發(fā)表于 07-12 07:53

    Go綁定實例理解TensorFlow

    本文通過一個簡單的Go綁定實例,讀者一步一步地學習到Tensorflow有關ID、作用域、類型等方面的知識。以下是譯文。 Tensorflow并不是機器學習方面專用的庫,而是一個使用圖來表示計算
    發(fā)表于 09-28 17:42 ?0次下載
    以<b class='flag-5'>Go</b>綁定實例理解TensorFlow

    Python 轉向 Go語言的9大原因和3大缺點

    轉用一門新語言通常是一項大決策,尤其是當你的團隊成員中只有一個使用過它時。今年 Stream 團隊的主要編程語言從 Python 轉向了 Go。本文解釋了其背后的九大原因以及如何做好這一轉換。
    發(fā)表于 06-17 07:40 ?7086次閱讀

    GoPython,Erlang的語言對比分析和Go編程示例概述

    本文對GoPython、Erlang做了一些有趣的分析對比,相信大家能從中感受到Go語言的強大和與眾不同。
    的頭像 發(fā)表于 07-21 09:52 ?8498次閱讀
    <b class='flag-5'>Go</b>和<b class='flag-5'>Python</b>,Erlang的語言對比分析和<b class='flag-5'>Go</b>編程示例概述

    Go語言其實有很多優(yōu)良特性,很多時候都可以代替Python

    Go 要想撼動編程界的常青樹 Java 二十多年的地位無疑難度頗大。據(jù) HackerRank 數(shù)據(jù)顯示,2018 年,Java 在開發(fā)者最受歡迎的編程語言排行榜中仍然排名第 2,Python 排名第 4,Go 排名第 13,
    的頭像 發(fā)表于 02-13 10:01 ?5323次閱讀

    golang的調度模型-GPM 模型的源碼結構

    【導讀】GMP 模型是 go 語言輕量快速高效的重要調度模型,本文從 GMP 源碼出發(fā)直觀地解析了這一模型。 這篇文章就來看看 golang 的調度模型-GPM 模型的源碼結構。
    的頭像 發(fā)表于 07-06 11:55 ?3054次閱讀

    詳解剖析Go語言調度模型的設計

    golang的MPG調度模型是保障Go語言效率高的一個重要特性,本文詳細介紹了Go語言調度模型的設計。 前言 Please remember that at the end of th
    的頭像 發(fā)表于 07-26 10:12 ?2974次閱讀
    詳解剖析<b class='flag-5'>Go</b>語言<b class='flag-5'>調度</b>模型的設計

    go項目怎么docker鏡像體積減小

    【導讀】go 項目怎么 docker 鏡像體積減?。勘疚淖隽嗽敿毥榻B。
    的頭像 發(fā)表于 06-12 15:07 ?2078次閱讀

    go項目怎么docker鏡像體積減小

    go 項目怎么 docker 鏡像體積減???本文做了詳細介紹。
    的頭像 發(fā)表于 06-23 10:49 ?1907次閱讀

    Go/Rust挑戰(zhàn)Java/Python地位

    編程語言方面,Java 和 Python 仍然遙遙領先,并且分別微小增長了 1.7% 和 3.4%;圍繞 Go (增長 20%) 和 Rust (增長 22%) 的興趣則大幅增加。報告稱,如果這種
    的頭像 發(fā)表于 03-06 10:19 ?1279次閱讀

    Schedule:簡單實用的 Python 周期任務調度工具

    如果你想在Linux服務器上周期性地執(zhí)行某個 Python 腳本,最出名的選擇應該是 Crontab 腳本,但是 Crontab 具有以下缺點: ** 1.不方便執(zhí)行 秒級的任務
    的頭像 發(fā)表于 10-30 11:18 ?1397次閱讀

    Crontab:簡單實用的Python 周期任務調度工具

    如果你想周期性地執(zhí)行某個 Python 腳本,最出名的選擇應該是 Crontab 腳本,但是 Crontab 具有以下缺點: 1.不方便執(zhí)行 秒級任務 。 2.當需要執(zhí)行的定時任務有上百個的時候
    的頭像 發(fā)表于 11-01 09:40 ?1526次閱讀

    Go在單線程計算性能上的優(yōu)勢

    ,將計算和保存的過程保存在本地的redis緩存中,然后使用Celery來調度這些任務。 問題在于,從這些網(wǎng)址中獲取數(shù)據(jù)的步驟,寫在Go Worker里是否合適?Go進行網(wǎng)絡請求是否比Pytho
    的頭像 發(fā)表于 11-02 11:16 ?1212次閱讀
    <b class='flag-5'>Go</b>在單線程計算性能上的優(yōu)勢

    Go語言比Python強多少

    1.都說Go語言性能非常強大,那么到底比Python強多少? 為了比較Go語言和Python語言在單線程性能上的差距,我們可以做一個簡單實驗,從1億減到1:
    的頭像 發(fā)表于 11-02 14:05 ?1376次閱讀
    <b class='flag-5'>Go</b>語言比<b class='flag-5'>Python</b>強多少
    乌鲁木齐县| 沙河市| 晋州市| 准格尔旗| 开鲁县| 玛多县| 浦北县| 高淳县| 米脂县| 江陵县| 游戏| 郯城县| 客服| 东兴市| 磐安县| 福泉市| 海伦市| 乐山市| 临城县| 恩施市| 柞水县| 开原市| 南漳县| 榆林市| 海兴县| 安吉县| 衡南县| 壤塘县| 渭源县| 名山县| 玉门市| 浦东新区| 仙桃市| 资阳市| 普格县| 舟曲县| 页游| 阳高县| 内丘县| 清苑县| 晋州市|