請益:Python multiprocessing 下還可以multiprocessing(nested multi-processing)?

Dear all,

故事是這樣的,
假設我有5個Excel files(就說部門別),
每個excel 有3 - 5個sheets (就說是產品別,意即有5個部門,每個部門有個3-5種產品)

因為每個sheet長得都幾乎一樣,我要做的運算也一樣。而這運算有點吃力有點久。
所以,我就循序讀入excel file, 然後就把每個sheet用multiprocessing 平行處理以節省時間。

但因為我的cpu有6 cores(即可以同時跑12程序)。
而每個excel 只有3-5sheets, 因為佔不滿,所以想是不是把這5個files multiprocessing, 然後每個又multiprocessing每個sheet.

原來只是突發奇想隨便試試,奇怪,程式還真的會動。結果也正確。

敝人因為好奇,所以google了一下。
有人說不行
https://stackoverflow.com/questions/28491558/launching-nested-processes-in-multiprocessing

但我就是可以

有神人可以說明一下,python 多工處理下的多工處理是OK的嗎?
2019-09-19 22:46 發佈
文章關鍵字 multiprocessing
python 以前我讀大學的時候,有一位教授有教,不過引起來我極度的恐懼。我就去選另外一個唸原文書考試的教授了,那堂課是計算機概論。

有興趣研究是好事,加油了。

Prophet Dragon wrote:
Dear all,故...(恕刪)
Prophet Dragon wrote:
但因為我的cpu有6 cores(即可以同時跑12程序)。
而每個excel 只有3-5sheets, 因為佔不滿,所以想是不是把這5個files multiprocessing, 然後每個又multiprocessing每個sheet.


即便只有 1 core,還是可以跑上百個程序,只是大家分到的 CPU 時間比較少

你引的文,是說 child process 不能再 fork 出其它的 child process,和你說的應該不是同一件事吧?

看你寫的意思,應該是一個程序 fork 出 file x sheet 個 children 的意思,是嗎?
Ghostwriter

看起來根本沒搞懂定義,能動是一回事,效果是另一回事[笑]

2021-08-25 19:20
內文搜尋
X
評分
評分
複製連結
Mobile01提醒您
您目前瀏覽的是行動版網頁
是否切換到電腦版網頁呢?