• 2

農場: 純CPU算圖 與 CUDA/GPGPUs 怎麼配較好?

因為工作的關係..
同行、客戶、廠商之間都會需要用到純算圖的需求..
對於我們這種小小企業來說,
現行提供算圖場的服務商,其價格真的不便宜..
雖然快,但算錯、算壞也沒得退錢。
而且常常都是設計費少得可憐...
所以想大家一起投資採購一些舊電腦設備來自建算圖農場。

目前來說,
會用到的算圖軟體有純CPU與CPU+GPU的方式,
所以會另買支援CUDA/PHYSX的顯示卡。
因預算與成本問題,設備也不會用太新的。
MASTER 應該是最常開機的那一台,不夠用的話再依序開啟其他的從機。

--------------------------------------------------------------------
MASTER機:一台,組裝成本約在$3500~4500/台
CPU的部份,考慮的是XEON L5420,主機板為P45,記憶體為DDR2 共8GB,
SSD*1,
1個2.5吋硬碟(或2.5吋硬碟*4 /ICH10R 做 RAID5, 可能會提供iSCSI服務。)


MASTER機:四台,組裝成本約在$1500-2000/台
CPU的部份,考慮的是XEON L5420,主機板為G31/G41,記憶體為DDR2 共4GB,
無硬碟或一個2.5吋硬碟。
DC12V-DCATX 電供

外部電供:
80PLUS ATX500W

SWITCH:現有
GS728TP 切8 PORT VLAN

這樣總合起來共有20個實體核心/24GB記憶體。
---------------------------------------------------------------------

接下就是顯示卡/CUDA的問題了..
目前考慮兩種方式,
一種是將顯示卡全部裝在MASTER機上
還有一個就是主機跟從機都裝顯示卡

因為我不知道說如果在單純進行CPU+GPGPU/CUDA去算圖的時候,

1.CPU+顯示卡1+顯示卡2+顯示卡3+顯示卡4...
2.CPU.
.
.
.

以及
1.CPU+顯示卡
2.CPU+顯示卡
.
.
.


1.依算圖能力來說,假設CPU跟GPU的規格都一樣,這兩種方案哪一種會比較有CP值?
(電力/電供成本、顯示卡成本,有支援CPU+GPU算圖的軟體也比較少用到)

2.純用CUDA算圖,可以只用PCI-E 1X嗎? 我看有人挖礦機的顯示卡
都是用外接 PCIE 1X 擴充跑來跑? 這會不會影響算圖的效能?
感覺用中古 GT640 *4張 (384*4=1536 CORE) 還滿划算的..


2016-10-26 13:46 發佈
直接從大陸買二手的伺服器比較快…
你好
我是不急...想說也可以順便藉著這機會學習如何架算圖農場,
玩到後面就可以用VPN幫企業在各地分公司內的算圖機串成一個超大農場...

回到原文..你是說..買XEON E5嗎?
的確買二台12C24T或16C32T會比較省事...
我看淘寶上16C32T的二手貨價格約在2100 RMB左右..

但伺服器的電源或主機板壞了要找代用品也很麻煩...
而E5 幾乎都在2.0Ghz左右..L5420 E0 可以4核穩跑3.0Ghz..
CPU算圖幾乎靠得就是高頻與實體核心數...

其實我是還考慮到 CUDA/PHYSX 的擴充性與CP值..
一張1536 CORE的GTX680顯卡不便宜..
而耗電量約等於3張GT640/2GB ...
不過GTX680時脈是比較高,運算效能也多了10%~15%
但..單張二手 GTX680/2GB/4GB 的二手價比4張 GT640/2GB要貴1.5~2倍...



有經驗的朋友,可以只告訴我那第二個問題的答案嗎?

Kaiens wrote:
你好我是不急......(恕刪)

建議單張 680喔
並不是sli 會比較好喔
還要看軟體有無支援 再說主機板晶片組不同
pci-e 會有的傳遞速度 或擴充上面也會不同喔
不然 會用cad軟體的公司 就去買便宜的來x4來用就好了
幹嘛 需要繪圖卡 或用已高階遊戲卡來取代呢?



p.s看過電腦公司 地上丟要出貨電腦 裡面裝970
我問說 網咖需要的喔? 可是也太少台了 結果老闆說 是繪圖工程師需要的
頓時想說 繪圖不是都用繪圖卡麻= =? 結果老闆說 970 可以屌打1w5~2w左右的繪圖卡
所以用遊戲卡比較省錢XD 除非軟體需要的功能不同 才會建議拿繪圖卡
明明就是討論區 叫別人啥鍵盤神手 你懂就回答啊?
阮小小 wrote:
建議單張 680...(恕刪)


GTX680 的確會比GT640*4 好
但並不是因SLI的問題..
GT640也沒辦法SLI...

雖然算起來CUDA核心的數量相同...
但GTX680的時脈較高..所以運算能力大於GT640*4..(約10~15%)
只是GTX680的二手價比GT640*4二手價還高不少...
CUDA/GPGPU協同運算看得是CUDA的核心數量...
但也不是所有的RENDER軟體都有支援CPU+CUDA算圖...

四套L5420+GT640 的算圖效率(效果)與彈性,
應該是比 一套I7-3770+GTX680 好很多..價格也大約只要50%~70%...
這是在我首PO最後一段的第一個問題的範圍...


我在講的是算圖農場..
不是3D建模...也不是單機算圖..更不是玩遊戲

3D建模的話..要有準確的REALTIME 繪圖環境..
還是得靠專業繪圖卡..

單機RENDER算圖的話當然是能用多強就用多強..
最好能用到I7-6700K + GTX1080..
依RENDER軟體的不同,靠得就是CPU或CPU+CUDA核心...

算圖農場..
是RENDER軟體將資料丟給其他1~254台電腦一起算圖,
當然也是最好每台都能用到I7-6700K + GTX1080...
可是我沒那麼多錢...

我相信普通的電腦店沒幾家有幫人做過算圖農場..
請有經驗的朋友就首PO最後一段的第二個問題分享好嗎?

Kaiens wrote:
GTX680 的確...(恕刪)


總結就是沒錢 買640吧
都說要賺錢的 存夠了再一併升級吧
畢竟現在預算不足 還需要考慮???
錢賺夠了 也有需求 絕對會一併換掉的
明明就是討論區 叫別人啥鍵盤神手 你懂就回答啊?
阮小小 wrote:
總結就是沒錢 買640...(恕刪)


一開始就是考量預算與擴充性、使用彈性、維修替換成本等..
所以我發文問的是 PCI-E 1X 會不會影響CUDA算圖..

會提到GTX680是因為GTX680是1536 CORE ,
剛好跟我打算要做的GT640 *4 一樣的CUDA數量..
而不是問GTX680 跟 GT640*4 哪個方案比較好...
因為我早已經選好目標顯卡方案..

有賺到錢的話..我就買四台E5 XEON 雙CPU 加上 K2或TESLA..
又何必來這邊問有這方面經驗的人?

你有看清楚嗎?

根據挖礦機都只有PCI-E 1X 的環境,所以我才有這種疑問.
而這個問題的答覆會影響我之後是要一台MASTER裝4張顯卡,
或是SLAVE的部份每台各有一顯卡..

那麼...你是否願意告訴我 PCI-E 1X 會不會影響CUDA算圖呢?
這是軟體支援狀況與需求
Kaiens wrote:
目前來說,
會用到的算圖軟體有純CPU與CPU+GPU的方式,
所以會另買支援CUDA/PHYSX的顯示卡。
因預算與成本問題,設備也不會用太新的。
MASTER 應該是最常開機的那一台,不夠用的話再依序開啟其他的從機。


硬體部分,舊版的CPU指令集若是夠用,基本上都沒差
或是以高頻去cover回來
Kaiens wrote:
CPU的部份,考慮的是XEON L5420,主機板為G31/G41,記憶體為DDR2 共4GB,
無硬碟或一個2.5吋硬碟。
DC12V-DCATX 電供
外部電供:
80PLUS ATX500W
SWITCH:現有
GS728TP 切8 PORT VLAN
這樣總合起來共有20個實體核心/24GB記憶體。


網路看起來也夠用
建構成本沒有很貴,似乎還可行

Kaiens wrote:
1.依算圖能力來說,假設CPU跟GPU的規格都一樣,這兩種方案哪一種會比較有CP值?
(電力/電供成本、顯示卡成本,有支援CPU+GPU算圖的軟體也比較少用到)
2.純用CUDA算圖,可以只用PCI-E 1X嗎? 我看有人挖礦機的顯示卡
都是用外接 PCIE 1X 擴充跑來跑? 這會不會影響算圖的效能?
感覺用中古 GT640 *4張 (384*4=1536 CORE) 還滿划算的..

若且唯若這些CORE皆有支援你的算圖軟體,不然還是白搭
1x的速度是否滿足CUDA核心算出來的資料交換量?
這該問軟體廠商或是畫面的複雜度?
GPU的部份:
挖礦機CUDA/opencl都只有PCI-E 1X 的環境,是因為他只要算出當下的唯一解(數值計算,解答也只是一串數值),然後為了能串多張所以都用PCI-E 1X 做串燒,要的是越多核心越好。

而汝是做算圖的材質包有的沒的應該檔案就不小了,所以資料的交換PCI-E 1X 肯定是不夠的。或是你可以找現有的機器實測PCI-E頻寬大小對你的應用上有多少的影響,很多板子除哩 x16 還會附帶 x8 x4 x1....等。

再來繪圖卡式對於建模出圖的準確度而特化出來的,但如果只是CUDA/PHYSX,應該是沒差多少才是,在下是不知道汝的軟體應用有哪些必要的需求,不然保險點2手的繪圖卡取得也是容易的,做點實驗應該也是可以接受的唄?


CPU的部份:
應該看汝軟體對多核心資源比較好還是高時脈來做選擇,L5420 E0 可以4核穩跑3.0Ghz沒錯,但是如是多核心支援較好的情況下這就未必是比較好的選擇了(ex:X5650 e5-4640 e5-2630 E7-8880),來源方面有些商家是還有涵蓋洋垃圾的後續保固做報價的,應該也比找買新的便宜不少。

Kaiens wrote:
一開始就是考量預算...(恕刪)

頻寬都縮減了 會無影響? 不可能吧?
好比拿個1080的遊戲卡 卻不是插在PCI-E X16的插槽裡
X8或X4 X1 絕對會影響效率的好嘛?
車道4線道流通快 還是2線道流通快呢?
挖礦原理跟你要建構的算圖農場有一樣麻? 所以你還糾結什麼呢?
明明就是討論區 叫別人啥鍵盤神手 你懂就回答啊?
  • 2
內文搜尋
X
評分
評分
複製連結
Mobile01提醒您
您目前瀏覽的是行動版網頁
是否切換到電腦版網頁呢?