單人生成式AI安裝過程

a060110

a060110
個人積分：5分
文章編號：91124088

5分

樓主

2025-02-13 23:26

生成式AI的終點
就是「輝達教父」黃仁勳所說的
自動駕駛與人形機器人

單人生成式AI安裝過程

2025/2/11

我一個人還是能力有限
如果有各路好手幫忙協助的話
相信我們台灣隊會贏的
求各位大神了
把力量借給我吧
就算只是一丁點力量也夠了

單人生成式AI安裝過程

YES AMD
價值台幣八萬八的
Threadripper™ 7000系列CPU系列準備出戰
王牌投手已經站上投手丘
準備用漂亮的三振結束比賽

2025/02/12
因為水冷式的4090已經賣光了
主機板的第三張gpu
只能含恨用GT 730代替

單人生成式AI安裝過程

還有這完美的一體式IO版

各位能在上面找到任何缺點嗎？

不你找不到

6個3.2 USB

兩個4.0 USB

無線晶片

兩個有線晶片

這簡直堆料堆好堆滿

2025-02-13 23:26 發佈

文章關鍵字 AI 過程

Ghostwriter

Ghostwriter
個人積分：2036分
文章編號：91124210

2036分

2樓

2025-02-14 0:13

a060110 wrote:
生成式AI的終點就是...(恕刪)

看不出來你想走哪條路線
走目前最紅 CPU + GPU 的話
RAM 最好上滿
如果要裝滿四張卡
礦架比普通機殼好

-----------------------------------------------
我的疑惑是
如果你有10萬預算，無論是打算走 CPU + GPU 混合架構
或是多 GPU 架構，都有成熟的方案可以選擇
然後你說現在大部分預算都壓在 Threadripper 上
我看起來是要走混合架構
不過混合架構要堆 RAM，至少要超過 256G 才有效益
但是你 DRAM 看起來才一張，這條路就走不通
如果錢換成 3090 x2 / x3，CPU 用 eypc 就能做很多事情了
我不確定你有沒有別的理由或工作才要買 TRX50 平台
不太理解

a060110 樓主

我現在撐死撐到128gb 這樣跑LLM有用嗎

2025-02-17 7:18

Ghostwriter

a060110 我不清楚你要跑甚麼模型，可以去看 ollama、llama.cpp，deepseek 可以去看 ktransformer，這三個是混合架構流行的後端，比起其他後端來說也較好上手

2025-02-17 21:23

syntech

syntech
個人積分：991分
文章編號：91124616

991分

3樓

2025-02-14 7:27

裝 2B 以下的 AI小模型,
不用花那麼多

sorry

a060110

a060110
個人積分：5分
文章編號：91129820

5分

樓主

2025-02-15 2:38

Ghostwriter wrote:
a06011...(恕刪)

我原本是打算沿用之前挖礦的模式
挖礦主機板pciex1轉接11張顯示卡
但是不知道是我太久沒挖礦還是其他問題
Windows始終只能讀出一張卡
我最後被逼的不轉接直接用pciex16
只能用 TRX 50 ai
請問我是因為沒有用linux os才會落的如此下場嗎?
伺服器等級的CPU跟gpu混用的話效率會更高嗎（如果只用128gb的記憶體）？

Ghostwriter

Ghostwriter
個人積分：2036分
文章編號：91132048

2036分

5樓

2025-02-15 19:41

a060110 wrote:
我原本是打算沿用之前...(恕刪)

即使是推理情景，挖礦架構也不適合給 LLM 使用
多卡啟用張量並行，頻寬至少要 PCIE3.0 x4 以上
否則效能必然折損得很嚴重

抓不到卡只跟你轉接板和線材有關
無論是 Windows 或 Linux 都無所謂

混用無庸置疑，會變很慢
適用想跑超大參數模型，GPU VRAM 又不夠的情景
優點是便宜，即使是 DDR5 REG 也沒多貴
比起 3090 x8 / RTX6000 Ada x 4 來說都是小錢

a060110 樓主

謝謝您的建議我會好好參考

2025-02-15 22:16

a060110 樓主

原來如此我差點用pciex1轉16去跑LLM了感謝提醒

2025-02-16 18:32