自己是IT人員，公司算是中小企業
近期公司有想要訓練我們自己的資料庫
可以作客服或是內部技術來用
有爬了些文章，會想以運算效能跟能處理的模型大小為第一考量
還在思考軟硬體要往哪個面向添購才能一次到位
目前是確定如果要養AI
資料應該是以文字跟表格為主，算圖的需求不高
想請益看看有沒有人公司有類似的工作站
或是伺服器是服役中並且覺得不錯的？
(附連結)可以往這方面再研究看看。
https://www.gigabyte.com/tw/Graphics-Card/GV-N407TSAI-TOP-16GD#kf
chien1650 wrote:
自己是IT人員，公司...(恕刪)
伺服器無非是HP、DELL這些大廠
重點是你們的需求確切是甚麼? 以及預算?
公司有錢?
H100 一張 130 多萬幹啥都行，一張不夠想橫向擴展，有錢完全不是問題
Azure 雲端 GPU 直接開下去
預算不夠?
A100 80G 適合微調、推理
L40S 48G 適合單卡微調、推理，比 A100 好一點 (不爆顯存)
RTX A6000 48G 優勢在顯存大小，否則微調、推理能力比 4090 24G 還爛
RTX 6000 Ada 強於 A6000，優勢類似，能力跟 4090 有 87% 像
A40 48G 可以考慮一下，A100的弱化版，有NVLink 串聯微調效率好不少
其他 A2, A10, A30, L4, L40 就不提了，可以自己去看一下 manual，沒必要考慮
總於言之，暫定的需求想清楚，要一步到位沒錢絕對做不到
目前的情況公司打算推什麼服務，就用那個服務(微調or推理)來估配備要採買哪一種類型
丐版LLM服務器：4090x2，也不是不行不是嗎
話說真的有人很擅長用Mac微調嗎? RD會吐血吧
關於AI工作站或伺服器，除了某些特殊的大企業或提供科技服務公司，
不然有點搞不懂為什麼要自己架AI工作站或伺服器?
中小企業更不用說，哪來的財力做這事?
不能付費用外面的AI嗎?
你買進來AI工作站或伺服器，當然上面沒付任何APP或服務，
所以你公司要自己開發這些服務?
你公司是開發這些服務然後提供給外面的公司嗎?
如果不是，為什麼要這麼做?
你需要用到photoshop這類的修圖軟體，只要去買來用或租用就可以了，
沒必要自己開發photoshop來自用吧?
多數人和一般中小企業，
應該都是用外面的AI工作站或伺服器上面提供的服務，
如chatgpt，使用一些付費才有的功能，
例如生成圖片，生成影片，文件產出之類的。
有人說生產線改用AI機器人或是某些系統(如ERP)改用AI之類的，
只能說中短期內不可能，未來才有可能。
現在的工廠生產線本就有自動化生產的設備(程序機器)，
上面本就有各種感應和偵測裝置(配合程序，也算是另類AI)，
依照"制定好的程序"來運作本就可以滿足生產，沒必要特別去搞AI。
ERP同理，
本就需要配合資料庫和軟體依照"制定好的程序"來運作，AI用途不大。
當然不否認跟以往一樣，很多東西會拿流行字眼來搭順風車，
明明只是單純的程序判斷，也會說是AI。
內文搜尋
從 APP 打開
X