[請益] GbE 網路速度的瓶頸究竟在哪?

GbE 超高速乙太網路發表這麼久,都已經滿普及了,但是使用 GbE 接口的 NAS ,據報告指出,傳輸速率多數還是在 50 MB/s 以下。

GbE 的最高速率理論上明明是 125 MB/s ,現在新型硬碟的內部傳輸速度也有到最大 120 MB/s 、平均近百 MB/s 的效能了,並不像以往卡在硬碟讀寫速度要靠 RAID 0 才能餵飽線路,那何以目前 GbE 環境下的檔案傳輸速度,要高過 50 MB/s 還是那麼困難呢?時下 GbE 環境的檔案傳輸速度瓶頸究竟在哪?又該如何突破呢?

使用較好的網路卡,可以把 GbE 環境的檔案傳輸速度提高到多少 MB/s 呢?
2009-05-02 23:34 發佈
125 MB/s 是2 nodes peer to peer的理論最大值
但現實環境一個網路不會只有2 node
所以一定用CSMA/CD技術下的碰撞情形 效率一定會打折 (這牽涉到排隊理論和其他東西 研究所課程吧)
加上Network Packet還要加上header / tail / CRC .... 所以真正的有效payload只有80%上下

另外HD I/O速度也只是內部傳輸速度
其實還要考慮檔案放置的位置(HD製造商data block interleaving algorithm和技術就重要了)
上層OS是否能即時消化(OS Filesytem buffer cache)
再加上網卡自己的cache control效率和error handling能力
以上每一樣因素都在拼命將理論數值打折
這就是現實啊



節錄 iThome online 2004 年的這篇舊文
分析影響NAS效能的因素,我們可以依據影響的程度來排序:RAID控制器>交換器>伺服器調校>網路卡,這個順序可作為評估採購的參考,例如:RAID控制器會是最首要的考量點,選擇硬體RAID控制器的效益會比選擇網路卡廠牌來得重要...在某些情況下,交換器對NAS系統整體效能的影響,甚至會遠大於其他的因素...(恕刪)
上面提到的「影響 NAS 效能的因素」順序現在還適用嗎? 硬碟能提供的讀寫效能仍然是目前 GbE 環境中最大的瓶頸嗎?
把HP StorageWorks NAS 2000S接至10/100BASE-T的網路埠,在相同的Asus GigaX 2048交換器之下,最大的資料傳輸率為227.04Mb/s;連結GbE網路埠的資料傳輸率則是745.56Mb/s,效能差距超過3倍...(恕刪)
以上面那段描述來說,745.56Mb/s 已經接近 100 MB/s 了呢!能有這種速度已經很好了呀!更何況是五年前的數據,難道五年後的今天,要接近 100 MB/s 還是那麼不容易嗎?
1DX + 35L、85L II、135L、 16-35L II、28-70L、70-200L II
NAS的部份大部份都卡在cpu 處理和網路卡的效能

門變得很大,但是你的房子只有 10坪大

倒不如買個小電腦 雖然只有100mb的intel 82559
裝FREENAS 效能還多很多
robuni wrote:
GbE 超高速乙太網...(恕刪)


工作的地方使用光纖通道是可以跑到理論值附近

只是一塊雙埠的卡要價20000上下

而且交換器也要有光纖埠才能連接
大哥... 雖然是2004年的資料, 麻煩你去查一下HP StorageWorks NAS 2000S要多少錢好嗎??

一台要超過台幣20萬的NAS系統要跑到接近線速沒那麼難呀......

robuni wrote:
節錄 iThome ...(恕刪)
bala@syr wrote:
125 MB/s 是...(恕刪)
沒錯,我用netperf 對smartbit做點對點傳輸可達960Mb/s,多port同時進行就不行了
我的單車部落格 http://blog.pixnet.net/oliver605
Bentley wrote:
沒錯,我用netperf 對smartbit做點對點傳輸可達960Mb/s,多port同時進行就不行了...(恕刪)
也就是說兩臺電腦對連,不經由交換器的話,是能夠接近理論上限嘍?我另外爬到一篇 2005 年的舊文提到:
Cat 6 & Cat 5e 最大差別在於線材所能夠承受的最大頻寬,以目前的硬碟傳輸率來說還無法高過 90MB/sec, 所以使用 Cat 5e 就很足夠了。需要用到 Cat 6 的環境, 除非特殊需求, 否則等過個五年看看有沒有機會吧 :)...

PCI-32 33MHZ 頻寬 132MB/sec,VGA 多半的 PC 都已經使用 AGP Bus, AGP bus 頻寬已經從北橋獨立,ATA-66 以上也獨立, USB 2.0 也是獨立通道, Keyboard/Mouse 也不是使用 PCI Bus 通道, 扣除 Audio 部份, 在 GLAN 可以吃掉 60% 以上 PCI 頻寬的前提之下,才會勉強出現 PCI-32 33MHZ Bus 頻寬不足的情況...
然而現在單一顆 SATA 硬碟已經可以測出最高超過 120 MB/s、平均接近 100 MB/s 的傳輸效能,NIC 採用 PCI-Express 就算是 x1 也有最高 250MB/s 的單向傳輸頻寬,以上兩者對 GbE 的理論上限 125 MB/s 都不太算是瓶頸了,如果再使用兩臺電腦直接對連,去除 Switch 對傳輸效能的影響的話,傳輸速率大約可提高到多少 MB/s 呢?

順帶一問,現代主板內建的 GbE 接口,都已經內建 Auto MDI / MDI-X 功能,兩臺電腦對連不管有沒有跳線都可以正常使用了嗎?
robuni wrote:
也就是說兩臺電腦對連...(恕刪)


您忘了一點
HD write的速度遠遠跟不上Read的速度
所以一般來說Gb Network File I/O問題是在Destination write, not source read
光是這個無法克服的delay 其他東西再快都沒用
要徹底克服disk I/O的bottle neck
目前唯一的可行方式是透過Disk Array的Stripping
但要能支援Stripping的storage都相當高貴 不是一般平民百姓用的起的
這類設備HBA Fiber connector都有單channel 4Gb的水準
那又是另一個等級了
內文搜尋
X
評分
評分
複製連結
Mobile01提醒您
您目前瀏覽的是行動版網頁
是否切換到電腦版網頁呢?