10G Network 設備連接 MTU 調整效能問題

fz500s
個人積分：41分
文章編號：58158259

41分

樓主

2015-11-11 16:09

請問一下有人對MTU變更有了解的嗎?

架構如下：
ESXi-Server 10G_Network > 8Port 10G Switch > NAS 10G_Network (上面會架設多台虛擬機)

NAS設備商是說接10G要調MTU:9000才會有明顯的效果，但查了幾篇舊文章好像調了MTU並不會改善效能有時反而更差，但文章都應該是1G時期測試出來的結果，所以想知道使用10G架構的話，需要調整的MTU值嗎

這是我看到的二個文章
https://amigotechnotes.wordpress.com/2014/01/12/maximum-mtu-doesnt-mean-best-performance/
http://ir.lib.ksu.edu.tw/bitstream/987654321/2818/1/%E5%B0%88%E9%A1%8C%E8%A3%BD%E4%BD%9C.pdf

2015-11-11 16:09 發佈

文章關鍵字 10G Network 設備 MTU 效能問題 10

vxr

vxr
個人積分：400分
文章編號：58158635

400分

2樓

2015-11-11 16:37

fz500s wrote:
請問一下有人對MTU...(恕刪)

這要取決於你平常的資源請求是哪方面...
如果是連續的大型區塊檔案...
那其實MTU拉到9k, 我認為是很有效果..
至少我這邊測出來的結果是這樣...

我曾經幫客戶測過20Gbps的HBA
他是用mellanox的..
但是他面對的都是超大型的設計檔..
他是這樣的..
RAMDisk on PC-A <==SMB==> RAMDisk on PC-B
以SAMBA傳輸..
因此我測過這種這種情況下是可以獲益的...

fz500s

fz500s
個人積分：41分
文章編號：58159412

41分

樓主

2015-11-11 17:38

vxr 感謝回覆，你的環境是有實體大檔案在傳所以可以確認，但是我的架構是ESXi在NAS上存放VMDK來用，到底是要用整個vmdk來看，還是看虛擬機上運作存取來記算(sqlserver or FileServer)，真是給他有點搞不清，看來只能等設備來在測一下了。

vxr wrote:
這要取決於你平常的...(恕刪)

vxr

vxr
個人積分：400分
文章編號：58160505

400分

4樓

2015-11-11 19:18

如果你vswitch或著switch把MTU加大..
我是覺得沒差, 因為要取決於client/Guest VM..
你有一個VM要做DAS的話, 這時候開9k frame..
我相信有好處...
ESXi的host PC頂多想辦法讓VAAI生效即可..
如果你可以有一些硬件虛擬化的實作那更佳...

石光上林

石光上林
個人積分：15828分
文章編號：58160805

15828分

5樓

2015-11-11 19:49

vxr wrote:
20Gbps的HBA
他是用mellanox的..

大大有試過如果兩邊都2012 R2 開啟SMB over RDMA 會比較快嗎?

另外開啟jumbo frame是會減少加解封包的次數的，而一般這個加解封包是在網卡，所以就降低網卡的loading

減少資料待在網卡buffer的時間，降低延遲

也许是一场难圆的梦一场没有结局的梦多少的笑语飞散在风中又围绕在我耳边

vxr

vxr
個人積分：400分
文章編號：58161267

400分

6樓

2015-11-11 20:32

石光上林 wrote:
大大有試過如果兩邊...(恕刪)

我沒有特別試過..
以前有試過Mellanox的Infiniband 128MB 10 Gbps的老物(InfiniHost III Ex)...
環境不是2012, 而且這貨也開不了9k...
那時測到最大傳輸也只到650~800MB/s左右(SMB)
RAMDisk對傳..

不過Mellanox的卡掏寶一堆賣
Connect-X不少..
但是缺點就是要自己折騰一下了...

Kenji.K

Kenji.K
個人積分：502分
文章編號：58169693

502分

7樓

2015-11-12 13:28

簡單來說就是要全部設備都設成9K 就有效果，路由中間有一個不是9K 就可能有反效果

雲1234

雲1234
個人積分：16分
文章編號：58169837

16分

8樓

2015-11-12 13:38

fz500s wrote:
ESXi-Server 10G_Network ＞ 8Port 10G Switch ＞ NAS 10G_Network (上面會架設多台虛擬機)
NAS設備商是說接10G要調MTU:9000才會有明顯的效果，但查了幾篇舊文章好像調了MTU並不會改善效能有時反而更差，但文章都應該是1G時期測試出來的結果，所以想知道使用10G架構的話，需要調整的MTU值嗎

1.你的架構是怎樣的，幾台esxi 幾台nas?

2.你的應用是什麼方面的？

fz500s

fz500s
個人積分：41分
文章編號：58231271

41分

樓主

2015-11-17 13:17

雲1234 wrote:
1.你的架構是怎樣...(恕刪)

單台ESXi Server& QNAP 8*SATA RAID-10 Storage，上面主要跑 AP & DB (vmdk 均放置於storage上)

目前測試用IsMyHdOK mtu開到9000的話磁碟讀取部份有提升50~100mb/s的差距，但寫入沒什麼差哩，不知測的對不對

另外esxi在Windows2012R2上進行大檔的複製動作一開始有500mb/s在來就300~100mb/s飄動，最低還有到30mb/s的這是正常的嗎?比一般單機拷貝都來的慘。