首先我是參考這個網路教學來更換我的 qnap 470 pro 上面的 cpu. 原本的 cpu i3 3220t 真的不夠跑那麼多 vm 的運算了, 特別是如果我還要讓它成為我主要的 vpn server 的話, 這樣子的加密真的會讓 i3 負荷不了, 而且 i3 的 cpu 不支援 VT-D, 所以讓它運行 vm 其實是不太適合的. 最後我選定了 i7 3770t, 它支援 vt-x vt-d 以及 aes-ni (vpn 加密協定). CPU 比較
原本的 i3 不支援 vt-d... Direct I/O path not supported (記憶體最終也升級到 16GB)
qnap x70 系列的主板
而從主板上面的照片, 在其 pci-e x16 插槽上面的藍色晶片, 應該就是 Qnap NAS 系統的 USB DOM (ssd) 512MB. 理論上, 那部分應該是可以作為新的開機碟, 完全把 qnap 的 firmware/os 完全刪除. 但是我還是膽子不夠大, 希望擁有退路, 所以那塊 hd 我是完全沒有動它的, 未來應該會使用 clonezillia 把它備份後, 開始直接安裝 開機 OS 在那塊 USB DOM. 這部分可以由其它更有膽量的網友們去嘗試看看.
很早我們就知道, 如果你進去 Qnap 的 Bios, 更換開機硬碟的優先順序, Qnap NAS 是可以使用不同的 OS 開機.
下圖是測試安裝 ubunutu on USB Disk SCSI9, SCSI11則是 qnap 的 usb dom.
而我新的開機模式是外接 e-sata SSD DOM 開機模式, 外接 usb 2.0 port for power
接下來就是 安裝 VSphere Esxi 6.0, 這部分非常簡單, 而且現在 VSphere Esxi 6.0 只要是2顆 cpu 以下, 都是免費的, 請參考其他人的教學
安裝好 VSphere 6.0 後, 最重要的設定是 PCI Passthrough, 如下
我最主要的 VM 是 ubuntu 14.04 + Kodi.TV (家庭劇院) + IncrediblePBX (IP PBX) + ZFS file server, 所以我必須要把 i7 上面的 gpu, HDMI, 以及主板上的 sata controller 直接給 ubuntu 使用, 不能透過 vsphere 這層軟體界面損耗任何的效能. 同時我也購買了 qnap 的 2 port 網卡 (也是要 pci passthrough), 作為 PFSense 防火牆/路由器的 WAN & LAN.
續待, 接下來會有
1.GlusterFS on ZFS 的測試以及安裝報告, 可以能會使用 分散式 2 way/ 3 way 鏡像, 最主要看最終會有幾台 NAS 加入.
2. OpenStack Kilo Swift 的測試安裝報告
我的最終目的是讓 好幾個 NAS, 透過 OpenStack 的架構, 建立一個多節點, 多個站點的分佈式文件系統的正真雲端儲存空間. 這樣子, 台灣各點分公司的資料/中國各點分公司的資料, 可以及時同步, 及時備份 (含異地備份), 除非三個辦公室的 NAS 同時掛點, 才會有資料遺失的機會 (風險太小了, 幾乎所有的 NAS 都已經是跑 RAID 1+0 的模式, 也就是除非在同一個時間點, 要壞掉 6顆不同機器上面的 HD)
--------------------------------------------------------------
第二部分測試
CPU & RAM 都更新了, i7-3770t 有 8個 thread (8 vCPU) 基本上可以跑 8個 vm 以上, vt-d 也開啟了 (vmfs 4gb 是透過 usb disk 上面的空間做的 嘗試了很多個 usb disk 終於發現 usb 3.0 sandisk ultrafit 16gb 的可以騙過 vsphere)
下面整個 pci passthrough 給我第一個 vm, Linux Mint 17.2 (ubuntu 14.04 的分支, 圖形界面很強的版本, 很像 windows 7)
我的 Linux Mint 17.2 是直接安裝在 我的 zfs pool 上面 (這部分很難, 其中有透過 一個外接的 usb ssd cp 過去到 zpool 上面)
所有 linux distribution 都無法直接安裝在 zfs 上面, 特別是 grub2 對於 zfs 支援是有限制的, 需要修改 config 後才能做到 (需要 使用 live cd usb gpart + clonezilla), 這部分絕對不建議新手來操作, 需要 linux admin 指數是 99分以上的達人. 我是參考以下的兩個教學
https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-install-Ubuntu-14.04-or-Later-to-a-Native-ZFS-Root-Filesystem
https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-use-a-zvol-as-a-swap-device
下面是 1k 寫入以及讀取的速度 模擬數據庫 讀取 以及 寫入的速度
下面是 128k 寫入以及讀取的速度 模擬一般 NAS video 檔案 讀取 以及 寫入的速度
你們可以參考 原系統對照測試 (參考用, 測試方法不同, 不能1比1對照)
但是可以知道 zfs 的速度是快 ext 很多. 目前我的 L1ARC (RAM cache) 只有放1G 而已, 然後我還沒有增添 ssd (zil & L2ARC 寫入 & 讀取) 來加速, 這部分的測試後面再丟出來.
