[筆記]土砲 10G ZFS NAS - FreeNAS 學習中 (持續更新)

一直以來就很羡慕版上諸位前輩能夠自己DIY一台NAS & File Server, 但自己是非常懶的人, 所以直接買套裝回來用是最省事, 這台 HP MicroServer Gen8 擺在倉庫裡面應該有大半年以上了吧! 今天決定把它拿出來用了, 雖然還不曉得到底要安裝什麼 NAS OS, 不過凡事有個起頭, 就會逼自己去完成它.

HP MicroServer Gen8

這台算是已經過時的 Mini Server 吧! 因為便宜所以才會選擇它做為 DIY NAS 之用. 懶人也沒有那個能力去找機殼, 主板, Power Supply... 來拼, 所以直接買現成的 server 來用.

開箱囉. 放那麼久不曉得有沒有生鏽


有人幫忙開箱


其實是想玩紙箱啦!


這就是 HP MicroServer Gen8, 就大約一隻小貓的高度, 至於寬度比一隻小貓小很多(你看頭尾都超出機器很多), 詳細規格請自行參考官網.


內建 4bay hard drive tray.


硬碟匣


後面. Dual gbe Port, VGA Port, 有一個 iLO, Low-Profile PCI-E slot.


鬆開後方兩顆螺絲就可以脫去外殼.


可以插兩支 ECC RAM, 打算擴充到 8GBx2 (這台標配是 4GBx1)


有個 Secure Lock, 可以 Lock 前面板, 不讓人拔硬匣.


這邊可以看到有一 pci-e slot.


可以插 MicroSD, 內主板上有一個 USB slot, 應該是可以做為 OS boot 之用.


這個是接光碟機用的, 這台是沒有內建光碟機. 另外那個 Mini-SAS 是接到硬碟背板.

安裝 FreeNAS

自己也不曉得怎麼安裝, 不過網路上有很多分享文, 照著做應該不難, 小弟先看完這個官方的教學錄影帶, 再來分享.


觀後感: 這部影片主要只是提示安裝 FreeNAS 所需的配備, 在實際安裝時, 由於所用的 HP Server 並沒有光碟機, 所以改用 USB Thumb Drive (USBKey) 安裝, 在網路上的一些教學文是使用 FreeNAS 9.3 之前的版本, 在內容上有些不同, 在 9.3 以前的版本, 可以直接下載 FreeNAS *.img image file, 然後直接透過程式寫入 USBKey, 而這支 USBKey 就是 FreeNAS 開機碟.

但 FreeNAS 9.3 之後, 已經無法直接製作 img USBKey, 都必須透過安裝的方式, 將 FreeNAS 安裝至系統, 若安裝在硬碟上, 則該顆硬碟多餘的空間是無法再拿來當做儲存空間使用, 所以建議將 FreeNAS 安裝在 USB碟上, 或是找一顆容量較小的硬碟/SSD 來裝系統, 其他多餘的硬碟再用來做為儲存空間之用.

此次安裝的是 FreeNAS 9.10 版, 所以必須準備兩支 USBKey, 一支僅用於第一次設定的 FreeNAS iso 安裝盤, 另一支 USBKey 用於安裝 FreeNAS OS 用 (容量至少要 8GB)

另外對於自行 DIY Server 有興趣者, 這支影片介紹的更詳細.


觀後感:
*影片中倒是沒有提到如何在 GUI 中指定 IP, 在第一次安裝完 FreeNAS, 可以直接在 Console 設定 IP, 而在 GUI 則從 Network > Interfaces > Add Interface 開始做 (一般的觀念是這 Network Interface 應該早就存在, 只是設定為 DHCP, 但在 FreeNAS GUI, 你要從 Add Interface 做), 在 GUI 從 DHCP 改為指定 IP, 必須於 browser 手動輸入新的 IP, GUI 它不會自動幫你重新導到新 IP. 另外別忘了在 Network > Global Configuration 輸入 default gateway & DNS Server IP.

*首次建 ZFS, 原本手上的硬碟是 3TB*2 + 2TB*1, 結果登入 FreeNAS GUI, Create Volume 時無法建 ZFS, 原來使用不同容量硬碟要建 zfs, 必須自己下 command. 所以省事的做法, 就是使用相同容量的硬碟.

附註:
mirror: 至少兩顆硬碟.
raid-z1: 至少三顆
raid-z2: 至少四顆

*對於已習慣市面上套裝 NAS 設計方式的 User 來說, FreeNAS 還是有一些難度, 影片中說 FreeNAS super easy 是騙人的 , 例如建立共用資料夾及設定 user & group 存取權限部份, 這在一般 NAS 做法很容易, 但在 FreeNAS 涉及 Create Dataset, Create CIFS Sharing, 以及 Dataset Permissions 的設定, 這部份可以參考網友的文件. (FreeNAS 設定共用及個人資料夾)

*必須承認, 照著上面的影片去建 share folder, 在小弟的 FreeNAS 9.10 是無法存取該共用資料夾, dataset permissions 權限也有開, 最後是照上面的文件設定才解決, 可能 9.3 和 9.10 版有些不同吧.

這裡附上存取效能簡測. HP Gen8 5GB 大檔對 Windows 7 讀寫效能. 如預期就大約 100MB/s 上下.(三顆 3TB NAS 碟建 raidz)




HP MicroServer Gen8 設定細節
*HP MicroServer Gen8 預設是啟用 Smart Array B120i RAID controller, 在安裝 FreeNAS 之前我們必須先將其切換為 AHCI mode.

開機 -> F9 -> System Opitons -> SATA Controller Options -> Embedded SATA Configuration -> Enable SATA AHCI Support.

*另外好心網友提示, HP Gen8 Bay1&2 為 SATA3 6Gbps, Bay3&4 為 SATA2 3Gbps, 這也是要注意的地方.

*有些網友是另外再裝一台 SSD, 用膠帶固定在光碟機位, 以 FDD to SATA 轉接線供電(google "dell mx714"), 並直接插在 SATA ODD (3Gbps) port.

*光碟機位的改裝方式, 除了買原廠的光碟機外, 另外就是購買一般的筆電用光碟機, 然後用 USB to SATA 轉接卡, 用 USB 直接供電及驅動也可以.

*HP Gen8 如果 disable onboard RAID controller, 則 SATA ODD port 變成無法 boot, 這是要注意的地方.

*這台官方規格是說 non-hot plug, 但有人說設定為 AHCI mode, 是可以支援 Hot-swap.

學會自己找答案

Google 是最好的朋友, 另外在 FreeNAS GUI 左側有一個 Guide, 這是 online help, 有完整的說明.

為 L2ARC Cache 做準備

前輩有提到一個 ZFS L2ARC cache 機置, 主要是拿 SSD 來做為 NAS cache 用, 那就先裝一顆 SSD 備用, 但 HP MicroServer Gen8 的硬碟匣設計, 只能裝 3.5" 硬碟, 是無法裝 2.5" SSD. 解決方法就是使用 2.5" to 3.5" 轉接盒/架.

這是 ICY 官網上看到將 2.5" 轉為 3.5" 盒. 外部機構設計就是根據 3.5" 硬碟設計, 後方一個轉接短板. 不過價位上還蠻高的, 約 nt$620.

(圖片取自官網)

這款在 Amazon 銷售的轉接盒就親民多了, us$12.90



最後我是買了這種的, 不過還在寄來台灣的路上.

Sharing & Service 之間的關係

如果你已經習慣 qnap & synology 這類套裝 NAS 的設定方式, 那麼在 FreeNAS 上面有個設計的概念是不同的. 在市面套裝的 NAS 上建立共用資料夾後, 它通常就同時提供了 CIFS/AFP/FTP 等連線方式, 但在 FreeNAS 上面的 Sharing 是根據 Service 分別設計.

簡單說, 一個 path (例如 /mnt/vol1/multimedia) 它要能夠同時提供 CIFS & AFP 的連線方式, 那麼如下圖, 你必須在 Sharing -> CIFS & AFP 各別去建立分享.



市面套裝 NAS 的設計好像比較容易設定, 但 FreeNAS 提供更大的彈性.

ftp server 啟用

FreeNAS 預設是沒有啟用 ftp service, 必須至 Services > ftp 啟用該服務.
預設的 clients, connections 請依照自己的環境調整, 預設值是設的比較低些.


另外 Allow Local User Login 要打勾, 不然就不曉得怎麼使用 ftp 連線. (ps:有人曉得如果不勾選是要用什麼帳號登入嗎?)

在 FreeNAS 的設計中, 有一點小弟無法參透的地方, 它的 ftp 登入後的檔案目錄權限好像沒有跟 Sharing 那裡做結合? 例如我已建立的一些 CIFS 共用資料夾, 在 ftp連線後是看不到的, 那這 ftp service 要如何應用?

ps: 前面才說要自己找答案. online help 上面寫的很清楚. "Allow Local User Login - required if "Anonymouse Login" is disabled. 啊這 FreeNAS 是來亂的嗎, 明明 Allow Anonymous Login 預設就沒有打勾, 那 "Allow Local User Login" 預設就應該幫我先勾選啊

NAS 不存取時想省電?

這好像是蠻一般的 function, 不過在 FreeNAS > Storage 好像沒有提到相關的設定. Google 有找到一篇, 不過程序上有點複雜, 有興趣的人可以參考,

How to get FreeNAS 9.3 to spin down your idle hard drives to Standby mode

對了, HP MicroServer Gen8 耗電量如何? 這台裝了三顆 3TB NAS 硬碟, 耗電量約在 45watt 以下. 還蠻省電的.


參考: 一般 Synology DS415+ or Qnap TS-453A 4bay NAS, 耗電量約在 40Watt 以下 (ps:這是安裝四顆硬碟所測得的值)

WOL & 復電後自動開機

這算是基本的功能, Wake-On-Lan & 斷電後復電自動重新開機這兩項一般都是在 BIOS 裡面設定, 套裝 NAS 通常方便 User 在 Web GUI 設定, 在 HP Gen8 Server BIOS > Server Availability > Wake-On LAN & Automatic Power-On

預設 WOL 是啟用, 而 Automatic Power-On 預設也是復電自動重開. (可設定 Always-On, Always-Off & Keep Last State)

實戰經驗分享

FreeNAS 各版本下載
以內建的 Micro SD slot 開機
2.5" to 3.5" 轉接架
Windows 共用資料夾的權限設定方式
10G 網卡實測
更換故障硬碟, 還真的有點難度, 別拔錯顆了
開啟 ssh 登入權限
如果設定硬碟自動節電
自動排程 snapshot
不同容量硬碟如何同組一個 RAID?
淘寶買的 NT$500 10G 網卡實測
iSCSI LUN & Target 實作
ZFS snapshot replication 實測

有用資訊

Open-ZFS.org
ZFS Performance tuning
ZFS Best Practices Guide
Zpool & ZFS Administration
FreeNAS 各版本下載
HKITBLOG - FreeNAS 教學文
ZFS Performance on HP Microserver Gen8
ZFS效能調教概念
GetNAS 中文網
手殘的VIRTUAL-ON玩家
HP MicroServer Gen8 討論區
ZFS Raidz Performance, Capacity and Integrity
zfsbuild.com
FreeNAS 9 – The Ultimate Quick Start Guide
Slideshow explaining VDev, zpool, ZIL and L2ARC for noobs!
48TB NAS Build