• 6

Synology NAS btrfs/ext4 筆記

看了很多的實測報告及錄影, 打算自己動手做看看, 將一些實測的資料紀錄下來.

實測連結
Toshiba 3TB*3 RAID5 初始化所需時間
RAID5 rebuild 速度實測
RAID6 初始化及 rebuild 速度實測
SAMBA/CIFS 檔案複製速度實測 (GB/MB)
SAMBA/CIFS 小檔案複製速度實測 (KB)
ftp 寫入 NAS 實測
NAS 內部 RAID 5/6 傳輸效能實測 (以 fio)


Btrfs相關連結
Btrfs wiki
新一代 Linux 文件系统 btrfs 简介
Oracle Linux Administrator's Solution Guide


測試環境
NAS: DS916+
DSM: DSM 6.2 beta
Synology NAS btrfs/ext4 筆記

DISK: Toshiba DT01ACA300 3TB HDD*3 (RAID5), tray#1 ssd 未使用.(預留日後測試用)
Synology NAS btrfs/ext4 筆記

Synology NAS btrfs/ext4 筆記


DS916+ NAS 的設計:
DS916+ 採用 N3710 CPU, 內建 SATA III SATA3 Port*2, 此台為 4bay NAS, 另外增加的 SATA III Port 是利用 Marvell SATA controller 達成, 拆了機器及查了一下 data sheet, 箭頭處即為 2 port SATA controller signel, 連接至 NAS SATA 背板.
Synology NAS btrfs/ext4 筆記

看了一下背板的線路, DS916+ 的設計上, Tray#1/#2 是接至 Marvell SATA Controller, 而 Tray#3/#4 才是接到 N3710 CPU 原生 SATA Port*2.
Synology NAS btrfs/ext4 筆記

hdparm 小測
hdparm 為一個方便的硬碟測速程式, 可以大略曉得硬碟和NAS 之間的傳輸效能, 可當做參考.

如下, Toshiba 3TB 硬碟是接在 Tray#2/3/4, 這 DT01ACA300 HDD 之前也在 DS918+/DS418 實測過, 以 hdparm 測出來的傳輸效能大約在 190MB/s 左右. 在此 DS916+ 結果也差不多.


root@ds916plus:~# uname -a
Linux ds916plus 3.10.105 #22259 SMP Mon Oct 2 02:41:43 CST 2017 x86_64 GNU/Linux synology_braswell_916+


/dev/sdb:
Timing buffered disk reads: 574 MB in 3.01 seconds = 190.97 MB/sec
root@ds916plus:~# hdparm -t /dev/sdc

/dev/sdc:
Timing buffered disk reads: 584 MB in 3.01 seconds = 193.99 MB/sec
root@ds916plus:~# hdparm -t /dev/sdd

/dev/sdd:
Timing buffered disk reads: 570 MB in 3.01 seconds = 189.66 MB/sec



SMART 資訊.

root@ds916plus:~# smartctl -d ata -i /dev/sdb
smartctl 6.5 (build date Sep 30 2017) [x86_64-linux-3.10.105] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Toshiba 3.5" DT01ACA... Desktop HDD
Device Model: TOSHIBA DT01ACA300
LU WWN Device Id: 5 000039 fe6d913fe
Firmware Version: MX6OABB0
User Capacity: 3,000,592,982,016 bytes [3.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Sun Nov 5 11:42:02 2017 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

root@ds916plus:~# smartctl -d ata -i /dev/sdc
smartctl 6.5 (build date Sep 30 2017) [x86_64-linux-3.10.105] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Toshiba 3.5" DT01ACA... Desktop HDD
Device Model: TOSHIBA DT01ACA300
LU WWN Device Id: 5 000039 fe6d9138f
Firmware Version: MX6OABB0
User Capacity: 3,000,592,982,016 bytes [3.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Sun Nov 5 11:42:04 2017 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

root@ds916plus:~# smartctl -d ata -i /dev/sdd
smartctl 6.5 (build date Sep 30 2017) [x86_64-linux-3.10.105] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Toshiba 3.5" DT01ACA... Desktop HDD
Device Model: TOSHIBA DT01ACA300
LU WWN Device Id: 5 000039 fe6d16487
Firmware Version: MX6OABB0
User Capacity: 3,000,592,982,016 bytes [3.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 3.0, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Sun Nov 5 11:42:04 2017 CST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

FB: Pctine
2017-11-05 11:43 發佈
文章關鍵字 筆記
3TB HDD*3 RAID5 首次建立時間

Toshiba 3TB*3 建立 RAID5, DSM 皆採用預設值, 未調整 resync 等參數.

01:01:39 ~ 08:08:15: 3TB/25596sec = 123MB/sec, 首次建立 RAID5 的速度大約是 123MB/sec


FB: Pctine
檔案複製

在 DS916+ 上面的 RAID5 同時建立 btrfs & ext4 兩種檔案系統. 約 200GB 空間, 並各自建立 share folder, 並利用不同的方式實測.

client: Windows 10, Intel i5-6400, 16GB, 以 10GB 建立 RAM disk, 當做檔案來源端.

測試的方法有兩種, 第一種以大家最常用的 Windows 檔案總管複製貼上來實測, 這是絕大多數人慣用的方法, 另一種採用 fastcopy 程式來測試.

準備了兩種檔案, 一個是單一大檔 5GB, 另一個是 1800個 jpg file, 大約 4.34GB



Windows 檔案總管 copy & paste 實測
直接利用 Windows 10 上面的 copy & paste 來實測檔案複製.
video (以錄影下來的影片來取得複製的時間差)
單一 5gb file:
btrfs: 00:02-00:45 (44秒)
ext4: 00:48-01:31 (44秒)

1800 個 jpg file:
btrfs: 01:45-02:49 (65秒)
ext4: 02:51-03:52 (62秒)


fastcopy v3.3.2
下圖左邊為建立共用資料夾在 btrfs 上, 右邊為在 ext4 上.
單一 5gb file:
btrfs: 43.3秒
ext4: 43.1秒


1800個 jpg file:
btrfs: 67秒
ext4: 57.5秒



由前面的測試:
1.大檔案在複製的速度上, btrfs 和 ext4 的寫入速度非常接近.
2.1800個 jpg file, 合計 4.34GB, 平均每個檔案約 2.47MB, 以 windows 檔案總管複製. btrfs 較 ext4 慢了4.8%, 以 fastcopy 複製時, btrfs 較 ext4 慢了 16.5%.
FB: Pctine
謝謝P大的分享。看起來單一大檔案差異不大,在零碎的小檔案中差了約10秒。大概是16%的效能差異。 感覺還可以接受,或許之後還能繼續再優化。

另外請教P兄,BTRFS是不是不建議跑 RAID 5呢?還有 S家的快照是否只有支援BTRFS,不支援 EXT4? 謝謝
bobo168 wrote:
謝謝P大的分享。看起來單一大檔案差異不大,在零碎的小檔案中差了約10秒。大概是16%的效能差異。 感覺還可以接受,或許之後還能繼續再優化。...(恕刪)


這是一個很奇怪的現象, 在使用 windows 檔案總案複製時, 以這個 case, btrfs & ext4 速度是相當接近的. 但改用 fastcopy 時, 速度上就明顯有差距. 此這個案例, 採用 fastcopy 在複製效能上並不會比 windows 檔案總管快速.

FB: Pctine
pctine wrote:


這是一個很奇怪的...(恕刪)



是的,不知道檔案總管跟fastcopy 兩支程式的流程跟邏輯差在哪裡。不過對一般使用者來說,也不用第三方程式了,就直接用windows內建的檔案總管就OK了,也算省事。

bobo168 wrote:
是的,不知道檔案總管跟fastcopy 兩支程式的流程跟邏輯差在哪裡。不過對一般使用者來說,也不用第三方程式了,就直接用windows內建的檔案總管就OK了,也算省事。...(恕刪)


原本我也以為 fastcopy 在 copy 1800 jpg test file 時會有驚人的效能, 但這個實測上發現, Windows 10 的檔案總管複製速度並不比 fastcopy 慢, 1800 個 jpg 大約也只相差個幾秒.
FB: Pctine

bobo168 wrote:
另外請教P兄,BTRFS是不是不建議跑 RAID 5呢?還有 S家的快照是否只有支援BTRFS,不支援 EXT4? 謝謝...(恕刪)


這部份 Synology 官網有說明.
Synology NAS 支援的 Btrfs 檔案系統所使用的 RAID 為何?

的確 Synology 快照是採用 btrfs 的技術, 它的 ext4 file system 並不支援快照.
FB: Pctine
感謝P大分享
讓S家忠實鐵粉P大幫忙證明了
S家btrfs不是只有人家測試的有問題
是真的比自家的Ext4慢
是個有問題的產品

希望S家正視這個問題
趁早趕快放棄整個不被承認的儲存格式
不要再殘害自家粉絲的信任

pctine wrote:


這是一個很奇怪的...(恕刪)
p大可以測試一下FTP 傳輸速度嗎?在兩種格式上是否也一樣有差異

  • 6
內文搜尋
X
評分
評分
複製連結
Mobile01提醒您
您目前瀏覽的是行動版網頁
是否切換到電腦版網頁呢?