NAS 傳輸速度問題

zuzu2008

zuzu2008
個人積分：903分
文章編號：79705472

903分

樓主

2020-11-08 14:36

PC 接光纖傳影片到Nas 速度可以達1g
但下列約7000個檔案，每個約100k－200k，速度會降到100m～6m，為什麼起伏這麼大？
針對這種量極大的超小檔案可以有什麼提速的方式？

NAS 傳輸速度問題

2020-11-08 14:36 發佈

文章關鍵字 NAS 傳輸速度問題

jjx874

jjx874
個人積分：6835分
文章編號：79706004

6835分

2樓

2020-11-08 15:25

大量小文件传输无法提升速度
取决于硬盘的4k传输速度
如果只是转移的话，先把大量小文件压缩成一个zip文件，再传到nas，会快很多

lewewang

lewewang
個人積分：442分
文章編號：79707464

442分

3樓

2020-11-08 18:00

複製大量的小檔案就是這樣

Kenny_Din

Kenny_Din
個人積分：6980分
文章編號：79707641

6980分

4樓

2020-11-08 18:23

將PC與NAS的硬碟都改成SSD 速度就會快了

傳統硬碟HDD 因為多了機械動作讀取頭所以搜尋小檔案速度就很慢大概比SSD慢了20倍

模糊的問題只會得到模糊的答案精準的問題則會得到精準的答案

好喘好累

好喘好累
個人積分：1236分
文章編號：79707720

1236分

5樓

2020-11-08 18:32

NAS的速限主要來自於網路及磁碟機I/O的速度.
磁碟機並接越多讀寫速度越快 (並10個比1個要快).
此外, 小而分散的檔案速度也會降低 (讀寫頭要一直移動),
用SSD並聯可大大加快小檔案讀寫, 但成本就大量增加.

thi

thi
個人積分：499分
文章編號：79708059

499分

6樓

2020-11-08 19:18

除了硬碟端的I/O存取差異外，TCP/IP協定，每個封包要傳輸時需經過3way handshake，傳輸端：我要傳資料囉 --> 接收端：好的 --> 傳輸端：連線建立 --> 開始傳送資料 --> 傳送結束。建立一個連線跟建立7000個連線，你覺得那個比較花時間。實際上所需要建立的連線數是以封包為主，所以7000個檔案建立的連線絕對不只7000個，除非每個檔案小於1500位元組。

>>有什麼提速的方式
打包之後再傳輸

zuzu2008

zuzu2008
個人積分：903分
文章編號：79709541

903分

樓主

2020-11-08 22:00

上面傳輸的方式pc 端是m.2 ssd，nas 端是4台ssd raid 0，衹是我比較好奇他的曲線，到達100m左右開始快速的降到6m，一段時間之後又會爬升到100m是否是nas 本身的ram?
這台是4g，如果擴充到16g，是否會延長他在10m的時間？

thi wrote:
除了硬碟端的I/O存...(恕刪)

srwe

srwe
個人積分：4386分
文章編號：79709559

4386分

8樓

2020-11-08 22:02

zuzu2008 wrote:
上面傳輸的方式pc (恕刪)

和ram的關係不大

NAS的CPU速度會有影響

fedora

fedora
個人積分：12907分
文章編號：79711150

12907分

9樓

2020-11-09 1:10

▲ M2 SSD 速度

▲ 傳統機械硬碟速度（這個是 2.5" 外接的，比較慢）

注意下方那個 "4K 隨機小檔速度"，這就為什麼拷貝大量小檔案很慢的原因。

連續讀寫，傳統機械硬碟並不慢。

但 4K隨機小檔讀寫，很慢。如上圖，個位數的。

全部換成 SSD？
- 昂貴
- 容量太小，不夠裝
- 不現實。除非凱子家裡有錢。

壓縮打包成 ZIP、7Z、RAR，再拷貝？
- 打包後無法直接用，打包 -->> 解包，浪費時間

有沒有不花錢提速的方法？

- 打包成「虛擬硬碟檔」，不是壓縮檔
- 「虛擬硬碟檔」，直接掛載就可以用，不必解包

舉例：

▲ 這是一個 50GB 大小的「虛擬硬碟檔」
只有一個檔案，50GB
拷貝這樣一個超大檔案，會比拷貝數千個小檔案快很多

▲ 我將它掛載為虛擬磁碟機 P:
這個掛載動作，只需1秒，虛擬磁碟機，可讀可寫

※ 是虛擬硬碟，不是虛擬光碟，可讀取，也可寫入！
用起來感覺就和普通硬碟，一模一樣

▲ 裡頭 12萬多個圖片

如果不是拷貝單一超大檔案，而是拷貝這12萬個檔案，不知道要多久？總之非常久。

但是將它封裝打包成一個「虛擬硬碟檔」後，以後我只要拷貝這個50GB超大檔案，就等於拷貝那12多萬個小檔案。拷貝過去只要一秒「掛載」就能用了。

********************

以上只是範例。虛擬硬碟檔，容量可以自己設，比方說起始5GB、10GB 什麼的。

不夠時可以擴充容量。只能擴大，不能減小。

微軟 WIN10 內建也有一種叫做 .VHD 的虛擬硬碟檔功能，不過那個不好用。

推薦開源免費軟體：imdisk。好用很多。

若有興趣可參考站內分享文章教學：
[教學] 將PC遊戲封裝成img檔，掛載為虛擬磁碟

zuzu2008

zuzu2008
個人積分：903分
文章編號：79712611

903分

樓主

2020-11-09 9:08

fedora wrote:
▲ M2...(恕刪)

太感謝了，還不知道有這東西。
馬上試用看看，