複製檔案的瓶頸是什麼？

zuzu2008

zuzu2008
個人積分：903分
文章編號：80102431

903分

樓主

2020-12-11 9:24

直接從nas的usb3.1 接上2t ssd 外接碟，複製1.5T 但是高達600萬個檔案，大多是小檔案。
速度就維持在15m～25m/sec，nas 已經有512g的cache，速度上不去的原因是nas還是外接ssd？

複製檔案的瓶頸是什麼？

2020-12-11 9:24 發佈

文章關鍵字檔案瓶頸

srwe

srwe
個人積分：4409分
文章編號：80102470

4409分

2樓

2020-12-11 9:27

Bottleneck在switch/router的I/o處理速度

minix

minix
個人積分：3958分
文章編號：80102597

3958分

3樓

2020-12-11 9:36

所有網路設備都換成 gigabit 就會比較快
有一個設備不是 gigabit 速度就會被卡住

放開那個女孩 ...

Gabriel_God

Gabriel_God
個人積分：766分
文章編號：80102637

766分

4樓

2020-12-11 9:39

版本名稱頻寬編碼備註
USB 3.1 Gen 1 SuperSpeed 5 Gbit/s 8b/10b 與USB 3.0相同
USB 3.1 Gen 2 SuperSpeed+ 10 Gbit/s 128b/132b 新標準

你確定是哪一個3.1

版本名稱頻寬編碼備註
USB 3.2 Gen 1×1 SuperSpeed 5 Gbit/s 8b/10b 與USB 3.1 Gen 1、USB 3.0相同
USB 3.2 Gen 2×1 SuperSpeed+ 10 Gbit/s 128b/132b 與USB 3.1 Gen 2相同
USB 3.2 Gen 2×2 SuperSpeed+ 20 Gbit/s 128b/132b 雙通道模式，需要USB 3.2電纜

還是 3.2

nikon_user

nikon_user
個人積分：903分
文章編號：80102726

903分

5樓

2020-12-11 9:46

zuzu2008 wrote:
複製1.5T 但是高達600萬個檔案，大多是小檔案。

單檔案1.5T和同樣由600萬個小檔案所組成的1.5T，複製速度就是不同，影響複製速度效率的原因在於檔案大小，單檔案越小複製效率越低。

zuzu2008

zuzu2008
個人積分：903分
文章編號：80103489

903分

樓主

2020-12-11 10:41

Gabriel_God wrote:
版本名稱頻寬編碼備註USB...(恕刪)

不管是3.1/3.2 都是遠超過20m/sec 故應不是重點。

zuzu2008

zuzu2008
個人積分：903分
文章編號：80103527

903分

樓主

2020-12-11 10:44

minix wrote:
所有網路設備都換成 (恕刪)

請問這是什麼樣的設備？

zuzu2008

zuzu2008
個人積分：903分
文章編號：80104189

903分

樓主

2020-12-11 11:30

nikon_user wrote:
單檔案1.5T和同樣(恕刪)

單一影片檔沒問題，但工作上就是需要經常copy一堆小檔。

點我看大圖

摳男道爾

摳男道爾
個人積分：1373分
文章編號：80104309

1373分

9樓

2020-12-11 11:38

樓主都説了，是直接把USB插在NAS上面，這樣的話跟網路沒有關係。
主要是每個檔案太小了。
小檔案會拖累傳輸速度。

claus950

claus950
個人積分：2778分
文章編號：80104687

2778分

10樓

2020-12-11 12:09

zuzu2008 wrote:
直接從nas的usb3.1 接上2t ssd 外接碟，複製1.5T 但是高達600萬個檔案，大多是小檔案。
速度就維持在15m～25m/sec，nas 已經有512g的cache，速度上不去的原因是nas還是外接ssd？

絕對是4k讀寫性能，算是SSD的鍋吧，不過你也應該很難找到比SSD更強的設備了(除非是更強的SSD或RamDisk)，你可以試著把小檔壓縮起來，只要成為一個大檔，傳輸速率應該就能跑滿原廠標示。

補充一點，剛剛看到1.5T，這麼大的檔案，多半是超過SLC Cache，TLC或QLC的話，會出現cache用盡導致降速，看品牌而定，目前最強的WD SN750可以做到緩外寫入約800MB/s，廉價SSD大概一般在100~300MB/s，intel 660P最差，只有30~50MB/s，給您參考!!