EluSiOn wrote:
Linux Driver...(恕刪)
太深奧了, 小弟的觀念都是停留在幾十年前的計算機概論的程度.
對於 remote & local 兩端的襠案, 小弟只曉得應該是要比對出到底有那些檔案異動了, 至於是要重新傳輸整個檔案? 還是所謂可以只傳輸檔案異動的部份就可以? 這好像都跟 "硬體加速" 無關了.
你就當作 kernel space 是高級 driver, 要經過 kernel community 同意後, upstream, 才能寫進去, 跟隨著 kernel 更新提供所有人. (要不然就是使者者要自己 kernel driver)
user space 是隨便不控管太多的 一般 driver, 大家都可以寫, 但是也都是受到 kernel 的限制.
pctine wrote:
小弟只曉得應該是要比對出到底有那些檔案異動了
這部分理論我也不熟悉了, 要是我知道的話, 我可以去當教授了. 不過 rsync 的模式是透過 ssh 執行 hash function 把一個大的檔案在遠端 hash 值(我們下載 bt iso 也有那些 sha1 md5 值) 來判斷檔案是否更改過. 來決定是否重新傳整個檔案.
zfs 就比較"神奇" 它只傳變動的部分, 因為它根本沒有一個一個檔案的概念, 它只有硬碟 block/cell 的概念. 假設10g 的 video, 只有最後30秒新增修改, 它的 zfs send & zfs recv 的部分, 只會傳遞那最後三十秒的 hd block/cell 到另外一台電腦.
Intel 跟 redhat 的 Ceph 方式我也是最近閱讀研究才剛剛了解 (我也有放棄 zfs 的念頭, 或者是找備胎的想法) Intel 的確提供一些硬體加速的方式, 可能是一些 hash library 的 api, 這部分我也是有讀沒有懂.
Oneplus 8 Pro•
Thinkpad T480s•
PVE6+OMV4+NextCloud
不過 12/17 剛好有約, 不能去參拜 QNap ZFS 大神.但是以一個 data pool 的角度來看我比較能夠解釋. pool 是好多顆 HD vDev 組成的 SDS.
假設 2015-12-01 pool 裡面有兩個檔案, 黃色的 a.mp4, 以及紅色的 b.mp4. 灰色是可使用的空間. ZFS 會LZ4壓縮這些檔案分割成為 128 kb 一個 block. (實際數字要看 pool 的設定, 是可以自由設定的). 然後每一個 block zfs 會記錄它寫入時的 checksum. 然後我做一個 snapshot "快照". 如下圖
然後我把這個快照傳送到遠端 zfs pool
再來 2015-12-02 pool 裡面的檔案 a.mp4 被修改, 那麼其資料變動就會變得如下. 綠色的 block 是快照所佔用的空間.
所以如果是 zfs 的 data pool 要送差異備份給遠端的 zfs pool 時, 它只會傳送 A3, B3 的 block.
最後 2015-12-03 我下了一個命令, 把 2015-12-01 的快照刪除, 那麼 pool 裡面的資料變動會變得如下.
zfs 不刪除檔案, 只是記錄可用的 block 而已.
zfs pool的架構, 如果到達了 80% 滿時, 它的效能就會下降很多. SSD 的 over povision 的概念也是可以應用在 zfs 上面 (10%~20%)
所以 zfs storage administrator 當 pool 到達 70%, 就代表他需要開始準備建新的 storage server 了 (或是暫時把資料移轉到其它伺服器上, 擴展空間再轉回來) zfs 雖然可以線上擴充空間, 但是沒有一個 zfs administrator 會這樣子做, 因為它這個功能是騙人的 (3顆舊 HD 滿滿, 第四顆 HD 空空, 寫入的速度降到只有原本的1/3或是更多). 它沒有所謂的 rebalance 的功能 (btrfs 跟 ceph 好像都有)
zfs 有很多缺點啦 (oracle 這個繼父就是最大的缺點), 沒有一個檔案格式是完美的, 只是目前 zfs 是大家(vm 重度使用者, storage adminsitrator)感覺最接近完美的格式.
Oneplus 8 Pro•
Thinkpad T480s•
PVE6+OMV4+NextCloud
liaommx wrote:
而是Amazon Cloud Drive原本的用意主要是拿來備份照片+影片的
雖然是無限空間,也可以拿來備份一般的文件,
不過我覺得拿Amazon Cloud Drive來備份自己的NAS非照片和影片的部分.
要有心理準備隨時會被終止服務..(恕刪)
其實 Amazon Cloud Drive Terms of Use 已經寫的很清楚, 並非只能存相片及影片. (click here)
1. The Cloud Drive Service
1.1 The Service. The Service provides storage, retrieval, management and access features and functionality for your photos, videos, and other files ("Your Files"). By using the Service, you are directing us to store, manage, and provide access to Your Files on your behalf.
FB: Pctine
pctine wrote:
其實 Amazon Cloud Drive Terms of Use 已經寫的很清楚, 並非只能存相片及影片. (click here)
1. The Cloud Drive Service
1.1 The Service. The Service provides storage, retrieval, management and access features and functionality for your photos, videos, and other files ("Your Files"). By using the Service, you are directing us to store, manage, and provide access to Your Files on your behalf.
感謝pctine的情報
我承認我沒仔細看內容..XD
不過synology nas和iphone上的amazon cloud drive app
看起來還是對於相片影片比較著重.
拿來備份不到1T的照片影片,我還是選擇unlimited.
只是用量不像各位那麼大就是.
不過不知道未來amazon cloud drive 在從遠端倒資料回來nas的時候,
是不是和上傳一樣快速就是.
內文搜尋
從 APP 打開
X