dropbox storage techniques leaked by dropship

http://news.ycombinator.com/item?id=2478610

不知道會鬧多大, 看看這兩天後續發展, 

不過這才發現dropbox的技術奧祕, 以前都覺得s3這麼貴, 空間與流量都要算錢, dropbox 把東西放s3儲存, 

像我這種只用免錢的奧客又這麼多, 怎麼會合算？

那篇解釋了dropbox 的"deduplication scheme", 這個技巧真的很高明, 把所有用戶的檔案都切成4MB block, 

做sha256 hash 後當 object ID.

全世界這麼多dropbox用戶, 彼此就算不認識, 沒有進行過分享, 大家在 dropbox 裡面放的東西其實重複性很高,  

大檔一定是copy 現成的, user自己編輯出來獨一無二的文件通常是小檔, 所以, 

比對hash就知道有沒有重複. 同樣的block只要存一份 or 傳一次就好.  再加上高效率的sync機制, 有效降低了它的傳輸與儲存成本.

Jamie 之前說某dropbox對手苦於用戶大量濫用, 把整份windows目錄都丟進雲端folder, 事實上, 用這招根本整不倒dropbox, 不關多少user 把一大沱 windows 丟進來, dropbox server都只有存一份, 

其他山寨對手再怎麼低價搶客, 再怎麼容量大放送, 也只是把自己成本拖垮而已.