中文字幕二区_国产精品免费在线观看_黄色网站观看_人人草人人澡_日本真实娇小xxxx

您的位置: 首頁 > 技術(shù)文檔 > 網(wǎng)絡編程 > 數(shù)據(jù)同步算法研究
vs 2010 web部署 回到列表 25個最佳最閃亮的Eclipse開發(fā)項目
 數(shù)據(jù)同步算法研究

作者:劉愛貴 時間: 2010-08-12 文檔類型:轉(zhuǎn)載 來自:CSDN

第 1 頁 數(shù)據(jù)同步算法研究 [1]
第 2 頁 數(shù)據(jù)同步算法研究 [2]
第 3 頁 數(shù)據(jù)同步算法研究 [3]
第 4 頁 數(shù)據(jù)同步算法研究 [4]

差異編碼信息的數(shù)據(jù)文件布局同樣由文件頭(delta_file_header)和數(shù)據(jù)塊描述實體(delta_block_entry)集組成,如下所定義。其中,文件頭定義了文件A的數(shù)據(jù)塊總數(shù)、最后一個數(shù)據(jù)的長度和偏移。文件頭后緊隨一組數(shù)據(jù)塊描述實體,每個實體代表一個數(shù)據(jù)塊,定義了數(shù)據(jù)塊長度、偏移以及數(shù)據(jù)塊位置指示。如果embeded為1,則表示數(shù)據(jù)塊位于差異編碼文件中offset處,數(shù)據(jù)緊隨該實體后;如果embeded為0,則表示數(shù)

據(jù)塊位于文件B中offset處。最后數(shù)據(jù)塊存儲于差異編碼文件尾部,長度和偏移由頭部指示。

view plaincopy to clipboardprint?
/* define delta file header and block entry */ 
typedef struct _delta_file_header {  
        uint32_t block_nr;  
        uint32_t last_block_sz;  
        uint64_t last_block_offset;  /* offset in delta file */ 
} delta_file_header;  
#define DELTA_FILE_HEADER_SZ    (sizeof(delta_file_header))  
typedef struct _delta_block_entry {  
        uint64_t offset;  
        uint32_t len;  
        uint8_t  embeded; /* 1, block in delta file; 0, block in source file. */ 
} delta_block_entry;  
#define DELTA_BLOCK_ENTRY_SZ    (sizeof(delta_block_entry)) 
/* define delta file header and block entry */
typedef struct _delta_file_header {
        uint32_t block_nr;
        uint32_t last_block_sz;
        uint64_t last_block_offset;  /* offset in delta file */
} delta_file_header;
#define DELTA_FILE_HEADER_SZ    (sizeof(delta_file_header))
typedef struct _delta_block_entry {
        uint64_t offset;
        uint32_t len;
        uint8_t  embeded; /* 1, block in delta file; 0, block in source file. */
} delta_block_entry;
#define DELTA_BLOCK_ENTRY_SZ    (sizeof(delta_block_entry))

從實時性能方面考慮,數(shù)據(jù)塊信息和差異編碼信息并不一定要寫入文件,可以存在于Cache中,但數(shù)據(jù)布局與上面描述相同。

5、文件切分

Dedupe技術(shù)中,數(shù)據(jù)分塊算法主要有三種,即定長切分(fixed-size partition)、CDC切分(content-defined chunking)和滑動塊(sliding block)切分。定長分塊算法采用預先定義好的塊大小對文件進行切分,并進行弱校驗值和md5強校驗值。弱校驗值主要是為了提升差異編碼的性能,先計算弱校驗值并進行hash查找,如果發(fā)現(xiàn)則計算md5強校驗值并作進一步hash查找。由于弱校驗值計算量要比md5小很多,因此可以有效提高編碼性能。定長分塊算法的優(yōu)點是簡單、性能高,但它對數(shù)據(jù)插入和刪除非常敏感,處理十分低效,不能根據(jù)內(nèi)容變化作調(diào)整和優(yōu)化。

CDC算法是一種變長分塊算法,它應用數(shù)據(jù)指紋(如Rabin指紋)將文件分割成長度大小不等的分塊策略。與定長分塊算法不同,它是基于文件內(nèi)容進行數(shù)據(jù)塊切分的,因此數(shù)據(jù)塊大小是可變化的。算法執(zhí)行過程中,CDC使用一個固定大小(如48字節(jié))的滑動窗口對文件數(shù)據(jù)計算數(shù)據(jù)指紋。如果指紋滿足某個條件,如當它的值模特定的整數(shù)等于預先設定的數(shù)時,則把窗口位置作為塊的邊界。CDC算法可能會出現(xiàn)病態(tài)現(xiàn)象,即指紋條件不能滿足,塊邊界不能確定,導致數(shù)據(jù)塊過大。實現(xiàn)中可以對數(shù)據(jù)塊的大小進行限定,設定上下限,解決這種問題。CDC算法對文件內(nèi)容變化不敏感,插入或刪除數(shù)據(jù)只會影響到檢少的數(shù)據(jù)塊,其余數(shù)據(jù)塊不受影響。CDC算法也是有缺陷的,數(shù)據(jù)塊大小的確定比較困難,粒度太細則開銷太大,粒度過粗則dedup效果不佳。如何兩者之間權(quán)衡折衷,這是一個難點。

出處:CSDN
責任編輯:bluehearts

上一頁 數(shù)據(jù)同步算法研究 [2] 下一頁 數(shù)據(jù)同步算法研究 [4]

◎進入論壇網(wǎng)絡編程版塊參加討論

關鍵字搜索 常規(guī)搜索 推薦文檔
熱門搜索:CSS Fireworks 設計比賽 網(wǎng)頁制作 web標準 用戶體驗 UE photoshop Dreamweaver Studio8 Flash 手繪 CG
站點最新 站點最新列表
周大!熬•自然”設計大賽開啟
國際體驗設計大會7月將在京舉行
中國國防科技信息中心標志征集
云計算如何讓安全問題可控
云計算是多數(shù)企業(yè)唯一擁抱互聯(lián)網(wǎng)的機會
阿里行云
云手機年終巨獻,送禮標配299起
阿里巴巴CTO王堅的"云和互聯(lián)網(wǎng)觀"
1499元買真八核 云OS雙蛋大促
首屆COCO桌面手機主題設計大賽
欄目最新 欄目最新列表
淺談JavaScript編程語言的編碼規(guī)范
如何在illustrator中繪制臺歷
Ps簡單繪制一個可愛的鉛筆圖標
數(shù)據(jù)同步算法研究
用ps作簡單的作品展示頁面
CSS定位機制之一:普通流
25個最佳最閃亮的Eclipse開發(fā)項目
Illustrator中制作針線縫制文字效果
Photoshop制作印刷凹凸字體
VS2010中創(chuàng)建自定義SQL Rule
>> 分頁 首頁 前頁 后頁 尾頁 頁次:3/41個記錄/頁 轉(zhuǎn)到 頁 共4個記錄

藍色理想版權(quán)申明:除部分特別聲明不要轉(zhuǎn)載,或者授權(quán)我站獨家播發(fā)的文章外,大家可以自由轉(zhuǎn)載我站點的原創(chuàng)文章,但原作者和來自我站的鏈接必須保留(非我站原創(chuàng)的,按照原來自一節(jié),自行鏈接)。文章版權(quán)歸我站和作者共有。

轉(zhuǎn)載要求:轉(zhuǎn)載之圖片、文件,鏈接請不要盜鏈到本站,且不準打上各自站點的水印,亦不能抹去我站點水印。

特別注意:本站所提供的攝影照片,插畫,設計作品,如需使用,請與原作者聯(lián)系,版權(quán)歸原作者所有,文章若有侵犯作者版權(quán),請與我們聯(lián)系,我們將立即刪除修改。

您的評論
用戶名:  口令:
說明:輸入正確的用戶名和密碼才能參與評論。如果您不是本站會員,你可以注冊 為本站會員。
注意:文章中的鏈接、內(nèi)容等需要修改的錯誤,請用報告錯誤,以利文檔及時修改。
不評分 1 2 3 4 5
注意:請不要在評論中含與內(nèi)容無關的廣告鏈接,違者封ID
請您注意:
·不良評論請用報告管理員,以利管理員及時刪除。
·尊重網(wǎng)上道德,遵守中華人民共和國的各項有關法律法規(guī)
·承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
·本站評論管理人員有權(quán)保留或刪除其管轄評論中的任意內(nèi)容
·您在本站發(fā)表的作品,本站有權(quán)在網(wǎng)站內(nèi)轉(zhuǎn)載或引用
·參與本評論即表明您已經(jīng)閱讀并接受上述條款
推薦文檔 | 打印文檔 | 評論文檔 | 報告錯誤  
專業(yè)書推薦 更多內(nèi)容
網(wǎng)站可用性測試及優(yōu)化指南
《寫給大家看的色彩書1》
《跟我去香港》
眾妙之門—網(wǎng)站UI 設計之道
《Flex 4.0 RIA開發(fā)寶典》
《贏在設計》
犀利開發(fā)—jQuery內(nèi)核詳解與實踐
作品集 更多內(nèi)容

雜⑦雜⑧ Gold NORMANA V2