淺談跨存儲數(shù)據(jù)遷移技術(shù)與實現(xiàn)論文

　　1 數(shù)據(jù)遷移技術(shù)

　　數(shù)據(jù)遷移方法，要根據(jù)具體的存儲設(shè)備類型、系統(tǒng)軟硬件架構(gòu)、系統(tǒng)數(shù)據(jù)類型等特點，選擇合理、高效、便捷的技術(shù)，實現(xiàn)一種或多種技術(shù)并用、混用，才能有效地確保業(yè)務(wù)的連續(xù)，減少停機時間，可靠安全地進行數(shù)據(jù)遷移。目前，業(yè)界通用的數(shù)據(jù)遷移技術(shù)實現(xiàn)大致分為如下幾類。

　　1. 1 基于存儲的遷移方法

　　基于存儲的遷移特點是基于存儲系統(tǒng)的虛擬化技術(shù)或存儲管理技術(shù)，有3 種方法實現(xiàn):存儲陣列內(nèi)部數(shù)據(jù)復(fù)制，是利用存儲陣列內(nèi)置數(shù)據(jù)復(fù)制軟件，將源數(shù)據(jù)卷復(fù)制到目標(biāo)數(shù)據(jù)卷，如clone。存儲陣列間的數(shù)據(jù)復(fù)制，可基于存儲管理系統(tǒng)的遠(yuǎn)程復(fù)制技術(shù)不消耗服務(wù)器資源，并且可根據(jù)陣列io 對主應(yīng)用的影響，來調(diào)整數(shù)據(jù)復(fù)制的速度，但條件有所限制，必須在同種品牌廠商存儲設(shè)備間進行，如EMC 的VMAX 系列設(shè)備同DMX 系列設(shè)備間可使用cold push 方式和hot push 方式，利用存儲設(shè)備具備的數(shù)據(jù)復(fù)制遷移功能進行數(shù)據(jù)遷移; 或是基于主機操作系統(tǒng)，利用專業(yè)的存儲復(fù)制遷移工具軟件，將不同存儲連接至同一臺主機，實現(xiàn)陣列到陣列的數(shù)據(jù)復(fù)制，但是會耗費一定的系資源，因此要根據(jù)應(yīng)用場景，調(diào)整數(shù)據(jù)復(fù)制的速度。利用虛擬化存儲技術(shù)，將虛擬化設(shè)備融合進SAN 架構(gòu)的存儲系統(tǒng)，實現(xiàn)存儲設(shè)備統(tǒng)一封裝，可以很方便地將數(shù)據(jù)從源端遷移至目的地，并可兼容主流存儲設(shè)備、支持不同廠商或品牌存儲系統(tǒng)間的數(shù)據(jù)遷移和容災(zāi)、適合于頻繁的數(shù)據(jù)遷移，某些業(yè)務(wù)場景，可實現(xiàn)跨物理存儲數(shù)據(jù)遷移而業(yè)務(wù)無需中斷，但是需要配置專有的虛擬化設(shè)備如EMC 的`Vplex，或具備虛擬化功能的存儲陣列。

　　1. 2 基于主機操作系統(tǒng)命令的遷移方法

　　基于主機操作系統(tǒng)命令遷移的特點是數(shù)據(jù)遷移操作的發(fā)起和控制均發(fā)生在主服務(wù)器端，支持聯(lián)機遷移，可在不同存儲系統(tǒng)間進行，但對主機性能有一定影響，影響承載業(yè)務(wù)的響應(yīng)效率，適合于主機存儲的非經(jīng)常性遷移，并且必須根據(jù)實際情況評估系統(tǒng)負(fù)荷的可行性。

　　有兩種實現(xiàn)方法: 一種是對采用邏輯卷管理器管理的系統(tǒng)通過邏輯卷數(shù)據(jù)鏡像實現(xiàn)數(shù)據(jù)遷移，但目標(biāo)卷可添加至原卷縮在的卷組中，有些卷組屬性參數(shù)支持物理卷數(shù)量有限，有一定局限性; 另一種是利用操作系統(tǒng)拷貝( 復(fù)制) 命令，如在Unix 系統(tǒng)上使用命令cp、dd、tar 等命令來實現(xiàn)數(shù)據(jù)復(fù)制、lv 復(fù)制、文件打包遷移等操作，或在Windows 系統(tǒng)使用圖形界面拷貝或copy命令靈活地進行，但需要進行脫機處理。

　　1. 3 基于備份管理軟件的遷移方法

　　基于備份管理軟件遷移的特點是利用備份管理軟件將數(shù)據(jù)備份到物理或虛擬帶庫，再恢復(fù)到新的存儲設(shè)備中。如采用在線備份，數(shù)據(jù)遷移過程對服務(wù)器業(yè)務(wù)影響相對較小，但在備份時間點與切換時間點之間源數(shù)據(jù)因聯(lián)機操作所造成的數(shù)據(jù)變化，需要通過手動方式進行同步如數(shù)據(jù)庫備份工具DSG; 如采用離線備份，必須停止服務(wù)器業(yè)務(wù)，在數(shù)據(jù)恢復(fù)成功后再恢復(fù)業(yè)務(wù)運行。備份管理軟件可使用存儲系統(tǒng)自帶軟件，第三方備份工具如EMC network。由于選擇備份方式不同，數(shù)據(jù)遷移所耗費的實踐會有較大的差異。

　　1. 4 基于專有應(yīng)用軟件的遷移方法

　　采用應(yīng)用軟件本身的遷移工具、或第三方支持的遷移工具來實現(xiàn)數(shù)據(jù)遷移，這種方法依賴于應(yīng)用軟件自身的機制，與主機、存儲種類關(guān)系不大，可實現(xiàn)實時復(fù)制、定時復(fù)制、靜態(tài)復(fù)制或數(shù)據(jù)轉(zhuǎn)儲。如Oracle 自帶的工具DataGuard 或動態(tài)復(fù)制工具goldenGate。一般情況下存儲系統(tǒng)上都有多種應(yīng)用系統(tǒng)，因此，數(shù)據(jù)遷移大多采用多種工具及技術(shù)并用來實現(xiàn)存儲系統(tǒng)的數(shù)據(jù)遷移。

　　2 陜西聯(lián)通綜合聯(lián)機系統(tǒng)數(shù)據(jù)遷移

　　根據(jù)陜西聯(lián)通綜合聯(lián)機系統(tǒng)存儲現(xiàn)狀，運用不同的存儲遷移技術(shù)，制定數(shù)據(jù)遷移方案，實現(xiàn)非正常環(huán)境下，跨存儲數(shù)據(jù)遷移。

　　2. 1 陜西聯(lián)通綜合聯(lián)機系統(tǒng)現(xiàn)狀

　　陜西聯(lián)通于2009 年建立綜合聯(lián)機系統(tǒng)，利用兩臺IBMP570 小型機，利用DMX2000 存儲，利用HA 軟件構(gòu)建雙機互備份群集環(huán)境，采用SAN 架構(gòu)搭建，如圖1 所示。由于設(shè)備老舊故障頻發(fā)，于2015 年購買IBM P740 小型機及EMC VMAX10K存儲來替換上述設(shè)備。本次遷移面臨的困難: DMX2000 與Vmax10K 存儲位于不同的San 交換機上，需要跨不同的SAN網(wǎng)絡(luò)進行數(shù)據(jù)遷移。ED140 交換機有故障，無法進行配置更改，無法與ED4800 交換機進行連接，配置鏈路。DMX2000有前端和后端板卡故障，無法進行change bin 操作，不能與VMAX10K 存儲建立鏈路連接，不能使用EMC 存儲使用的coldpush 方式和hot push 方式進行數(shù)據(jù)遷移。遷移系統(tǒng)時間不超過6 h。

　　2. 2 數(shù)據(jù)遷移方案

　　在上述硬件環(huán)境下，確定遷移方案，分為兩個步驟進行: 首先進行操作系統(tǒng)層面數(shù)據(jù)遷移，然后利用存儲Clone 技術(shù)，存儲內(nèi)部再進行數(shù)據(jù)遷移，實現(xiàn)主機和存儲的同時替換。

　　現(xiàn)有主機各有一塊空閑HBA 卡，連接至SAN 48K 交換機，VMAX10K 1F0 和3F0 端口連接到SAN 48K 交換機上，使主機可以訪問VMAX10K 上的磁盤，利用OM 軟件進行源主機VG數(shù)據(jù)復(fù)制; 然后將復(fù)制好數(shù)據(jù)的磁盤，作為clone 數(shù)據(jù)源盤，創(chuàng)建對應(yīng)的Clone 關(guān)系，將clone 目標(biāo)盤分配給新主機，運用全量與增量clone 技術(shù)，完成在線實時遷移。利用上述技術(shù)，可進行多次數(shù)據(jù)復(fù)制，可在新主機環(huán)境中進行多次應(yīng)用測試，最終的業(yè)務(wù)割接測試時間很短，30 min 用于啟停應(yīng)用，30 min 可完成數(shù)據(jù)同步，業(yè)務(wù)割接1 h 完成。遷移工作全部完成后，拆除虛線鏈路。

　　2. 3 系統(tǒng)回退方案

　　由于前期數(shù)據(jù)已經(jīng)進行全量數(shù)據(jù)遷移，并進行了業(yè)務(wù)測試，正式割接過程，僅僅適用于追平數(shù)據(jù)的實踐差，數(shù)據(jù)跨存儲遷移無需回退。

　　2. 4 數(shù)據(jù)完整性驗證方案

　　數(shù)據(jù)完整性、一致性驗證重點放在小型機系統(tǒng)數(shù)據(jù)遷移應(yīng)用側(cè)數(shù)據(jù)，由于前期測試階段，首先進行了全量數(shù)據(jù)同步后的應(yīng)用驗證及數(shù)據(jù)一致性檢測，和多次增量clone 后，應(yīng)用驗證及數(shù)據(jù)一致性檢測。此方案將大量的檢查驗證工作在正式割接前進行，有充足的實踐做全面的檢測和一致性檢查，因而正式割接僅僅是數(shù)據(jù)增量，無任何風(fēng)險。

　　3 結(jié)語

　　跨存儲數(shù)據(jù)遷移涉及存儲系統(tǒng)、操作系統(tǒng)、應(yīng)用系統(tǒng)、數(shù)據(jù)遷移軟件及相關(guān)數(shù)據(jù)復(fù)制，要求遷移方案數(shù)據(jù)調(diào)度邏輯合理、各個環(huán)節(jié)遷移技術(shù)選擇得當(dāng)、完整性與一致性驗證工作充分，必須要根據(jù)存儲及各自系統(tǒng)的特點制訂切合實際的遷移方案、實施策略，而某種單一的數(shù)據(jù)遷移技術(shù)往往無法勝任某種特殊環(huán)境。本文通過存儲系統(tǒng)數(shù)據(jù)遷移技術(shù)的探討，通過對陜西聯(lián)通跨存儲數(shù)據(jù)遷移這一非正常環(huán)境實踐案例進行詳細(xì)說明，為企業(yè)數(shù)據(jù)遷移提供借鑒經(jīng)驗。

【淺談跨存儲數(shù)據(jù)遷移技術(shù)與實現(xiàn)論文】相關(guān)文章：

淺析云存儲技術(shù)在大數(shù)據(jù)時代的運用論文12-02

跨平臺的數(shù)據(jù)交流論文12-08

分頁存儲過程(用存儲過程實現(xiàn)數(shù)據(jù)庫的分頁代碼) -電腦資料01-01

分頁存儲過程(用存儲過程實現(xiàn)數(shù)據(jù)庫的分頁代碼)數(shù)據(jù)庫教程 -電腦資料01-01

Android學(xué)習(xí)筆記之?dāng)?shù)據(jù)的內(nèi)部存儲方式實習(xí)數(shù)據(jù)的讀寫、存儲到Cache實現(xiàn)讀寫 -電腦資料01-01

淺談網(wǎng)絡(luò)教學(xué)平臺下的數(shù)據(jù)挖掘技術(shù)論文10-27

簡易數(shù)字波形存儲器的實現(xiàn)的論文12-18

電腦技術(shù)：Oracle10g數(shù)據(jù)文件的收縮與數(shù)據(jù)對象跨表空間的遷移 -電腦資料01-01