- 相關(guān)推薦
數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討論文
摘要：為確保在大集中數(shù)據(jù)管理模式下數(shù)據(jù)的安全，本文就目前流行的ORACLE數(shù)據(jù)同步技術(shù)DATA GUARD、STREAM、GOLDEN GATE技術(shù)進(jìn)行比較，分析其優(yōu)劣，并結(jié)合業(yè)務(wù)需求，就如何建立同地和異地的數(shù)據(jù)同步機(jī)制進(jìn)行探討。
關(guān)鍵詞：關(guān)鍵字：數(shù)據(jù)庫 ；ORACLE；數(shù)據(jù)同步；安全
1. 現(xiàn)狀及需求
1.1現(xiàn)狀
從2008年開始，我市建立了重慶市主城范圍內(nèi)集中統(tǒng)一管理的城鎮(zhèn)地籍?dāng)?shù)據(jù)庫，實(shí)現(xiàn)了城鎮(zhèn)土地登記系統(tǒng)和數(shù)據(jù)的大集中,中心數(shù)據(jù)庫采用ORACLE數(shù)據(jù)庫平臺。
按照我市土地和房屋合一登記的管理模式的要求，從2010年開始，我市各房屋登記中心在全市集中的城鎮(zhèn)地籍?dāng)?shù)據(jù)庫的基礎(chǔ)上，結(jié)合原有的房屋登記系統(tǒng)，以宗地為線索開展了房屋登記數(shù)據(jù)的清理工作，建立了全市集中統(tǒng)一的城鎮(zhèn)地房籍?dāng)?shù)據(jù)庫和應(yīng)用系統(tǒng)。
1.2 需求
由于我市實(shí)行的是大集中的數(shù)據(jù)管理模式，中心生產(chǎn)數(shù)據(jù)庫在出現(xiàn)故障的情況下如不能得到及時恢復(fù)，將導(dǎo)致全市土地和房屋登記業(yè)務(wù)停頓，因此必須在中心機(jī)房建立與生產(chǎn)數(shù)據(jù)庫實(shí)時同步的數(shù)據(jù)庫，確保在生產(chǎn)數(shù)據(jù)庫出現(xiàn)較長時間不能恢復(fù)的故障的情況下，啟用備用數(shù)據(jù)庫，保證業(yè)務(wù)的連續(xù)。
同時，由于數(shù)據(jù)在市局統(tǒng)一存放，各單位無數(shù)據(jù)庫。而各單位由于對數(shù)據(jù)使用的需求千差萬別，無法在市局統(tǒng)一的數(shù)據(jù)庫上滿足其個性化的需求。因此需將市局集中的數(shù)據(jù)同步到各區(qū)，既可實(shí)現(xiàn)數(shù)據(jù)的異地備份，同時各區(qū)可利用改回備數(shù)據(jù)進(jìn)行各類統(tǒng)計(jì)分析和專題利用。
2. 技術(shù)比較
目前基于Oracle數(shù)據(jù)庫的數(shù)據(jù)同步技術(shù)大體上可分為兩類：Oracle自帶的數(shù)據(jù)同步技術(shù)和第三方廠商提供的數(shù)據(jù)同步技術(shù)。Oracle自帶的同步技術(shù)主要有DataGuard，Streams， GoldenGate三種技術(shù)。第三方廠商的數(shù)據(jù)同步技術(shù)有Quest公司的SharePlex和DSG的RealSync。
本文重點(diǎn)就ORACLE本身提供的DataGuard，Streams， GoldenGate三種同步技術(shù)進(jìn)行比較。
2.1 DataGuard技術(shù)
DataGuard是Oracle數(shù)據(jù)庫自帶的數(shù)據(jù)同步功能，基本原理是將日志文件從原數(shù)據(jù)庫傳輸?shù)侥繕?biāo)數(shù)據(jù)庫，然后在目標(biāo)數(shù)據(jù)庫上應(yīng)用（Apply）這些日志文件，從而使目標(biāo)數(shù)據(jù)庫與源數(shù)據(jù)庫保持同步。
DataGuard為源數(shù)據(jù)庫提供了兩種日志傳輸方式，ARCH傳輸方式和LGWR傳輸方式，其中，LGWR傳輸方式可實(shí)現(xiàn)同步和異步的傳輸。在這些日志傳輸?shù)姆绞缴�，可提供三種數(shù)據(jù)
保護(hù)模式，即最大性能（Maximum Performance Mode）、最大保護(hù)（Maximum Protection Mode）和最大可用（Maximum Availability Mode）。
根據(jù)目標(biāo)數(shù)據(jù)庫對日志應(yīng)用方式（Log Apply）的不同，該技術(shù)可分為Physical Standby（Redo Apply）和Logical Standby（SQL Apply）兩種方式。物理同步是指目標(biāo)庫通過介質(zhì)恢復(fù)的方式保持與源數(shù)據(jù)庫同步。邏輯同步是指目標(biāo)數(shù)據(jù)庫通過LogMiner挖掘從源數(shù)據(jù)庫傳輸過來的日志，構(gòu)造成SQL語句，然后在目標(biāo)庫上執(zhí)行這些SQL，使之與源數(shù)據(jù)庫保持同步。
2.2 Streams技術(shù)
Streams技術(shù)是指利用挖掘日志文件生成變更的邏輯記錄，然后將這些變更應(yīng)用到目標(biāo)數(shù)據(jù)庫上，從而實(shí)現(xiàn)數(shù)據(jù)庫之間或一個數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)同步。
其實(shí)現(xiàn)步驟為利用Capture進(jìn)程分析日志，生成邏輯記錄（LCR），將其放入一個隊(duì)列。Propagation進(jìn)程將生成的邏輯記錄發(fā)送到目標(biāo)數(shù)據(jù)庫中。目標(biāo)數(shù)據(jù)庫利用Apply進(jìn)程將LCR應(yīng)用到數(shù)據(jù)庫中，實(shí)現(xiàn)與源數(shù)據(jù)庫的同步。
Capture進(jìn)程一般位于源數(shù)據(jù)庫，Capture進(jìn)程將日志分析后生成的LCR，然后再傳輸?shù)侥繕?biāo)數(shù)據(jù)庫中進(jìn)行應(yīng)用。也可將Capture進(jìn)程配置在目標(biāo)數(shù)據(jù)庫中，源數(shù)據(jù)庫直接將日志文件傳輸?shù)侥繕?biāo)數(shù)據(jù)庫，然后再利用配置在目標(biāo)數(shù)據(jù)庫的Capture進(jìn)程進(jìn)行分析，生成邏輯記錄再利用Apply進(jìn)程進(jìn)行應(yīng)用。
2.3 GoldenGate技術(shù)
GoldenGate數(shù)據(jù)同步的基本原理是由Extract進(jìn)程讀取源數(shù)據(jù)庫的事物日志（Oracle中是redo log），將其中的變更操作（、update、等）按事務(wù)執(zhí)行的順序組合在一起，直接將其發(fā)送到目標(biāo)服務(wù)其上，或者存放到Trails文件中，然后由Data Pump進(jìn)程將Trails文件傳輸?shù)侥繕?biāo)服務(wù)其上，在目標(biāo)服務(wù)器上Collector進(jìn)程接收從源服務(wù)器傳送過來的Trails文件，最后由Replicat進(jìn)程將Trails文件中的數(shù)據(jù)裝載到目標(biāo)數(shù)據(jù)庫中。GoldenGate通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量通常是日志量的1/4或更少。
以下為三者的優(yōu)劣比較：
3. 技術(shù)選擇
3.1 中心數(shù)據(jù)庫與本地?cái)?shù)據(jù)庫同步技術(shù)選擇
為避免中心數(shù)據(jù)庫在出現(xiàn)長時間不能恢復(fù)故障引起業(yè)務(wù)的長時間停頓，我們利用2004年購置的IBM P650小機(jī)建立了中心數(shù)據(jù)庫的鏡像數(shù)據(jù)庫。考慮到中心數(shù)據(jù)庫和鏡像數(shù)據(jù)庫均使用UNIX操作系統(tǒng)，而且都在一個局域網(wǎng)內(nèi)，為方便配置，我們通過DATA GUARD實(shí)現(xiàn)中心數(shù)據(jù)庫與鏡像數(shù)據(jù)庫的數(shù)據(jù)同步。同時，為確保數(shù)據(jù)數(shù)據(jù)的零丟失，日志傳輸采用最大保護(hù)模式。
3.2 中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫異地同步的技術(shù)選擇
由于我市市級集中的中心數(shù)據(jù)庫安裝在UNIX操作系統(tǒng)上，而各區(qū)只能提供普通的PC服務(wù)器均安裝的為WINDOWS操作系統(tǒng)進(jìn)行數(shù)據(jù)回備，而且單位數(shù)量有三十多個，由于DATA GUARD只支持同平臺的數(shù)據(jù)庫之間的數(shù)據(jù)同步，而且只支持最多9個的STANDBY數(shù)據(jù)庫。同時考慮到中心數(shù)據(jù)庫之間與其他單位的數(shù)據(jù)庫分別處于不同地方，之間用6M的網(wǎng)絡(luò)相連，正常工作時間還需通過網(wǎng)絡(luò)傳輸大量的業(yè)務(wù)數(shù)據(jù)，而通過STREAM的數(shù)據(jù)同步技術(shù)需占用大量的網(wǎng)絡(luò)帶寬。
由于中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫平臺操作系統(tǒng)平臺異構(gòu)，同時要實(shí)現(xiàn)一個中心數(shù)據(jù)庫與30多個數(shù)據(jù)庫的同步，盡量減少因同步數(shù)據(jù)對網(wǎng)絡(luò)帶寬的占用，考慮到GOLDEN GATE在這些方面都具有明顯優(yōu)點(diǎn)，因此中心數(shù)據(jù)庫與區(qū)（縣）數(shù)據(jù)庫的同步采用GOLDEN GATE的技術(shù)實(shí)現(xiàn)。
參考文獻(xiàn)：
[1] 郭偉華 淺談ORACLE數(shù)據(jù)同步技術(shù) 《科技資訊》2010.2
[2]楊朝紅,宮云戰(zhàn),桑偉前,等.基于主從異步復(fù)制技術(shù)的容災(zāi)實(shí)時系統(tǒng)研究與實(shí)現(xiàn).《計(jì)算機(jī)研究與發(fā)展》 2003.40
【數(shù)據(jù)大集中管理模式下數(shù)據(jù)同步技術(shù)探討論文】相關(guān)文章：
基于云計(jì)算的數(shù)據(jù)挖掘技術(shù)探討論文05-02
數(shù)據(jù)挖掘技術(shù)的研究論文05-02
過采樣技術(shù)在光纖陀螺數(shù)據(jù)采集中的應(yīng)用04-30
數(shù)據(jù)挖掘論文04-29
高校管理數(shù)據(jù)挖掘技術(shù)的應(yīng)用論文05-02
移動通信網(wǎng)絡(luò)與大數(shù)據(jù)探討論文05-02
生產(chǎn)車間數(shù)據(jù)采集與監(jiān)控系統(tǒng)探討論文05-02