全量數(shù)據(jù)同步
通過(guò)選擇已注冊(cè)的數(shù)據(jù)源端數(shù)據(jù)和目標(biāo)端,實(shí)現(xiàn)全量任務(wù)自動(dòng)建表的方式創(chuàng)建離線同步周期任務(wù),本文介紹如何創(chuàng)建MySQL to MaxCompute離線全量數(shù)據(jù)同步一次性調(diào)度的任務(wù)。
前提條件
已新建工作組,具體操作,請(qǐng)參見(jiàn)新建工作組。
已在工作組中分別添加數(shù)據(jù)源類(lèi)型為MaxCompute、RDS MySQL的數(shù)據(jù)源,具體操作,請(qǐng)參見(jiàn)新建云計(jì)算資源。
已獲取數(shù)據(jù)源的物理表,具體操作,請(qǐng)參見(jiàn)獲取物理表。
RDS MySQL數(shù)據(jù)源已有ys_yhkh表作為數(shù)據(jù)同步來(lái)源表,表結(jié)構(gòu)及數(shù)據(jù)獲取請(qǐng)參見(jiàn)RDS腳本。
操作步驟
在頁(yè)面左上角,選擇 > 協(xié)同。
在頂部菜單欄,單擊圖標(biāo),選擇目標(biāo)工作組。
在左側(cè)導(dǎo)航欄,單擊> 離線數(shù)據(jù)同步。
在離線數(shù)據(jù)同步頁(yè)面,單擊新增任務(wù),
在離線數(shù)據(jù)同步管理頁(yè)面,配置離線同步周期任務(wù)。
填寫(xiě)基本信息,任務(wù)名稱(chēng)“信用卡客戶(hù)數(shù)據(jù)上云_全量”。
在源端配置區(qū)域,配置數(shù)據(jù)源端。
參數(shù)
說(shuō)明
示例
數(shù)據(jù)源
數(shù)據(jù)來(lái)源端的數(shù)據(jù)源類(lèi)型以及該類(lèi)型下已添加的數(shù)據(jù)源。
MySQL/dataq_dws_rds
數(shù)據(jù)表
數(shù)據(jù)源中數(shù)據(jù)實(shí)際來(lái)源表。
ys_yhkh(未上云)
同步模式
數(shù)據(jù)進(jìn)行同步的方式,默認(rèn)全量。
全量
自定義條件
支持輸入自定義SQL查詢(xún)條件,根據(jù)條件進(jìn)行全量數(shù)據(jù)同步。
gz>10000
說(shuō)明全量同步工資大于10000的銀行客戶(hù)數(shù)據(jù)。
在目標(biāo)端配置區(qū)域,配置目標(biāo)端數(shù)據(jù)。
參數(shù)
說(shuō)明
示例
目標(biāo)端
數(shù)據(jù)寫(xiě)入目標(biāo)端的數(shù)據(jù)源類(lèi)型以及該類(lèi)型下已添加的數(shù)據(jù)源。
MaxCompute/dataq_odps_dev
數(shù)據(jù)表
數(shù)據(jù)源中數(shù)據(jù)實(shí)際寫(xiě)入的表。
若目標(biāo)端數(shù)據(jù)源中已有該表,單擊數(shù)據(jù)表下拉框進(jìn)行選中即可。若無(wú)目標(biāo)表,可參考以下步驟進(jìn)行創(chuàng)建。
單擊數(shù)據(jù)表下拉列表,選擇創(chuàng)建目標(biāo)對(duì)象。
在創(chuàng)建表對(duì)話窗中,系統(tǒng)會(huì)根據(jù)上一步配置的數(shù)據(jù)源數(shù)據(jù)對(duì)象自動(dòng)生成表名、備注以及字段。您需要將表名修改為“stg_base_yhkh_demo_di“,分區(qū)信息為“非分區(qū)表”。
配置完成,單擊確定,返回任務(wù)配置頁(yè)面。
stg_base_yhkh_demo_df
寫(xiě)入處理規(guī)則
支持?jǐn)?shù)據(jù)寫(xiě)入前的清除或保留已有數(shù)據(jù)。
寫(xiě)入前清理已有數(shù)據(jù)
在字段映射區(qū)域默認(rèn)選擇同名映射。
配置完成后,在離線數(shù)據(jù)同步管理頁(yè)面左上角,單擊圖標(biāo)。
在離線數(shù)據(jù)同步管理頁(yè)面,選擇新增的全量離線數(shù)據(jù)同步任務(wù),操作列中單擊上線。
預(yù)期結(jié)果
在離線數(shù)據(jù)同步管理頁(yè)面,選擇上線狀態(tài)的“信用卡客戶(hù)數(shù)據(jù)上云_全量”同步任務(wù),在操作列中單擊監(jiān)控,跳轉(zhuǎn)至運(yùn)維監(jiān)控下的離線同步實(shí)例頁(yè)面,顯示該任務(wù)實(shí)例運(yùn)行完成。
前往數(shù)據(jù)查詢(xún)模塊,單擊物理表查詢(xún),選擇目標(biāo)端數(shù)據(jù)源及表“dataq_odps_dev/stg_base_yhkh_demo_df”,在數(shù)據(jù)預(yù)覽中可查看“stg_base_yhkh_demo_df”表中已寫(xiě)入gz(工資)大于10000元的數(shù)據(jù)。