基于AnalyticDB構(gòu)建企業(yè)數(shù)倉
本文將為您介紹如何基于AnalyticDB構(gòu)建企業(yè)數(shù)倉，并進(jìn)行運維和元數(shù)據(jù)管理等操作。
開始本文的操作前，請首先創(chuàng)建工作空間，詳情請參見創(chuàng)建工作空間。
配置AnalyticDB for MySQL 3.0數(shù)據(jù)源
進(jìn)入數(shù)據(jù)源頁面。
登錄DataWorks控制臺，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入管理中心。
進(jìn)入工作空間管理中心頁面后，單擊左側(cè)導(dǎo)航欄的，進(jìn)入數(shù)據(jù)源頁面。
在新增數(shù)據(jù)源對話框中，選擇數(shù)據(jù)源類型為AnalyticDB for MySQL (V3.0)。
配置AnalyticDB for MySQL 3.0數(shù)據(jù)源的參數(shù)，詳情請參見配置AnalyticDB for MySQL 3.0數(shù)據(jù)源。
說明支持Serverless資源組（推薦）或者舊版獨享調(diào)度資源組運行AnalyticDB for MySQL 節(jié)點任務(wù)訪問專有網(wǎng)絡(luò)環(huán)境下的AnalyticDB for MySQL 實例，其他資源組無法訪問專有網(wǎng)絡(luò)環(huán)境下的AnalyticDB for MySQL 實例，會出現(xiàn)鏈接超時的情況。Serverless資源組使用詳情請參考文檔新增和使用Serverless資源組。
如果使用的是AnalyticDB for MySQL 2.0版本，通過用戶AK信息進(jìn)行身份驗證。
如果使用的是AnalyticDB for MySQL 3.0版本，通過數(shù)據(jù)庫的用戶名和密碼進(jìn)行身份驗證（開通3.0版本數(shù)據(jù)庫后，首先在控制臺創(chuàng)建用戶和密碼）。
單擊測試連通性。
測試連通性通過后，單擊完成。
設(shè)置AnalyticDB for MySQL 3.0白名單
由于AnalyticDB for MySQL 3.0版本基于用戶名密碼訪問，因此需要設(shè)置客戶端白名單，才允許連接數(shù)據(jù)庫。
內(nèi)網(wǎng)環(huán)境
測試連通性的過程中，您可以通過連通性診斷工具將AnalyticDB for MySQL 3.0的VPC綁定到Serverless資源組，并將資源組綁定的交換機網(wǎng)段IP添加到AnalyticDB for MySQL 3.0白名單里。詳情請參見測試連通性。
公網(wǎng)環(huán)境
為Serverless資源組綁定的VPC配置公網(wǎng)NAT網(wǎng)關(guān)和EIP，將配置的EIP添加到AnalyticDB for MySQL 3.0數(shù)據(jù)源的白名單里。
為Serverless資源組綁定的VPC配置公網(wǎng)NAT網(wǎng)關(guān)和EIP 。
為了能讓DataWorks gateway請求AnalyticDB for MySQL 3.0，需要為Serverless資源組綁定的VPC配置公網(wǎng)NAT網(wǎng)關(guān)和EIP，詳情可參考文檔網(wǎng)絡(luò)連通方案。將配置的EIP添加到AnalyticDB for MySQL 3.0的白名單中（AnalyticDB for MySQL 2.0不需要設(shè)置）。
設(shè)置AnalyticDB for MySQL 3.0白名單 。
登錄AnalyticDB for MySQL 3.0控制臺，進(jìn)入集群列表頁面。單擊集群 ID/集群描述詳情進(jìn)入集群管理界面。單擊左側(cè)導(dǎo)航欄，在數(shù)據(jù)安全-白名單設(shè)置位置設(shè)置白名單。
單擊添加白名單分組按鈕，進(jìn)入添加白名單分組頁面。輸入自定義的分組名稱，并將對應(yīng)的Serverless資源組綁定的VPC的EIP粘貼至組內(nèi)白名單中。單擊確定進(jìn)行保存。
新建業(yè)務(wù)流程
登錄DataWorks控制臺，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開發(fā)。
在數(shù)據(jù)開發(fā)頁面，單擊上方導(dǎo)航欄的，進(jìn)入新建業(yè)務(wù)流程頁面，在對話框中輸入業(yè)務(wù)名稱和描述。
單擊新建。
創(chuàng)建離線同步任務(wù)
右鍵單擊新建業(yè)務(wù)流程下的數(shù)據(jù)集成，選擇。
在新建節(jié)點對話框中，輸入名稱，單擊提交。
設(shè)置數(shù)據(jù)來源和數(shù)據(jù)去向。
選擇字段的映射關(guān)系。
左側(cè)的源頭表字段和右側(cè)的目標(biāo)表字段為一一對應(yīng)關(guān)系。單擊添加一行可以增加單個字段，鼠標(biāo)放至需要刪除的字段上，即可單擊刪除圖標(biāo)進(jìn)行刪除 。
通道控制。
配置作業(yè)速率上限和臟數(shù)據(jù)檢查規(guī)則。
參數(shù)
描述
任務(wù)期望最大并發(fā)數(shù)
數(shù)據(jù)同步任務(wù)內(nèi)，可以從源并行讀取或并行寫入數(shù)據(jù)存儲端的最大線程數(shù)。向?qū)Ｊ酵ㄟ^界面化配置并發(fā)數(shù)，指定任務(wù)所使用的并行度。
同步速率
設(shè)置同步速率可以保護(hù)讀取端數(shù)據(jù)庫，以避免抽取速度過大，給源庫造成太大的壓力。同步速率建議限流，結(jié)合源庫的配置，請合理配置抽取速率。
臟數(shù)據(jù)策略
錯誤記錄數(shù)，表示臟數(shù)據(jù)的最大容忍條數(shù)。
分布式處理能力
選擇任務(wù)運行的機器，如果任務(wù)數(shù)比較多，使用默認(rèn)資源組出現(xiàn)等待資源的情況，建議購買Serverless資源組，詳情請參見新增和使用Serverless資源組。
單擊右側(cè)的調(diào)度配置，為節(jié)點配置調(diào)度屬性。
配置完成后，單擊
按鈕進(jìn)行保存，并單擊
按鈕提交任務(wù)。
新建數(shù)據(jù)開發(fā)任務(wù)
右鍵單擊業(yè)務(wù)流程下的自定義，選擇。
在新建節(jié)點對話框中，輸入節(jié)點名稱，單擊提交。
選擇相應(yīng)的數(shù)據(jù)源后，根據(jù)AnalyticDB for MySQL支持的語法，編寫SQL語句。通常支持DML語句，您也可以執(zhí)行DDL語句。
單擊右側(cè)的調(diào)度配置，為節(jié)點配置調(diào)度屬性。
配置完成后，單擊保存按鈕，將其保存至服務(wù)器。然后單擊運行按鈕，即可立即執(zhí)行編輯的SQL語句。
數(shù)據(jù)運維
任務(wù)提交發(fā)布后，會基于節(jié)點的配置周期性運行，您可單擊節(jié)點編輯界面右上角的運維，進(jìn)入運維中心查看周期任務(wù)的調(diào)度運行情況。詳情請參見查看并管理周期任務(wù)。
元數(shù)據(jù)管理
您可以單擊進(jìn)入DataWorks控制臺，選擇，進(jìn)行元數(shù)據(jù)管理操作。詳情請參見數(shù)據(jù)地圖概述。