元數(shù)據(jù)采集概述

支持的數(shù)據(jù)源及元數(shù)據(jù)采集方式

使用限制

• 僅支持對當前登錄賬號所屬的工作空間中已配置的數(shù)據(jù)源，進行元數(shù)據(jù)采集操作。如果您需要采集其他工作空間中數(shù)據(jù)源的元數(shù)據(jù)信息，您可以聯(lián)系空間管理員添加空間成員，詳情請參見為工作空間添加空間成員。

• 當您需要采集已開啟白名單訪問控制的數(shù)據(jù)源的元數(shù)據(jù)時，則需要提前配置好數(shù)據(jù)庫的白名單權限。詳情請參見元數(shù)據(jù)采集的數(shù)據(jù)源有白名單訪問控制時需要配置的白名單。

• DataWorks目前不建議跨地域采集元數(shù)據(jù)，即DataWorks所在的地域需要與數(shù)據(jù)源所在的地域相同。如需跨地域采集元數(shù)據(jù)，請在新建數(shù)據(jù)源時使用公網(wǎng)地址。詳情請參見創(chuàng)建并管理數(shù)據(jù)源。

• 暫不支持使用MySQL元數(shù)據(jù)采集器來采集OceanBase數(shù)據(jù)源。

功能入口

1. 進入數(shù)據(jù)地圖。

2. 在左側菜單欄，單擊元數(shù)據(jù)采集。

   您可以在數(shù)據(jù)源視角對已配置的各數(shù)據(jù)源的元數(shù)據(jù)采集器進行管理。對于無數(shù)據(jù)源的情況，支持您單擊新建數(shù)據(jù)源，進入數(shù)據(jù)源配置頁面，創(chuàng)建數(shù)據(jù)源。

查看元數(shù)據(jù)采集器

• 整體統(tǒng)計

  在元數(shù)據(jù)采集頁面，您可以在數(shù)據(jù)源視角查看元數(shù)據(jù)采集總覽，主要為您展示已創(chuàng)建采集器的數(shù)據(jù)源數(shù)量。

• 明細列表

  您還可以單擊目標數(shù)據(jù)源類型右上角的管理按鈕，進入采集明細頁面，查看指定工作空間下相應采集器的運行狀態(tài)、執(zhí)行計劃、上次運行時間、上次消耗時間、平均運行耗時及上次運行時更新及添加的表數(shù)量。

管理元數(shù)據(jù)采集器

單擊目標數(shù)據(jù)源右上角的管理按鈕，默認進入已采集列表，您可以對已有采集器進行如下操作。

運行元數(shù)據(jù)采集器

支持您手動運行元數(shù)據(jù)采集器，您可以根據(jù)業(yè)務需要在已采集列表頁面找到目標數(shù)據(jù)源單擊操作列的運行，即可執(zhí)行一次元數(shù)據(jù)采集。

修改元數(shù)據(jù)采集器的執(zhí)行計劃

移除元數(shù)據(jù)采集器

支持您在已采集列表頁面找到目標數(shù)據(jù)源單擊操作列的移除，移除當前數(shù)據(jù)源的元數(shù)據(jù)采集器。移除后該數(shù)據(jù)源將會進入未采集列表，不再進行元數(shù)據(jù)采集。

創(chuàng)建元數(shù)據(jù)采集器

新建數(shù)據(jù)源或注冊集群后，您可以進入數(shù)據(jù)地圖中開啟元數(shù)據(jù)采集，在已采集列表中查看目標數(shù)據(jù)源的元數(shù)據(jù)采集情況。

移除元數(shù)據(jù)采集器后，如果后續(xù)您需要重新啟動采集，支持您在未采集列表中重新創(chuàng)建元數(shù)據(jù)采集器，以下是詳細的操作步驟。

1. 單擊列表頂部的未采集列表。

2. 找到目標數(shù)據(jù)源，單擊操作列的元數(shù)據(jù)采集，在彈出來的配置采集計劃框中配置各項參數(shù)。

   說明

   不同數(shù)據(jù)源配置采集計劃界面可能存在差異，請以產(chǎn)品界面為準。

   

   參數(shù)	描述
   資源組名稱	選擇已與數(shù)據(jù)源網(wǎng)絡連通的資源組。數(shù)據(jù)地圖支持您選擇如下3種資源組，您可根據(jù)需求選取： 默認資源組default。 您自己的獨享調(diào)度資源組。 您自己的獨享數(shù)據(jù)集成資源組。 您自己的Serverless資源組（通用型資源組）。
   連通性測試	選擇完資源組名稱后，如果您想再次測試資源組與數(shù)據(jù)源的連通性，您可以單擊測試連通性進行驗證。如果顯示測試連通性未通過： 請確認數(shù)據(jù)源是否開啟了白名單限制，如果需要采集已開啟白名單訪問控制的元數(shù)據(jù)，請參考元數(shù)據(jù)采集的數(shù)據(jù)源有白名單訪問控制時需要配置的白名單配置白名單權限。 如果數(shù)據(jù)源未開啟白名單限制，請參考資源組操作及網(wǎng)絡連通文檔進行數(shù)據(jù)源網(wǎng)絡打通。
   采集計劃	包括手動采集、每月、每周、每天及每小時。根據(jù)不同的執(zhí)行周期，生成不同的執(zhí)行計劃，在相應執(zhí)行計劃的時間內(nèi)，對目標數(shù)據(jù)源進行元數(shù)據(jù)采集。 手動采集：根據(jù)實際業(yè)務需求，在業(yè)務需要時手動觸發(fā)元數(shù)據(jù)的采集和更新。 月采集：即在每月所指定日期的指定時間點自動采集一次元數(shù)據(jù)。 重要 部分月份不包含29、30、31日，請您謹慎選擇月末日期。 周采集：即在每周所指定日期的指定時間點自動采集一次元數(shù)據(jù)。 不輸入時間時，則默認在每周指定幾天的00:00:00采集。 天采集：即在每天特定的時間點自動采集一次元數(shù)據(jù)。 小時采集：即在每小時的第N分鐘自動采集一次元數(shù)據(jù)。

3. 確認配置信息無誤后，單擊確認。

   系統(tǒng)會根據(jù)配置的采集計劃，進行元數(shù)據(jù)采集，如果是手動采集，您可以根據(jù)實際業(yè)務需求，在業(yè)務需要時進入已采集列表，找到目標數(shù)據(jù)源，單擊操作列的運行，即可手動執(zhí)行采集任務。