操作流程

1. 步驟一：授予MaxCompute訪問DLF和OSS的權限

   為操作MaxCompute項目的賬號授予訪問DLF和OSS的權限。

2. 步驟二：在OSS中創建存儲空間及目錄

   創建OSS存儲空間作為數據湖的統一存儲路徑。

3. 步驟三：準備入湖數據

   創建RDS數據庫，準備入湖數據。

4. 步驟四：在DLF中創建元數據庫

   通過創建數據源對接RDS與DLF。

5. 步驟五：創建并啟動入湖任務

   基于DLF創建數據入湖任務，將RDS數據庫中的表數據實時同步并回放到數據湖中。

6. 步驟六：基于MaxCompute分析數據湖數據

   通過DataWorks控制臺的數據湖集成界面創建External Project，對數據湖數據進行分析。

步驟一：授予MaxCompute訪問DLF和OSS的權限

步驟二：在OSS中創建存儲空間及目錄

創建OSS存儲空間作為數據湖的統一存儲路徑。

1. 登錄OSS管理控制臺。

2. 在左側導航欄，單擊Bucket列表，在Bucket列表頁面，單擊創建Bucket。

3. 在創建Bucket面板填寫Bucket名稱，例如mc-dlf-oss，并選擇地域，例如華東2（上海）后，單擊確定。

   

4. 在左側導航欄，單擊文件管理后，在右側區域單擊新建目錄并填寫目錄名，例如covid-19，單擊確定。

   

步驟三：準備入湖數據

基于阿里云RDS構造數據庫，并創建表、準備入湖數據。

1. 訪問RDS實例列表，在上方選擇地域。例如華東2（上海），然后單擊目標實例ID。

2. 創建RDS數據庫賬號。在目標實例信息頁面的左側導航欄單擊賬號管理后，在用戶賬號頁簽單擊創建賬號，并在創建賬號面板配置下表所列參數信息，單擊確定。

   

   參數名稱	說明	樣例值
   數據庫賬號	訪問RDS數據庫的賬號。創建RDS數據庫時會綁定此信息。	datalake_mcdbuser
   賬號類型	賬號包含如下兩種： 普通賬號：后續需要綁定至RDS數據庫。 高權限賬號：無需選擇要授權的數據庫，擁有實例中所有數據庫的權限。	普通賬號
   密碼	賬號對應的密碼信息。	無
   確認密碼	再次確認賬號對應的密碼信息。	無

   更多參數解釋，請參見創建賬號。

3. 創建RDS數據庫。在目標實例信息頁面的左側導航欄單擊數據庫管理>創建數據庫，設置如下參數。

   參數	說明
   數據庫（DB）名稱	最長63個字符。 由小寫字母、數字、中劃線、下劃線組成。 以字母開頭，以字母或數字結尾。
   支持字符集	數據庫的字符集。
   Collate	字符串排序規則。
   Ctype	字符分類。
   授權賬號	設置數據庫的所有者，對數據庫擁有ALL權限。
   備注說明	填寫備注信息。

4. 為RDS數據庫創建表并插入少量測試數據，具體操作請參見通過DMS登錄RDS MySQL。如表名為anti_fraud_result，命令示例如下。

   CREATE TABLE `anti_fraud_result` (
     `transactionid` varchar(32) NOT NULL,
     `uid` varchar(32) DEFAULT NULL,
     `card` varchar(32) DEFAULT NULL,
     `longitude` double(12,8) DEFAULT '12.00000000',
     `latitude` double(12,8) DEFAULT '12.00000000',
     PRIMARY KEY (`transactionid`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8
   ;
   
   INSERT INTO `anti_fraud_result` values ("12489571","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489572","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489573","82005","123123",3.14592040,101.12315432);
   INSERT INTO `anti_fraud_result` values ("12489574","82005","123123",3.14592040,101.12315432);

步驟四：在DLF中創建元數據庫（可選）

通過創建元數據庫來管理DLF湖中的數據。

1. 登錄數據湖構建控制臺，在左上角選擇地域，例如華東2（上海）。

2. 創建元數據庫。例如datalake。

   1. 在左側導航欄，選擇元數據管理，在數據庫頁簽，單擊新建數據庫。

   2. 在新建數據庫對話框，配置相關參數。

      參數	描述	示例
      所屬數據目錄	數據存儲的數據庫目錄。	default
      數據庫名稱	目標數據庫的名稱。	dlf_db
      數據庫描述	目標數據庫的描述信息。	湖倉一體
      選擇路徑	OSS數據路徑。格式為oss://<Bucket名稱>/<OSS目錄名稱>。	oss://doc-test-01/datalake/

   3. 單擊確定，完成數據庫的創建。

步驟五：創建并啟動入湖任務

由于DLF中數據入湖功能已經停止更新，如果您有數據入湖需求請參考DLF中數據入湖功能停止更新公告。您可以采用以下兩種方式進行Delta Lake和Hudi格式的數據入湖操作。

步驟六：基于MaxCompute分析數據湖數據

1. 在DataWorks控制臺創建External Project。

   1. 登錄DataWorks控制臺，選擇地域為華東2（上海）。

   2. 在DataWorks控制臺頁面左側導航欄，選擇更多 > 數據湖集成（湖倉一體）。

   3. 在數據湖集成（湖倉一體）頁面，單擊現在開始創建。

   4. 在新建數據湖集成頁面，按照界面指引進行操作。參數示例如下所示。

      表 1. 創建數據倉庫

      參數	說明
      外部項目名稱	ext_dlf_delta
      MaxCompute項目	ms_proj1

      表 2. 創建外部數據湖連接

      參數		說明
      異構數據平臺類型	選擇阿里云DLF+OSS數據湖連接	無
      阿里云DLF+OSS數據湖連接	External Project描述	無
      	DLF所在區	cn-shanghai
      	DLF Endpoint	dlf-share.cn-shanghai.aliyuncs.com
      	DLF數據庫名稱	datalake
      	DLF RoleARN	無

   5. 單擊創建后單擊預覽。

      如果能預覽DLF庫中表的信息，則表示操作成功。

   說明

   以上是DataWorks控制臺創建External Project，如果您需要通過SQL方式創建External Project，請參見使用SQL管理外部項目。

2. 在DataWorks臨時查詢頁面，查看External Project下的表。

   命令示例如下。

   show tables in ext_dlf_delta;

   返回結果如下。

   ALIYUN$***@aliyun.com:anti_rds

   說明

   DataWorks臨時查詢操作，詳情請參見DataWorks臨時查詢。

3. 在DataWorks臨時查詢界面，查詢External Project中的表數據。

   說明

   如果查詢結果出現亂碼問題，解決方法請參見如何處理編碼格式設置/亂碼問題導致的臟數據報錯？。

   • 命令示例：

     select * from ext_dlf_delta.anti_rds;

   • 返回結果：

操作流程

1. 步驟一：授予MaxCompute訪問DLF和OSS的權限

   為操作MaxCompute項目的賬號授予訪問DLF和OSS的權限。

2. 步驟二：在OSS中創建存儲空間及目錄

   創建OSS存儲空間作為數據湖的統一存儲路徑。

3. 步驟三：準備入湖數據

   在Flink控制臺創建臨時表，準備入湖數據。

4. 步驟四：在DLF中創建元數據庫

   在DLF中創建元數據庫作為存儲入湖的數據源。

5. 步驟五：在DLF上創建并啟動元數據抽取任務

   基于DLF創建元數據抽取任務，將OSS目錄下的表數據抽取到數據湖中。

6. 步驟六：基于MaxCompute分析數據湖數據

   通過DataWorks控制臺的數據湖集成界面創建External Project，對數據湖數據進行分析。

步驟一：授予MaxCompute訪問DLF和OSS的權限

步驟二：在OSS中創建存儲空間及目錄

創建OSS存儲空間作為數據湖的統一存儲路徑。

1. 登錄OSS管理控制臺。

2. 在左側導航欄，單擊Bucket列表，在Bucket列表頁面，單擊創建Bucket。

3. 在創建Bucket面板填寫Bucket名稱，例如mc-dlf-oss，并選擇地域，例如華東2（上海）后，單擊確定。

   

4. 在左側導航欄，單擊文件管理后，在右側區域單擊新建目錄并填寫目錄名，例如covid-19，單擊確定。

   

步驟三：準備入湖數據

基于阿里云Flink全托管使用Hudi連接器建表、準備入湖數據。操作詳情請參見Flink SQL作業快速入門。

1. 訪問Flink實例列表，在上方選擇地域，并單擊目標實例ID，進入阿里云實時計算頁面。

2. 在左側導航欄單擊SQL開發，并新建空白的流作業草稿，單擊下一步。

3. 在新建作業草稿對話框中填寫作業信息，單擊創建。

4. 在SQL編輯區域中輸入如下命令，語法詳情請參見Hudi連接器。

   -- 創建一個datagen臨時表，作為數據源。
   CREATE TEMPORARY TABLE datagen(
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data  STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'datagen' ,
     'rows-per-second'='100' 
   );
   
   -- 創建一個flink_hudi_tbl臨時表，作為結果表，數據存儲指向oss，格式為hudi
   CREATE TEMPORARY TABLE flink_hudi_tbl (
     id INT NOT NULL PRIMARY KEY NOT ENFORCED,
     data STRING,
     ts TIMESTAMP(3)
   ) WITH (
     'connector' = 'hudi', 
     'oss.endpoint' = 'oss-cn-beijing-internal.aliyuncs.com', 
     'accessKeyId' = '${secret_values.ak_id}', 
     'accessKeySecret' = '${secret_values.ak_secret}', 
     'path' = 'oss://<yourOSSBucket>/<自定義存儲位置>',
     'table.type' = 'MERGE_ON_READ',
     'hive_sync.enable' = 'true',
     'hive_sync.mode' = 'hms',
     'hive_sync.db' = 'flink_hudi',
     'hive_sync.table' = 'flink_hudi_tbl',
     'dlf.catalog.region' = 'cn-beijing',
     'dlf.catalog.endpoint' = 'dlf-vpc.cn-beijing.aliyuncs.com'
   );
   
   -- 將源表數據寫入到結果表
   INSERT INTO flink_hudi_tbl SELECT * from datagen;

   參數說明：

   參數名稱	說明
   oss.endpoint	Flink實例所在地域的內網Endpoint，各地域Endpoint請參見訪問域名和數據中心。
   accessKeyId	阿里云賬號的AccessKey ID。
   accessKeySecret	阿里云賬號的AccessKey Secret。
   path	OSS Bucket路徑。
   dlf.catalog.region	阿里云DLF服務的地域名，詳情請參見已開通的地域和訪問域名。
   dlf.catalog.endpoint	DLF服務的Endpoint，詳情請參見已開通的地域和訪問域名。 說明 推薦您設置為DLF的VPC Endpoint。例如，如果您選擇的地域為cn-hangzhou地域，則參數值需要配置為dlf-vpc.cn-hangzhou.aliyuncs.com。

5. 進行深度檢查和作業部署，詳情可參考Flink SQL作業快速入門的步驟四和步驟六。

   1. 單擊右上角深度檢查，成功后會提示深度檢查通過。

   2. 單擊右上角部署，可根據需要填寫或選中相關內容，單擊確定。

6. 啟動作業并查看結果，詳情可參考Flink SQL作業快速入門的步驟七。

   1. 在左側導航欄，單擊作業運維。

   2. 單擊目標作業名稱操作列中的啟動，選擇無狀態啟動后，單擊啟動。當作業狀態變為運行中時，表示作業運行正常。

   3. 在作業運維詳情頁面，查看Flink計算結果。

7. 待任務啟動成功運行一段時間后，登錄OSS控制臺，可查看到目錄下已寫入的數據文件。

步驟四：在DLF中創建元數據庫

通過創建元數據庫來管理DLF湖中的數據。

1. 登錄數據湖構建控制臺，在左上角選擇地域。

2. 創建元數據庫。例如datalake。

   1. 在左側導航欄，選擇元數據管理，在數據庫頁簽，單擊新建數據庫。

   2. 在新建數據庫對話框，配置相關參數。

      參數	描述	示例
      所屬數據目錄	數據存儲的數據庫目錄。	default
      數據庫名稱	目標數據庫的名稱。	dlf_db
      數據庫描述	目標數據庫的描述信息。	湖倉一體
      選擇路徑	OSS數據路徑。格式為oss://<Bucket名稱>/<OSS目錄名稱>。	oss://doc-test-01/datalake/

   3. 單擊確定，完成數據庫的創建。

步驟五：在DLF上創建并啟動元數據抽取任務

1. 在數據湖構建控制臺左側導航欄單擊元數據 > 元數據抽取。

2. 在元數據抽取頁面單擊新建抽取任務。

3. 在新建抽取任務界面，配置相關參數，詳情請參見元數據抽取。

4. 單擊保存并立即執行。

5. 元數據表查看。待抽取任務的執行進度變為100%后，在左側導航欄，選擇元數據管理，單擊目標數據庫，在表列表頁簽可查看表的詳細信息。

6. 查表操作。在左側導航欄，單擊數據探索，可通過執行SQL查看表數據。

步驟六：基于MaxCompute分析數據湖數據

具體操作請參見步驟六：基于MaxCompute分析數據湖數據。