本文介紹如何配置獨立的阿里云RDS,作為Databricks數據洞察集群的元數據。
前提條件
已購買RDS,詳情請參見創建RDS MySQL實例。
說明
本文以MySQL 5.7版本為例介紹。
元數據庫準備
創建hivemeta的數據庫
詳情請參見創建數據庫和賬號中的創建數據庫。
創建用戶并授權讀寫權限
獲取數據庫內網地址
在實例詳細頁面,單擊左側導航欄中的數據庫連接。
在數據庫連接頁面,單擊內網地址進行復制。
創建Databricks數據洞察集群
在創建集群的頁面,配置以下參數,其他參數的配置請參見創建集群。
參數 | 描述 |
元數據選擇 | 選擇獨立RDS MySQL |
數據庫連接 | 數據庫連接填寫格式為jdbc:mysql://rm-xxxxxx.mysql.rds.aliyuncs.com/<數據庫名稱>。 |
數據庫用戶名 | 填寫hive元數據庫中賬號的用戶名。 |
數據庫密碼 | 填寫hive元數據庫中賬號的密碼。 |
Metastore初始化
1. 連接RDS元數據庫,首先需要打通Databricks集群與MySQL實例的VPC和vSwitch網絡。詳情參見RDS (MySQL數據源打通)。
2.配置安全組白名單,并訪問Notebook,詳情參見安全組白名單。
3.登錄Notebook,執行Metastore初始化命令。
%sh
schematool -initSchema -dbType mysql
待初始化成功
說明
在初始化之前,Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能會出現異常,待初始化之后會恢復正常。
文檔內容是否對您有幫助?