創建Token

1. 在Spark Thrift Server頁簽，單擊新增的Spark Thrift Server的名稱。

2. 單擊Token管理頁簽。

3. 單擊創建Token。

4. 在創建Token對話框中，配置以下信息，單擊確定。

   參數	說明
   名稱	新建Token的名稱。
   過期時間	設置該Token的過期時間。設置的天數應大于或等于1。默認情況下為開啟狀態，365天后過期。

5. 復制Token信息。

   重要

   Token創建完成后，請務必立即復制新Token的信息，后續不支持查看。如果您的Token過期或遺失，請選擇新建Token或重置Token。

使用Python連接Spark Thrift Server

1. 執行以下命令，安裝PyHive和Thrift包。

   pip install pyhive thrift

2. 編寫Python腳本，連接Spark Thrift Server。

   以下是一個Python腳本示例，展示如何連接到Hive并顯示數據庫列表。

   from pyhive import hive
   
   if __name__ == '__main__':
       # 替換<endpoint>, <username>, 和 <token> 為您的實際信息。
       cursor = hive.connect('<endpoint>', port=443, scheme='https', username='<username>', password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()
   

使用Java連接Spark Thrift Server

1. 請在您的pom.xml中引入以下Maven依賴。

   <dependencies>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-common</artifactId>
               <version>3.0.0</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hive</groupId>
               <artifactId>hive-jdbc</artifactId>
               <version>2.1.0</version>
           </dependency>
       </dependencies>
   

   說明

   當前Serverless Spark內置的Hive版本為2.x，因此僅支持hive-jdbc 2.x版本。

2. 編寫Java代碼，連接Spark Thrift Server。

   以下是一個Sample Java代碼，用于連接到Spark Thrift Server，并查詢數據庫列表。

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   
   public class Main {
       public static void main(String[] args) throws Exception {
           String url = "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>";
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           Connection conn = DriverManager.getConnection(url);
           HiveStatement stmt = (HiveStatement) conn.createStatement();
   
           String sql = "show databases";
           System.out.println("Running " + sql);
           ResultSet res = stmt.executeQuery(sql);
   
           ResultSetMetaData md = res.getMetaData();
           String[] columns = new String[md.getColumnCount()];
           for (int i = 0; i < columns.length; i++) {
               columns[i] = md.getColumnName(i + 1);
           }
           while (res.next()) {
               System.out.print("Row " + res.getRow() + "=[");
               for (int i = 0; i < columns.length; i++) {
                   if (i != 0) {
                       System.out.print(", ");
                   }
                   System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
               }
               System.out.println(")]");
           }
           
           conn.close();
       }
   }

通過Spark Beeline連接Spark Thrift Server

1. （可選）如果您使用的是EMR on ECS的集群，建議您先進入Spark的bin目錄。

   cd /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3/bin/

2. 使用Beeline客戶端連接到Spark Thrift Server。

   beeline -u "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>"

   如果連接Serverless Spark Thrift Server時出現以下報錯，通常是由于Hive Beeline版本不兼容導致的。請確保您使用的是Spark Beeline。

   24/08/22 15:09:11 [main]: ERROR jdbc.HiveConnection: Error opening session
   org.apache.thrift.transport.TTransportException: HTTP Response code: 404

配置Apache Superset以連接Spark Thrift Server

Apache Superset是一個現代數據探索和可視化平臺，具有豐富的從簡單的折線圖到高度詳細的地理空間圖表的圖表形態。更多Superset信息，請參見Superset。

1. 安裝依賴。

   請確保您已經安裝了高版本的 thrift 包（建議高于16.0.0）。如未安裝，您可以使用以下命令安裝。

   pip install thrift==20.0.0

2. 啟動Superset，進入Superset界面。

   更多啟動操作信息，請參見Superset文檔。

3. 在頁面右上角單擊DATABASE，進入Connect a database頁面。

4. 在Connect a database頁面，選擇Apache Spark SQL。

   

5. 填寫連接字符串，然后配置相關數據源參數。

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

6. 單擊FINISH，以確認成功連接和驗證。

配置Hue以連接Spark Thrift Server

Hue是一個流行的開源Web界面，可用于與Hadoop生態系統進行交互。關于Hue的更多介紹，請參見Hue官方文檔。

1. 安裝依賴。

   請確保您已經安裝了高版本的 thrift 包（建議高于16.0.0）。如未安裝，您可以使用以下命令安裝。

   pip install thrift==20.0.0

2. 在Hue的配置文件中添加Spark SQL連接串。

   請找到Hue的配置文件（通常位于/etc/hue/hue.conf），并在文件中添加以下內容。

      [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

3. 重啟Hue。

   修改配置后，您需要執行以下命令重啟Hue服務以使更改生效。

   sudo service hue restart

4. 驗證連接。

   成功重啟后，訪問Hue界面，找到Spark SQL選項。如果配置正確，您應能夠成功連接到Spark Thrift Server并執行SQL查詢。