日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

使用說明

本文介紹如何在E-MapReduce上配置及訪問Hue,通過使用Hue可以在瀏覽器端與Hadoop集群進行交互來分析處理數據。

前提條件

  • 已設置安全組訪問。

    重要

    設置安全組規則時要針對有限的IP范圍。禁止在配置的時候對0.0.0.0/0開放規則。

  • 已打開8888端口。

注意事項

EMR-3.35.0及后續版本或EMR-4.9.0及后續版本的Hadoop集群,需要注意以下信息:

  • 當您需要使用Hue的Workflow作業時,請在Hue配置頁簽,刪除app_blacklist參數值中的jobbrowserjobbrowser

  • 當您需要使用Hue通過界面瀏覽或者操作HDFS系統的目錄時,請在Hue配置頁簽,刪除app_blacklist參數值中的filebrowser,并啟動HDFS服務的HttpFS組件。httpfs

查看初始密碼

Hue服務默認在第一次運行時,如果未設置管理員則將第一個登錄用戶設置為管理員。因此出于安全考慮,E-MapReduce將默認為Hue服務創建一個名為admin的管理員賬號,并為其設置一個隨機的初始密碼。您可以通過以下方式查看該管理員賬號的初始密碼:

  1. 登錄阿里云E-MapReduce控制臺。

  2. 在頂部菜單欄處,根據實際情況選擇地域和資源組

  3. 單擊上方的集群管理頁簽。

  4. 集群管理頁面,單擊相應集群所在行的詳情。

  5. 單擊左側導航欄中的集群服務,在集群服務列表中,選擇Hue。

  6. 單擊配置頁簽,找到admin_pwd參數,該參數對應的值就是隨機密碼。

    重要

    admin_pwd僅為admin賬號的初始密碼,在E-MapReduce控制臺上更改該密碼不會同步到Hue中。如果需要更改admin賬號在Hue中的登錄密碼,您可以使用該初始密碼登錄Hue,然后在Hue的用戶管理模塊中進行修改,或者重置賬號密碼。

訪問Hue

  1. 集群管理頁面,單擊相應集群所在行的詳情。

  2. 在頁面左側導航欄中,單擊訪問鏈接與端口。

  3. 單擊Hue服務所在行的鏈接。

  4. 輸入Hue賬號和對應的密碼。

創建用戶賬號

  1. 集群管理頁面,單擊相應集群所在行的詳情。

  2. 主實例組區域獲取Master節點的公網IP。

  3. 登錄Master節點,具體步驟請參見登錄集群

  4. 執行以下命令,創建新賬號。

    /opt/apps/hue/build/env/bin/hue createsuperuser
  5. 輸入新用戶名、電子郵件,然后輸入密碼,再次輸入密碼后,按Enter鍵。

    如果提示Superuser created successfully,則說明新賬號創建成功,稍后用新賬號登錄Hue即可。

重置賬號密碼

  1. 使用SSH方式登錄到集群主節點,詳情請參見登錄集群。

  2. 執行以下命令,查看Hue的路徑。

    ps aux | grep hue

    例如回顯信息如下。 check hue file

    說明

    本示例中獲取到Hue的路徑為/opt/apps/hue/build/env/bin/hue

  3. 執行以下命令,重置用戶密碼。

    from django.contrib.auth.models import User
    user = User.objects.get(username='your username')  //輸入待重置密碼的用戶名。
    user.set_password('your new password') //輸入新密碼。
    user.save()
    說明

    您可以按下鍵盤的ctrl+D組合鍵退出Shell。

    示例如下:change password

添加配置

  1. 集群管理頁面,單擊相應集群所在行的詳情

  2. 在頁面左側導航欄中,單擊集群服務 > Hue

  3. 單擊配置頁簽。

  4. 服務配置區域,單擊hue。

  5. 單擊右上角的自定義配置,添加配置的Key和Value值,

    $section_path.$real_key

    參數信息如下:

    • $real_key即為需要添加的實際的Key,例如hive_server_host

    • $section_path可以通過hue.ini文件查看。

      例如:通過hue.ini文件可以看出hive_server_host屬于[beeswax]這個section下,則$section_pathbeeswax。

      說明

      綜上可見,添加的Key為beeswax.hive_server_host。如果需要修改hue.ini文件中的多級section([desktop] -> [[ldap]] -> [[[ldap_servers]]] -> [[[[users]]]] ->user_name_attr)下的值,則需要配置key為desktop.ldap.ldap_servers.users.user_name_attr

調整YARN隊列

HUE進行SQL交互查詢時,需要向YARN申請資源進行計算,如果需要對計算資源進行管理和隔離,則需要配置HiveSQL和SparkSQL的對應隊列。

  1. 集群管理頁面,單擊相應集群所在行的詳情。

  2. 修改或添加自定義配置。

    • HiveSQL需要根據不同引擎設置HiveServer2。

      重要

      本文的QUEUENAME為需要配置的隊列名稱。

      1. 單擊左側導航欄的集群服務 > Hive

      2. 單擊配置頁簽。

      3. 單擊服務配置區域的hiveserver2-site頁簽。

      4. 單擊右上角的自定義配置添加相應如下配置:

        引擎

        配置項

        說明

        Hive on MR

        mapreduce.job.queuename

        QUEUENAME

        Hive on Tez

        tez.queue.name

        Hive on Spark

        spark.yarn.queue

        說明

        若需修改配置,可直接在服務配置頁面修改配置項的值。

    • SparkSQL使用SparkThriftServer,在Spark組件上修改spark-thriftServer配置或添加自定義配置:

      1. 單擊左側導航欄的集群服務 > Spark。

      2. 單擊配置頁簽。

      3. 單擊服務配置區域的spark-thriftServer頁簽。

      4. 單擊右上角的自定義配置,添加spark.yarn.queue為QUEUENAME。

  3. 重啟Hue所在集群的HiveServer2和Spark的ThriftServer。

    1. 集群管理頁面,單擊集群服務 > Hive。

    2. 組件列表區域,單擊HiveServer2所在行的重啟

      輸入相關信息,單擊確定。

    3. 集群管理頁面,單擊集群服務 > Spark。

    4. 組件列表區域,單擊ThriftServer所在行的重啟

      輸入相關信息,單擊確定。