本文介紹如何在E-MapReduce上配置及訪問Hue,通過使用Hue可以在瀏覽器端與Hadoop集群進行交互來分析處理數據。
前提條件
已設置安全組訪問。
重要設置安全組規則時要針對有限的IP范圍。禁止在配置的時候對0.0.0.0/0開放規則。
已打開8888端口。
注意事項
EMR-3.35.0及后續版本或EMR-4.9.0及后續版本的Hadoop集群,需要注意以下信息:
當您需要使用Hue的Workflow作業時,請在Hue配置頁簽,刪除app_blacklist參數值中的jobbrowser。
當您需要使用Hue通過界面瀏覽或者操作HDFS系統的目錄時,請在Hue配置頁簽,刪除app_blacklist參數值中的filebrowser,并啟動HDFS服務的HttpFS組件。
查看初始密碼
Hue服務默認在第一次運行時,如果未設置管理員則將第一個登錄用戶設置為管理員。因此出于安全考慮,E-MapReduce將默認為Hue服務創建一個名為admin的管理員賬號,并為其設置一個隨機的初始密碼。您可以通過以下方式查看該管理員賬號的初始密碼:
在頂部菜單欄處,根據實際情況選擇地域和資源組。
單擊上方的集群管理頁簽。
在集群管理頁面,單擊相應集群所在行的詳情。
單擊左側導航欄中的集群服務,在集群服務列表中,選擇Hue。
單擊配置頁簽,找到admin_pwd參數,該參數對應的值就是隨機密碼。
重要admin_pwd僅為admin賬號的初始密碼,在E-MapReduce控制臺上更改該密碼不會同步到Hue中。如果需要更改admin賬號在Hue中的登錄密碼,您可以使用該初始密碼登錄Hue,然后在Hue的用戶管理模塊中進行修改,或者重置賬號密碼。
訪問Hue
在集群管理頁面,單擊相應集群所在行的詳情。
在頁面左側導航欄中,單擊訪問鏈接與端口。
單擊Hue服務所在行的鏈接。
輸入Hue賬號和對應的密碼。
創建用戶賬號
在集群管理頁面,單擊相應集群所在行的詳情。
在主實例組區域獲取Master節點的公網IP。
登錄Master節點,具體步驟請參見登錄集群。
執行以下命令,創建新賬號。
輸入新用戶名、電子郵件,然后輸入密碼,再次輸入密碼后,按Enter鍵。
如果提示Superuser created successfully,則說明新賬號創建成功,稍后用新賬號登錄Hue即可。
重置賬號密碼
使用SSH方式登錄到集群主節點,詳情請參見登錄集群。
執行以下命令,查看Hue的路徑。
ps aux | grep hue
例如回顯信息如下。
說明本示例中獲取到Hue的路徑為/opt/apps/hue/build/env/bin/hue。
執行以下命令,重置用戶密碼。
from django.contrib.auth.models import User user = User.objects.get(username='your username') //輸入待重置密碼的用戶名。 user.set_password('your new password') //輸入新密碼。 user.save()
說明您可以按下鍵盤的ctrl+D組合鍵退出Shell。
示例如下:
添加配置
在集群管理頁面,單擊相應集群所在行的詳情。
在頁面左側導航欄中,單擊 。
單擊配置頁簽。
在服務配置區域,單擊hue。
單擊右上角的自定義配置,添加配置的Key和Value值,
$section_path.$real_key
參數信息如下:
$real_key
即為需要添加的實際的Key,例如hive_server_host
。$section_path
可以通過hue.ini文件查看。例如:通過hue.ini文件可以看出
hive_server_host
屬于[beeswax]
這個section下,則$section_path
為beeswax
。說明綜上可見,添加的Key為
beeswax.hive_server_host
。如果需要修改hue.ini文件中的多級section([desktop] -> [[ldap]] -> [[[ldap_servers]]] -> [[[[users]]]] ->user_name_attr)下的值,則需要配置key為desktop.ldap.ldap_servers.users.user_name_attr
。
調整YARN隊列
HUE進行SQL交互查詢時,需要向YARN申請資源進行計算,如果需要對計算資源進行管理和隔離,則需要配置HiveSQL和SparkSQL的對應隊列。
在集群管理頁面,單擊相應集群所在行的詳情。
修改或添加自定義配置。
HiveSQL需要根據不同引擎設置HiveServer2。
重要本文的QUEUENAME為需要配置的隊列名稱。
單擊左側導航欄的
。單擊配置頁簽。
單擊服務配置區域的hiveserver2-site頁簽。
單擊右上角的自定義配置添加相應如下配置:
引擎
配置項
說明
Hive on MR
mapreduce.job.queuename
QUEUENAME
Hive on Tez
tez.queue.name
Hive on Spark
spark.yarn.queue
說明若需修改配置,可直接在服務配置頁面修改配置項的值。
SparkSQL使用SparkThriftServer,在Spark組件上修改spark-thriftServer配置或添加自定義配置:
單擊左側導航欄的
。單擊配置頁簽。
單擊服務配置區域的spark-thriftServer頁簽。
單擊右上角的自定義配置,添加spark.yarn.queue為QUEUENAME。
重啟Hue所在集群的HiveServer2和Spark的ThriftServer。
在集群管理頁面,單擊 。
在組件列表區域,單擊HiveServer2所在行的重啟。
輸入相關信息,單擊確定。
在集群管理頁面,單擊 。
在組件列表區域,單擊ThriftServer所在行的重啟。
輸入相關信息,單擊確定。