使用Docker Compose部署

1. 在服務器執行以下命令，創建一個名為sls-kibana的新目錄，在sls-kibana目錄下創建一個名為data子目錄。更改data目錄的權限，確保Elasticsearch容器具有對該目錄的讀、寫和執行權限。

   mkdir sls-kibana
   
   cd sls-kibana
   
   mkdir data
   chmod 777 data 

2. 在sls-kibana目錄創建.env文件，內容如下，請根據實際參數修改。

   ES_PASSWORD=aStrongPassword  # 請根據實際情況修改
   
   SLS_ENDPOINT=cn-huhehaote.log.aliyuncs.com
   SLS_PROJECT=etl-dev-7494ab****
   SLS_ACCESS_KEY_ID=xxx
   SLS_ACCESS_KEY_SECRET=xxx
   #SLS_PROJECT_ALIAS=etl-dev # 可選，如果覺得SLS_PROJECT名字太長，可以設置一下別名
   #SLS_LOGSTORE_FILTERS="access*" # 可選，過濾哪些logstore自動創建index pattern，多個index pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號
   #KIBANA_SPACE=default # 可選，指定索引模式（index pattern）創建在哪個space下， 不存在則自動創建。
   
   # 如果有更多project，可以繼續加； 注意超過6個的話，docker-compose.yml中引用也要加
   #SLS_ENDPOINT2=cn-huhehaote.log.aliyuncs.com
   #SLS_PROJECT2=etl-dev2
   #SLS_ACCESS_KEY_ID2=xxx
   #SLS_ACCESS_KEY_SECRET2=xxx
   #SLS_PROJECT_ALIAS2=etl-dev2 # 可選，如果覺得SLS_PROJECT名字太長，可以設置一下別名
   #SLS_LOGSTORE_FILTERS2="test*log" # 可選，過濾哪些logstore自動創建index pattern創建,多個pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號
   #KIBANA_SPACE2=default # 可選，指定index parttern創建在哪個space下; 不存在則自動創建

   參數	說明
   ES_PASSWORD	Elasticsearch的密碼，也是Kibana的密碼。
   SLS_ENDPOINT	Project的訪問域名，請參見管理Project。
   SLS_PROJECT	日志服務的Project名稱，請參見管理Project。
   SLS_ACCESS_KEY_ID	前提條件中創建的RAM用戶的AK。RAM用戶需要具備Logstore的查詢權限，請參見RAM授權。
   SLS_ACCESS_KEY_SECRET	前提條件中創建的RAM用戶的SK。RAM用戶需要具備Logstore的查詢權限，請參見RAM授權。
   SLS_PROJECT_ALIAS	可選，如果SLS_PROJECT名稱過長，可以選擇設置一個別名。
   SLS_LOGSTORE_FILTERS	可選，過濾哪些logstore自動創建index pattern，多個index pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號。
   KIBANA_SPACE	可選，指定索引模式（index pattern）創建在哪個space下， 不存在則自動創建。

3. 在sls-kibana目錄中創建docker-compose.yaml文件，內容如下。

   services:
     es:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.3
       environment:
         - "discovery.type=single-node"
         - "ES_JAVA_OPTS=-Xms2G -Xmx2G"
         - ELASTIC_USERNAME=elastic
         - ELASTIC_PASSWORD=${ES_PASSWORD}
         - xpack.security.enabled=true
       volumes:
         # TODO 這里的./data目錄需要提前建立, 確認已經mkdir data && chmod 777 data
         - ./data:/usr/share/elasticsearch/data
     kproxy:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2
       depends_on:
         - es
       environment:
         - ES_ENDPOINT=es:9200
   
         # 第一個sls project
         - SLS_ENDPOINT=${SLS_ENDPOINT}
         - SLS_PROJECT=${SLS_PROJECT}
         - SLS_LOGSTORE_FILTERS=${SLS_LOGSTORE_FILTERS}
         - KIBANA_SPACE=${KIBANA_SPACE}
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         # 第二個sls project
         - SLS_ENDPOINT2=${SLS_ENDPOINT2}
         - SLS_PROJECT2=${SLS_PROJECT2}
         - SLS_LOGSTORE_FILTERS2=${SLS_LOGSTORE_FILTERS2}
         - KIBANA_SPACE2=${KIBANA_SPACE2}
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_ENDPOINT3=${SLS_ENDPOINT3}
         - SLS_PROJECT3=${SLS_PROJECT3}
         - SLS_LOGSTORE_FILTERS3=${SLS_LOGSTORE_FILTERS3}
         - KIBANA_SPACE3=${KIBANA_SPACE3}
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_ENDPOINT4=${SLS_ENDPOINT4}
         - SLS_PROJECT4=${SLS_PROJECT4}
         - SLS_LOGSTORE_FILTERS4=${SLS_LOGSTORE_FILTERS4}
         - KIBANA_SPACE4=${KIBANA_SPACE4}
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_ENDPOINT5=${SLS_ENDPOINT5}
         - SLS_PROJECT5=${SLS_PROJECT5}
         - SLS_LOGSTORE_FILTERS5=${SLS_LOGSTORE_FILTERS5}
         - KIBANA_SPACE5=${KIBANA_SPACE5}
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_ENDPOINT6=${SLS_ENDPOINT6}
         - SLS_PROJECT6=${SLS_PROJECT6}
         - SLS_LOGSTORE_FILTERS6=${SLS_LOGSTORE_FILTERS6}
         - KIBANA_SPACE6=${KIBANA_SPACE6}
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
         # 如有更多，可以繼續加，最多255個
     kibana:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.3
       depends_on:
         - kproxy
       environment:
         - ELASTICSEARCH_HOSTS=http://kproxy:9201
         - ELASTICSEARCH_USERNAME=elastic
         - ELASTICSEARCH_PASSWORD=${ES_PASSWORD}
         - XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true
       ports:
         - "5601:5601"
   
     # 這個服務組件是可選的，作用是自動創建kibana index pattern
     index-patterner:
       image: sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2
       command: /usr/bin/python3 -u /workspace/create_index_pattern.py
       depends_on:
         - kibana
       environment:
         - KPROXY_ENDPOINT=http://kproxy:9201
         - KIBANA_ENDPOINT=http://kibana:5601
         - KIBANA_USER=elastic
         - KIBANA_PASSWORD=${ES_PASSWORD}
   
         - SLS_PROJECT_ALIAS=${SLS_PROJECT_ALIAS}
         - SLS_ACCESS_KEY_ID=${SLS_ACCESS_KEY_ID}
         - SLS_ACCESS_KEY_SECRET=${SLS_ACCESS_KEY_SECRET}
   
         - SLS_PROJECT_ALIAS2=${SLS_PROJECT_ALIAS2}
         - SLS_ACCESS_KEY_ID2=${SLS_ACCESS_KEY_ID2}
         - SLS_ACCESS_KEY_SECRET2=${SLS_ACCESS_KEY_SECRET2}
   
         - SLS_PROJECT_ALIAS3=${SLS_PROJECT_ALIAS3}
         - SLS_ACCESS_KEY_ID3=${SLS_ACCESS_KEY_ID3}
         - SLS_ACCESS_KEY_SECRET3=${SLS_ACCESS_KEY_SECRET3}
   
         - SLS_PROJECT_ALIAS4=${SLS_PROJECT_ALIAS4}
         - SLS_ACCESS_KEY_ID4=${SLS_ACCESS_KEY_ID4}
         - SLS_ACCESS_KEY_SECRET4=${SLS_ACCESS_KEY_SECRET4}
   
         - SLS_PROJECT_ALIAS5=${SLS_PROJECT_ALIAS5}
         - SLS_ACCESS_KEY_ID5=${SLS_ACCESS_KEY_ID5}
         - SLS_ACCESS_KEY_SECRET5=${SLS_ACCESS_KEY_SECRET5}
   
         - SLS_PROJECT_ALIAS6=${SLS_PROJECT_ALIAS6}
         - SLS_ACCESS_KEY_ID6=${SLS_ACCESS_KEY_ID6}
         - SLS_ACCESS_KEY_SECRET6=${SLS_ACCESS_KEY_SECRET6}
   
         # 如有更多，可以繼續加，最多255個

4. 執行以下命令，啟動服務。

   docker compose up -d

5. 執行以下命令，查看服務狀態。

   docker compose ps

6. 部署完成后，在瀏覽器中輸入http://${部署Kibana的IP地址}:5601，進入Kibana的登錄頁面，輸入第一步中設置的Elasticsearch的用戶名和密碼。

   重要

   必須在服務器的安全組規則中添加5601端口，請參見添加安全組規則。

   http://${部署Kibana的IP地址}:5601

   

使用Helm部署

前提條件

確保阿里云容器服務 Kubernetes 版ACK集群中有以下組件。查看已安裝組件的操作步驟，請參見管理組件。

• csi-provisioner

• CoreDNS

• 以下任意一種Ingress controller：

  • ALB Ingress Controller組件

  • MSE Ingress Controller組件

  • Nginx Ingress Controller組件

操作步驟

1. 創建命名空間（Namespace）。

   # 創建namespace
   kubectl create namespace sls-kibana

2. 創建并編輯values.yaml文件，內容如下，請根據實際情況修改。

   kibana:
     ingressClass: nginx # 根據實際安裝的ingress controller修改
     # 根據ack集群->運維管理->組件管理下搜ingress，查看已安裝的ingress控制臺確定該值
     # ALB Ingress Controller 設置為alb
     # MSE Ingress Controller 設置為mse
     # Nginx Ingress Controller 設置為nginx
     ingressDomain: #可以為空，如果需要通過域名訪問kibana，可以設置該值
     ingressPath: /kibana/ # 必填，訪問時的子路徑
     # 如果ingressDomain非空, 那么ingressPath支持設置為/
     #i18nLocale: en # 設置Kibana的語言，默認為英文，如果需要中文可以設置值為zh-CN
   
   elasticsearch:
     password: aStrongPass  # 請根據實際情況修改es的密碼，同時也是kibana的訪問密碼，對應賬號為elastic
     #diskZoneId: cn-hongkong-c # 指定es使用的云盤所在的az。不設置的情況下az會系統選擇
   
   repository:
     region: cn-hangzhou
     # 鏡像所在區域，中國固定設置為cn-hangzhou 海外固定設置為ap-southeast-1；會使用公網拉取鏡像
   
   sls:
     - project: k8s-log-c5****** # sls的project
       endpoint: cn-huhehaote.log.aliyuncs.com # sls project對應的endpoint
       accessKeyId: 具有sls訪問權限的accessKeyId
       accessKeySecret: 具有sls訪問權限的accessKeySecret
     #  alias: etl-logs # 可選，如果覺得project名在kibana中顯示太長，可以設置別名
     #  kibanaSpace: default  # 可選，指定index pattern創建在哪個space下; 不存在則自動創建
     #  logstoreFilters: "*" # 可選，過濾哪些logstore自動創建index pattern創建,多個pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號。
   
     # 如果有第二個繼續按上面的格式添加
     #- project: etl-dev2 # sls的project
     #  endpoint: cn-huhehaote.log.aliyuncs.com # sls project對應的endpoint
     #  accessKeyId: 具有sls訪問權限的accessKeyId
     #  accessKeySecret: 具有sls訪問權限的accessKeySecret
     #  alias: etl-logs2 # 可選，如果覺得project名在kibana中顯示太長，可以設置別名
     #  kibanaSpace: default  # 可選，指定index pattern創建在哪個space下; 不存在則自動創建
     #  logstoreFilters: "*" # 可選，過濾哪些logstore自動創建index pattern創建,多個pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號
   

   參數說明	說明
   kibana.ingressClass	根據實際安裝的ingress controller修改，查看組件的步驟請參見管理組件。 ALB Ingress Controller：設置為alb MSE Ingress Controller：設置為mse Nginx Ingress Controller：設置為nginx
   kibana.ingressDomain	可以為空，如果需要通過域名訪問kibana，需要設置該值。
   repository.region	鏡像所在區域，中國固定設置為cn-hangzhou，海外固定設置為ap-southeast-1，會使用公網拉取鏡像。
   kibana.ingressPath	訪問時的子路徑。如果ingressDomain非空, 那么ingressPath支持設置為/。
   elasticsearch.password	請根據實際情況修改Elasticsearch的密碼，同時也是Kibana的訪問密碼，Elasticsearch賬號為elastic。
   sls.project	日志服務的Project名稱，請參見管理Project。
   sls.endpoint	Project的訪問域名，請參見管理Project。
   sls.accessKeyId	前提條件中創建的RAM用戶的AK。RAM用戶需要具備Logstore的查詢權限，請參見RAM授權。
   sls.accessKeySecret	前提條件中創建的RAM用戶的SK。RAM用戶需要具備Logstore的查詢權限，請參見RAM授權。
   sls.alias	可選，如果Project名在Kibana中顯示太長，可以設置別名。
   sls.kibanaSpace	可選，指定索引模式（index pattern）創建在哪個space下， 不存在則自動創建。
   sls.logstoreFilters	可選，過濾哪些logstore自動創建index pattern，多個index pattern用逗號分隔，比如 "access*,error*"，注意加上雙引號。

3. 執行以下命令，使用Helm部署。

   helm install sls-kibana https://sls-kproxy.oss-cn-hangzhou.aliyuncs.com/sls-kibana-1.5.2 -f values.yaml --namespace sls-kibana

4. 部署完成后，在瀏覽器中輸入http://${ingress地址}/kibana/，進入Kibana的登錄頁面，輸入第一步中設置的Elasticsearch的用戶名和密碼。

   http://${ingress地址}/kibana/ 

   

使用Docker部署

第一步：部署Elasticsearch

1. 在服務器上執行如下命令，部署Elasticsearch。

   sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.3
   
   sudo mkdir /data  # Elasticsearch數據的存儲目錄, 請根據實際情況修改。
   sudo chmod 777 /data # 配置權限。
   
   sudo docker run -d --name es -p 9200:9200 \
              -e "discovery.type=single-node" \
              -e "ES_JAVA_OPTS=-Xms2G -Xmx2G" \
              -e ELASTIC_USERNAME=elastic \
              -e ELASTIC_PASSWORD=passwd \
              -e xpack.security.enabled=true \
              -v /data:/usr/share/elasticsearch/data \
              sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/elasticsearch:7.17.3

   參數	說明
   ELASTIC_USERNAME	登錄Elasticsearch的用戶名，固定為elastic。
   ELASTIC_PASSWORD	登錄Elasticsearch的密碼。Elasticsearch的密碼必須是字符串類型。
   /data	Elasticsearch在物理機上的數據存儲位置，請根據情況修改。

2. 部署完成后，請執行如下命令驗證Elasticsearch是否部署成功。如果使用公網IP，必須在服務器的安全組規則中添加9200端口，請參見添加安全組規則。

   curl http://${Elasticsearch所在機器的IP地址}:9200

   如果返回結果是包含security_exception的JSON格式數據，則表示Elasticsearch已經成功部署。

   {"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

第二步：部署Proxy

Kibana對接日志服務時，支持對接單個或多個Project，您需要在部署Proxy時，添加對應的Project信息。對應的部署示例如下所示。

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在機器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_PROJECT=prjA \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2

sudo docker pull sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2

sudo docker run  -d --name proxy \
            -e ES_ENDPOINT=${Elasticsearch所在機器的IP地址}:9200 \
            -e SLS_ENDPOINT=https://prjA.cn-guangzhou.log.aliyuncs.com/es/ \
            -e SLS_ENDPOINT2=https://prjB.cn-guangzhou.log.aliyuncs.com/es/ \ 
            -e SLS_PROJECT=prjA \
            -e SLS_PROJECT2=prjB \
            -e SLS_ACCESS_KEY_ID=${aliyunAccessId} \ 
            -e SLS_ACCESS_KEY_SECRET=${aliyunAccessKey} \ 
            -e SLS_ACCESS_KEY_ID2=${aliyunAccessId} \ #如果值和SLS_ACCESS_KEY_ID相同，無需配置。
            -e SLS_ACCESS_KEY_SECRET2=${aliyunAccessKey} \ #如果值和SLS_ACCESS_KEY_SECRET相同，無需配置。
            -p 9201:9201 \
            -ti sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kproxy:2.1.2

重要參數說明如下表所示。

部署完成后，您可以執行如下命令驗證是否部署成功。如果使用公網IP，必須在服務器的安全組規則中添加9201端口，請參見添加安全組規則。

curl http://${Proxy所在機器IP地址}:9201

如果返回結果中包含security_exception的JSON格式數據，則表示Proxy已經成功部署。

{"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

第三步：部署Kibana

參見如下示例，部署Kibana。本文以Kibana 7.17.3版本為例。

sudo docker pull  sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.3

sudo docker run -d --name kibana \
            -e ELASTICSEARCH_HOSTS=http://${Proxy所在機器的IP地址}:9201 \
            -e ELASTICSEARCH_USERNAME=elastic \
            -e ELASTICSEARCH_PASSWORD=passwd \
            -e XPACK_MONITORING_UI_CONTAINER_ELASTICSEARCH_ENABLED=true \
            -p 5601:5601 \
            sls-registry.cn-hangzhou.cr.aliyuncs.com/kproxy/kibana:7.17.3

部署完成后，在瀏覽器中輸入http://${部署Kibana的IP地址}:5601，進入Kibana的登錄頁面，輸入第一步中設置的Elasticsearch的用戶名和密碼。

http://${部署Kibana的IP地址}:5601

查詢和分析數據

1. 在左側導航欄中，選擇Analytics>Discover。

   重要

   使用Kibana和Elasticsearch兼容接口分析日志服務數據時，目前只支持使用Discover和Dashboard這兩個模塊。

   

2. 在頁面左上角選擇目標索引，在頁面右上角選擇時間范圍，查詢日志數據。

   

手動配置IndexPattern（可選）

1. 在左側導航欄中，選擇Management > Stack Management。

2. 在左側導航欄中，選擇Kibana > Index Patterns。

3. 首次使用時，請先在提示框中單擊create an index pattern against hidden or system indices.

   說明

   在Index pattern列表中看不到數據是正常的，日志服務的logstore映射到Kibana中的Index patterns需要手動創建。

4. 在Create index pattern窗口中，配置相關參數。

   

   參數名稱	說明
   Name	索引名稱，該名稱的命名規則為${日志服務Project名稱}.${Logstore名稱}。 重要 索引名稱僅支持精準匹配，不支持使用通配符，即您需要輸入完整的索引名稱。 例如Project名稱為etl-guangzhou，Logstore名稱為es_test22，那么此處名稱為etl-guangzhou.es_test22。
   Timestamp field	時間戳字段，固定選擇為@timestamp。

5. 單擊Create index pattern。