優(yōu)化域名解析請求

使用合適的容器鏡像

當(dāng)Kubernetes集群中部署的容器采用了Alpine作為基礎(chǔ)鏡像時，可能會因為上述musl libc特性而無法正常解析域名，建議嘗試更換基礎(chǔ)鏡像，如Debian、CentOS等。

避免IPVS缺陷導(dǎo)致的DNS概率性解析超時問題

當(dāng)集群使用IPVS作為kube-proxy負(fù)載均衡模式時，您可能會在CoreDNS縮容或重啟時遇到DNS概率性解析超時的問題。該問題由社區(qū)Linux內(nèi)核缺陷導(dǎo)致，具體信息，請參見IPVS。

使用節(jié)點DNS緩存NodeLocal DNSCache

在ACK集群中部署NodeLocal DNSCache可以提升服務(wù)發(fā)現(xiàn)的穩(wěn)定性和性能，NodeLocal DNSCache通過在集群節(jié)點上作為DaemonSet運(yùn)行DNS緩存代理來提高集群DNS性能。

關(guān)于更多NodeLocal DNSCache的介紹及如何在ACK集群中部署NodeLocal DNSCache的具體步驟，請參見使用NodeLocal DNSCache。

使用合適的CoreDNS版本

監(jiān)控CoreDNS運(yùn)行狀態(tài)

監(jiān)控指標(biāo)

CoreDNS通過標(biāo)準(zhǔn)的Prometheus接口暴露出解析結(jié)果等健康指標(biāo)，發(fā)現(xiàn)CoreDNS服務(wù)端甚至上游DNS服務(wù)器的異常。

阿里云Prometheus監(jiān)控默認(rèn)內(nèi)置了CoreDNS相關(guān)的指標(biāo)監(jiān)控和告警規(guī)則，您可以在容器服務(wù)管理控制臺開啟Prometheus及儀表盤功能。具體操作，請參見CoreDNS組件監(jiān)控。

若您是自建Prometheus監(jiān)控Kubernetes集群，可以在Prometheus觀測相關(guān)指標(biāo)，并對重點指標(biāo)設(shè)置告警。具體操作，請參見CoreDNS Prometheus官方文檔。

運(yùn)行日志

在DNS異常發(fā)生的情況下，CoreDNS日志有助于您快速診斷異常根因。建議您開啟CoreDNS域名解析日志和其SLS日志采集，具體操作，請參見分析和監(jiān)控CoreDNS日志。

Kubernetes事件投遞

在v1.9.3.6-32932850-aliyun及以上版本的CoreDNS中，您可以開啟k8s_event插件以將CoreDNS關(guān)鍵日志以Kubernetes事件的形式投遞到事件中心。關(guān)于k8s_event插件，請參見k8s_event。

全新部署的CoreDNS會默認(rèn)開啟該功能。如果您是從低版本CoreDNS升級到v1.9.3.6-32932850-aliyun及以上版本的，您需要手動修改配置文件以開啟該功能。

1. 執(zhí)行如下命令，打開CoreDNS配置文件。

   kubectl -n kube-system edit configmap/coredns

2. 新增kubeAPI和k8s_event插件。

   apiVersion: v1
   data:
     Corefile: |
       .:53 {
           errors
           health {
               lameduck 15s
           }
   
           // 新增開始（請忽略其他差異）。
           kubeapi
           k8s_event {
             level info error warning // 將info、error、warning狀態(tài)關(guān)鍵日志投遞。
           }
           // 新增結(jié)束。
   
           kubernetes cluster.local in-addr.arpa ip6.arpa {
               pods verified
               fallthrough in-addr.arpa ip6.arpa
           }
           // 下方略。
       }

3. 檢查CoreDNS Pod運(yùn)行狀態(tài)和運(yùn)行日志，運(yùn)行日志中出現(xiàn)reload字樣后說明修改成功。

合理調(diào)整集群CoreDNS部署狀態(tài)

合理調(diào)整CoreDNS副本數(shù)

建議您在任何情況下設(shè)置CoreDNS副本數(shù)應(yīng)至少為2，且副本數(shù)維持在一個合適的水位以承載整個集群的解析。

CoreDNS所能提供的域名解析QPS與CPU消耗成正相關(guān)，開啟緩存的情況下，單個CPU可以支撐10000+ QPS的域名解析請求。不同類型的業(yè)務(wù)對域名請求的QPS需求存在較大差異，您可以觀察每個CoreDNS副本的峰值CPU使用量，如果其在業(yè)務(wù)峰值期間占用CPU大于一核，建議您對CoreDNS進(jìn)行副本擴(kuò)容。無法確定峰值CPU使用量時，可以保守采用副本數(shù)和集群節(jié)點數(shù)1：8的比值來部署，即每擴(kuò)容8個集群節(jié)點，增加一個CoreDNS副本，但副本數(shù)不應(yīng)大于10。針對100節(jié)點以上的集群，推薦使用節(jié)點DNS緩存NodeLocal DNSCache。具體操作，請參見使用節(jié)點DNS緩存NodeLocal DNSCache。

• 當(dāng)集群節(jié)點數(shù)目長時間較為固定時，可以手動擴(kuò)容副本數(shù)。具體操作，請參見手動擴(kuò)容副本數(shù)。

• 如果集群節(jié)點數(shù)持續(xù)增長，可以設(shè)置自動擴(kuò)容副本數(shù)。具體操作，請參見自動擴(kuò)容副本數(shù)（cluster-autoscaler）。

合理分配CoreDNS副本運(yùn)行的位置

建議您在部署CoreDNS副本時，應(yīng)將CoreDNS副本打散在不同可用區(qū)、不同集群節(jié)點上，避免單節(jié)點、單可用區(qū)故障。CoreDNS默認(rèn)配置了按節(jié)點的弱反親和性，可能會因為節(jié)點資源不足導(dǎo)致部分或全部副本部署在同一節(jié)點上，如果遇到這種情況，請刪除Pod重新觸發(fā)其調(diào)度來調(diào)整。

CoreDNS所運(yùn)行的集群節(jié)點應(yīng)避免CPU、內(nèi)存用滿的情況，否則會影響域名解析的QPS和響應(yīng)延遲。當(dāng)集群節(jié)點條件允許時，可以考慮使用自定義參數(shù)將CoreDNS調(diào)度至獨立的集群節(jié)點上，以提供穩(wěn)定的域名解析服務(wù)。關(guān)于CoreDNS調(diào)度至獨立的集群節(jié)點的方式，請參見使用自定義參數(shù)完成CoreDNS獨占部署。

手動擴(kuò)容副本數(shù)

kubectl scale --replicas={target} deployment/coredns -n kube-system

自動擴(kuò)容副本數(shù)（cluster-autoscaler）

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: dns-autoscaler
  namespace: kube-system
  labels:
    k8s-app: dns-autoscaler
spec:
  selector:
    matchLabels:
      k8s-app: dns-autoscaler
  template:
    metadata:
      labels:
        k8s-app: dns-autoscaler
    spec:
      serviceAccountName: admin
      containers:
      - name: autoscaler
        image: registry.cn-hangzhou.aliyuncs.com/acs/cluster-proportional-autoscaler:1.8.4
        resources:
          requests:
            cpu: "200m"
            memory: "150Mi"
        command:
        - /cluster-proportional-autoscaler
        - --namespace=kube-system
        - --configmap=dns-autoscaler
        - --nodelabels=type!=virtual-kubelet
        - --target=Deployment/coredns
        - --default-params={"linear":{"coresPerReplica":64,"nodesPerReplica":8,"min":2,"max":100,"preventSinglePointFailure":true}}
        - --logtostderr=true
        - --v=9

{
      "coresPerReplica": 64,
      "nodesPerReplica": 8,
      "min": 2,
      "max": 100,
      "preventSinglePointFailure": true
}

基于CPU負(fù)載指標(biāo)自動擴(kuò)容副本數(shù)（HPA）

---
apiVersion: autoscaling/v2beta1
kind: HorizontalPodAutoscaler
metadata:
  name: coredns-hpa
  namespace: kube-system
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: coredns
  minReplicas: 2
  maxReplicas: 10
  metrics:
  - type: Resource
    resource:
      name: cpu
      targetAverageUtilization: 50

使用自定義參數(shù)完成CoreDNS獨占節(jié)點部署

1. 登錄容器服務(wù)管理控制臺，在左側(cè)導(dǎo)航欄單擊集群。

2. 在集群列表頁面，單擊目標(biāo)集群名稱，然后在左側(cè)導(dǎo)航欄，選擇節(jié)點管理 > 節(jié)點。

3. 在節(jié)點頁面，單擊標(biāo)簽與污點管理。

4. 在標(biāo)簽與污點管理頁面，選中目標(biāo)節(jié)點，單擊添加標(biāo)簽。

   說明

   節(jié)點數(shù)應(yīng)大于CoreDNS副本數(shù)，避免單個節(jié)點上運(yùn)行多個CoreDNS副本。

5. 在添加對話框中，設(shè)置以下參數(shù)，然后單擊確定。

   • 名稱：node-role-type

   • 值：coredns

6. 在集群管理頁左側(cè)導(dǎo)航欄中，選擇運(yùn)維管理 > 組件管理，然后搜索CoreDNS。

7. 單擊CoreDNS卡片的配置，在配置對話框，單擊NodeSelector右側(cè)的＋，設(shè)置以下參數(shù)，然后單擊確定。

   • Key：node-role-type

   • Value：coredns

   CoreDNS會重新調(diào)度至指定標(biāo)簽的節(jié)點上。

合理配置CoreDNS

容器服務(wù)ACK僅提供CoreDNS的默認(rèn)配置，您應(yīng)關(guān)注配置中的各個參數(shù)，優(yōu)化其配置，以使CoreDNS可以為您的業(yè)務(wù)容器正常提供DNS服務(wù)。CoreDNS的配置非常靈活，具體操作，請參見DNS策略配置和域名解析說明和CoreDNS官方文檔。

您也可以通過容器智能運(yùn)維中定時巡檢和故障診斷功能完成CoreDNS配置文件的檢查。當(dāng)容器智能運(yùn)維檢查結(jié)果中提示CoreDNS Configmap配置異常時，請逐個檢查以上項目。

合理調(diào)整CoreDNS的資源Request和Limit

部署CoreDNS時采用的默認(rèn)資源Request和Limit如下表，建議您根據(jù)集群實際運(yùn)行情況及時做出調(diào)整，具體操作，請參見運(yùn)維管理-組件管理-網(wǎng)絡(luò)-CoreDNS-參數(shù)配置。

關(guān)閉kube-dns服務(wù)的親和性配置

關(guān)閉Autopath插件

部分早期版本的CoreDNS開啟了Autopath插件，該插件在一些極端場景下會導(dǎo)致解析結(jié)果出錯，請確認(rèn)其是否處于開啟狀態(tài)，并編輯配置文件將其關(guān)閉。更多信息，請參見Autopath。

1. 執(zhí)行kubectl -n kube-system edit configmap coredns命令，打開CoreDNS配置文件。

2. 刪除autopath @kubernetes一行后保存退出。

3. 檢查CoreDNS Pod運(yùn)行狀態(tài)和運(yùn)行日志，運(yùn)行日志中出現(xiàn)reload字樣后說明修改成功。

配置CoreDNS優(yōu)雅退出

配置Forward插件與上游VPC DNS服務(wù)器的默認(rèn)協(xié)議

NodeLocal DNSCache采用TCP協(xié)議與CoreDNS進(jìn)行通信，CoreDNS會根據(jù)請求來源使用的協(xié)議與上游DNS服務(wù)器進(jìn)行通信。因此默認(rèn)情況下，來自業(yè)務(wù)容器的集群外部域名解析請求會依次經(jīng)過NodeLocal DNSCache、CoreDNS，最終以TCP協(xié)議請求VPC內(nèi)DNS服務(wù)器，即ECS上默認(rèn)配置的100.100.2.136和100.100.2.138兩個 IP。

# 修改前
forward . /etc/resolv.conf
# 修改后
forward . /etc/resolv.conf {
  prefer_udp
}

配置Ready就緒探針插件

大于1.5.0版本的CoreDNS必須配置ready插件以啟用就緒探針。

1. 執(zhí)行如下命令，打開CoreDNS配置文件。

   kubectl -n kube-system edit configmap/coredns

2. 檢查是否包含ready一行，若無，則增加ready一行，按Esc鍵、輸入:wq!并按Enter鍵，保存修改后的配置文件并退出編輯模式。

   apiVersion: v1
   data:
    Corefile: |
     .:53 {
       errors
       health {
         lameduck 15s
       }
       ready # 如果沒有這一行，請增加本行，注意縮進(jìn)與Kubernetes保持一致。
       kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods verified
         fallthrough in-addr.arpa ip6.arpa
       }
       prometheus :9153
       forward . /etc/resolv.conf {
         max_concurrent 1000
               prefer_udp
       }
       cache 30
       loop
       log
       reload
       loadbalance
     }

3. 檢查CoreDNS Pod運(yùn)行狀態(tài)和運(yùn)行日志，運(yùn)行日志中出現(xiàn)reload字樣后說明修改成功。