常見問題
更新時間:
當(dāng)您使用阿里云E-MapReduce(簡稱EMR)on ACK 時,可以根據(jù)本文查找對應(yīng)的問題場景和解決方案。
為什么當(dāng)ShuffleServiceMaster組件中容器組數(shù)量為1時,無法啟動?
為了保證高可用和正常運(yùn)行,建議至少將該組件的容器組數(shù)量配置為3個。這是因為多副本部署能夠確保即使在部分實例故障的情況下,整個服務(wù)依然能夠保持穩(wěn)定運(yùn)行和服務(wù)請求。因此,為了集群的穩(wěn)定性與可靠性,您應(yīng)當(dāng)設(shè)置ShuffleServiceMaster容器組的副本數(shù)至少為3個。
ACK集群中部署了3個ShuffleServiceWorker,但在服務(wù)詳情頁ShuffleServiceWorker組件的容器組數(shù)量顯示為“3/4”,這是為什么?
這是因為ShuffleServiceWorker組件在設(shè)計上,當(dāng)配置的容器組數(shù)量未達(dá)到1000個時,總會保留一個Pod處于Pending狀態(tài),因此,在您部署了3個ShuffleServiceWorker實例的情況下,服務(wù)詳情會顯示為“3/4”,這屬于正常現(xiàn)象。
ACK管控控制臺中,“有狀態(tài)”界面下的shuffleservice-worker容器組數(shù)量"3/1000"是什么含義?
"3/1000"表示當(dāng)前ShuffleService-Worker的實例數(shù)量為3個,而集群的最大可擴(kuò)展容量上限為1000個。如果還有類似的告警信息,可以直接忽略。
0/18 nodes are available: 13 node(s) didn't match Pod's node affinity/selector, 2 node(s) had untolerated taint {ingress-pod: yes}, 3 node(s) didn't match pod anti-affinity rules. preemption: 0/18 nodes are available: 15 Preemption is not helpful for scheduling, 3 No preemption victims found for incoming pod., , preemption: 0/18 nodes are available: 15 Preemption is not helpful for scheduling, 3 No preemption victims found for incoming pod..
EMR on ACK是否允許訪問不同的OSS Bucket?
不允許,集群只能對其綁定的OSS Bucket進(jìn)行讀寫操作。如果在綁定了Bucket A的EMR on ACK集群執(zhí)行Spark作業(yè)嘗試讀寫另一個Bucket B時,將會出現(xiàn)訪問拒絕錯誤:“AccessDenied The bucket you access does not belong to you”。
文檔內(nèi)容是否對您有幫助?