首頁
開源大數(shù)據(jù)平臺 E-MapReduce
EMR on ECS
操作指南
組件操作
HDFS
常見問題和故障診斷
DataNode出現(xiàn)Xceiver數(shù)量限制異常
DataNode出現(xiàn)Xceiver數(shù)量限制異常
更新時間:
本文介紹DataNode出現(xiàn)Xceiver數(shù)量限制異常的解決方案。
具體報錯
java.io.IOException: Xceiver count xxxx exceeds the limit of concurrent xcievers: xxxx
問題原因
dfs.datanode.max.transfer.threads參數(shù)用來設(shè)置DataNode處理讀寫數(shù)據(jù)流的線程池大小,默認(rèn)值為4096個。如果該參數(shù)設(shè)置太小,會導(dǎo)致DataNode出現(xiàn)Xceiver數(shù)量限制的異常。
解決方案
在頂部菜單欄處,根據(jù)實際情況選擇地域和資源組。
進(jìn)入HDFS服務(wù)的配置頁面。
在集群管理頁面,單擊目標(biāo)集群操作列的集群服務(wù)。
在集群服務(wù)頁面,單擊HDFS服務(wù)區(qū)域的配置。
在配置搜索區(qū)域,搜索參數(shù)dfs.datanode.max.transfer.threads,并適當(dāng)?shù)卣{(diào)大該參數(shù)值,一般建議翻倍增加,例如8192、16384。
說明dfs.datanode.max.transfer.threads參數(shù)表示DataNode處理讀寫數(shù)據(jù)流的線程池大小,默認(rèn)值為4096個。
文檔內(nèi)容是否對您有幫助?