JindoData版本已知問題
本文為您介紹JindoData 4.x版本的已知問題。
4.6.x版本
4.6.2版本
JindoSDK 4.6.0及以上版本支持對(duì)寫路徑進(jìn)行CRC64校驗(yàn),即默認(rèn)打開fs.oss.checksum.crc64.enable。
該配置目前對(duì)寫入OSS-HDFS性能有較大影響,在性能優(yōu)先的場(chǎng)景下可以考慮關(guān)閉該配置。如需關(guān)閉,請(qǐng)?jiān)贓MR控制臺(tái)Hadoop-Common服務(wù)的配置頁簽,在 core-site.xml中新增參數(shù)為fs.oss.checksum.crc64.enable,參數(shù)值為false的配置項(xiàng)。新增配置項(xiàng)的操作,請(qǐng)參見管理配置項(xiàng)。
4.6.1版本
JindoSDK 4.6.1版本在EMR集群使用免密訪問OSS-HDFS出現(xiàn)等待Token更新,導(dǎo)致部分作業(yè)中斷的問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.6.1版本在EMR集群通過免密使用JindoUtil工具時(shí),會(huì)產(chǎn)生權(quán)限錯(cuò)誤問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.6.0及以上版本支持對(duì)寫路徑進(jìn)行CRC64校驗(yàn),即默認(rèn)打開fs.oss.checksum.crc64.enable。
該配置目前對(duì)寫入OSS-HDFS性能有較大影響,在性能優(yōu)先的場(chǎng)景下可以考慮關(guān)閉該配置。如需關(guān)閉,請(qǐng)?jiān)贓MR控制臺(tái)Hadoop-Common服務(wù)的配置頁簽,在 core-site.xml中新增參數(shù)為fs.oss.checksum.crc64.enable,參數(shù)值為false的配置項(xiàng)。新增配置項(xiàng)的操作,請(qǐng)參見管理配置項(xiàng)。
4.6.0版本
JindoSDK 4.6.0版本在EMR集群使用免密訪問OSS-HDFS出現(xiàn)等待Token更新,導(dǎo)致部分作業(yè)卡住的問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.6.0和 JindoFSx 4.6.0版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時(shí),存在JindoFSx Namespace Service內(nèi)存泄露問題。
您需要將JindoFSx和JindoSDK升級(jí)到4.6.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))和EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.6.0版本在EMR集群使用免密下JindoUtil工具時(shí),會(huì)產(chǎn)生權(quán)限錯(cuò)誤問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.6.0及以上版本支持對(duì)寫路徑進(jìn)行CRC64校驗(yàn),即默認(rèn)打開fs.oss.checksum.crc64.enable。
該配置目前對(duì)寫入OSS-HDFS性能有較大影響,在性能優(yōu)先的場(chǎng)景下可以考慮關(guān)閉該配置。如需關(guān)閉,請(qǐng)?jiān)贓MR控制臺(tái)Hadoop-Common服務(wù)的配置頁簽,在 core-site.xml中新增參數(shù)為fs.oss.checksum.crc64.enable,參數(shù)值為false的配置項(xiàng)。新增配置項(xiàng)的操作,請(qǐng)參見管理配置項(xiàng)。
4.5.x版本
4.5.2版本
JindoSDK 4.5.2和JindoFSx 4.5.2版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時(shí),存在JindoFSx Namespace Service內(nèi)存泄露問題。
您需要將JindoFSx和JindoSDK升級(jí)到4.6.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))和EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.5.2版本在EMR集群通過免密使用JindoUtil工具時(shí),會(huì)產(chǎn)生權(quán)限錯(cuò)誤問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
4.5.1版本
JindoSDK 4.5.1和JindoFSx 4.5.1版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時(shí),存在JindoFSx Namespace Service內(nèi)存泄露問題。
您需要將JindoFSx和JindoSDK升級(jí)到4.6.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))和EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.5.1版本在EMR集群通過免密使用JindoUtil工具時(shí),會(huì)產(chǎn)生權(quán)限錯(cuò)誤問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
4.5.0版本
JindoSDK 4.5.0和JindoFSx 4.5.0版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時(shí),存在JindoFSx Namespace Service內(nèi)存泄露問題。
您需要將JindoFSx和JindoSDK升級(jí)到4.6.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))和EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.5.0版本在EMR集群使用免密訪問OSS、OSS-HDFS失敗重試時(shí)無法進(jìn)行Token更新,會(huì)導(dǎo)致部分作業(yè)卡住的問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.5.0版本在EMR集群通過免密使用JindoUtil工具時(shí),會(huì)產(chǎn)生權(quán)限錯(cuò)誤問題。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
4.4.x版本
JindoSDK 4.4.0、4.4.1、4.4.2版本和JindoFSx 4.4.0、4.4.1、4.4.2版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時(shí),存在JindoFSx Namespace Service內(nèi)存泄露問題。
您需要將JindoFSx和JindoSDK升級(jí)到4.6.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))和EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.4.0版本在EMR集群使用免密高并發(fā)訪問OSS和OSS-HDFS時(shí),可能會(huì)出現(xiàn)coredump。
您可以使用固定AccessKey或者升級(jí)到4.6.2及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
4.3.x版本
JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本集群)由于顯示目錄時(shí)間會(huì)導(dǎo)致ls性能出現(xiàn)一定程度退化,暫不顯示目錄時(shí)間情況。
如果您需要顯示時(shí)間,可以將JindoSDK升級(jí)到4.3.1及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本集群)使用MagicCommitter時(shí),會(huì)有頻繁調(diào)用uploadPart問題,出現(xiàn)“Part number must be an integer between 1 and 10000”異常。
您可以將JindoSDK升級(jí)到4.3.1及以上版本,EMR集群JindoSDK升級(jí)請(qǐng)參見EMR集群JindoSDK升級(jí)流程(新版控制臺(tái))。
JindoFSx 4.3.0版本服務(wù)端讀取緩存數(shù)據(jù)在部分路徑下存在出錯(cuò)處理異常,相關(guān)錯(cuò)誤未能正確返回客戶端,導(dǎo)致客戶端返回錯(cuò)誤的數(shù)據(jù)內(nèi)容。
您可以將JindoFSx升級(jí)到4.3.1及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))。
JindoFSx 4.3.0版本服務(wù)端處理內(nèi)存緩存預(yù)加載命令存在問題,導(dǎo)致加載到內(nèi)存中的數(shù)據(jù)內(nèi)容可能發(fā)生錯(cuò)誤,造成后續(xù)讀取到錯(cuò)誤的數(shù)據(jù)內(nèi)容。
您可以將JindoFSx升級(jí)到4.3.1及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))。
JindoFSx 4.3.0和4.3.1版本服務(wù)端存在文件句柄泄漏問題,長(zhǎng)時(shí)間運(yùn)行后可能達(dá)到操作系統(tǒng)規(guī)定的進(jìn)程上限,導(dǎo)致服務(wù)無法打開新的文件句柄,造成服務(wù)不可用。
您可以將JindoFSx升級(jí)到4.3.2及以上版本,具體請(qǐng)參見EMR集群JindoData升級(jí)流程(新版控制臺(tái))。
4.2.x版本
JindoSDK 4.2.0版本在大文件SEEK時(shí)存在溢出問題,會(huì)導(dǎo)致部分使用SEEK的任務(wù)出現(xiàn)讀取OSS大文件失敗。
4.1.x版本
JindoSDK 4.1.0版本在大文件SEEK時(shí)存在溢出問題,會(huì)導(dǎo)致部分使用SEEK的任務(wù)出現(xiàn)讀取OSS大文件失敗。
4.0.x版本
JindoSDK 4.0.0版本 (EMR-3.39.0或EMR-5.5.0版本集群) 在大文件SEEK時(shí)存在溢出問題,會(huì)導(dǎo)致部分使用SEEK的任務(wù)出現(xiàn)讀取OSS大文件失敗。
其他問題
JindoSDK暫不支持OSS上超大文件寫入(大于80 GB)。
JindoSDK暫不支持OSS append方式寫入。
JindoSDK暫不支持OSS客戶端加密。
JindoSDK暫不支持舊版本JindoFS Block模式和Cache模式。
阿里云OSS-HDFS服務(wù)(JindoFS 服務(wù))暫不支持舊版本JindoFS Block模式系統(tǒng)升級(jí)。
您可以通過JindoDistCp遷移工具將數(shù)據(jù)從舊系統(tǒng)遷移到新服務(wù)。