新功能發(fā)布記錄
本文介紹阿里云E-MapReduce每次發(fā)布涉及的功能變更及對應(yīng)的文檔，幫助您了解E-MapReduce的發(fā)布動(dòng)態(tài)。
版本說明詳情，請參見版本概述。
E-MapReduce的重要功能發(fā)布詳情請參見產(chǎn)品重大更新。
2024年
2024年08月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
新版監(jiān)控診斷功能發(fā)布 | EMR on ECS新版監(jiān)控診斷是基于大模型構(gòu)建的智能運(yùn)維輔助功能，結(jié)合了阿里云EMR團(tuán)隊(duì)在開源大數(shù)據(jù)領(lǐng)域的知識經(jīng)驗(yàn)、阿里云EMR可觀測能力和技術(shù)專家的診斷經(jīng)驗(yàn)。新版監(jiān)控診斷整合并增強(qiáng)了EMR平臺的可觀測能力，提供集群實(shí)時(shí)健康診斷功能，對異常問題進(jìn)行根因分析并提出處理建議，從而降低用戶的運(yùn)維成本。此外，通過集群日報(bào)提供的全局優(yōu)化洞察建議，輔助用戶提高集群的運(yùn)行效率。 | 2024-08-20 | |
集群克隆能力優(yōu)化 | 集群克隆支持恢復(fù)集群創(chuàng)建及使用過程中修改的服務(wù)配置、增加的節(jié)點(diǎn)組、彈性伸縮規(guī)則，支持客戶基于已有集群快速創(chuàng)建一個(gè)相同配置的新集群。 | 2024-08-20 | |
節(jié)點(diǎn)組附加安全組數(shù)量上限提升 | 每個(gè)節(jié)點(diǎn)組最多可支持4個(gè)附加安全組，更靈活地滿足客戶對集群內(nèi)ECS實(shí)例網(wǎng)絡(luò)訪問控制的需求。 | 2024-08-20 |
2024年06月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
擴(kuò)容時(shí)支持開啟自動(dòng)續(xù)費(fèi)功能 | 集群如果開啟自動(dòng)續(xù)費(fèi)，新增節(jié)點(diǎn)將默認(rèn)開啟自動(dòng)續(xù)費(fèi)，減少客戶異步操作，后續(xù)客戶可在配置自動(dòng)續(xù)費(fèi)中，管理自動(dòng)續(xù)費(fèi)的開關(guān)和時(shí)長。 | 2024-06-19 | |
支持包月集群下的按量節(jié)點(diǎn)組轉(zhuǎn)為包月 | 在包年包月集群下，針對付費(fèi)模式為按量付費(fèi)的Core、Task、Gateway節(jié)點(diǎn)組，支持按節(jié)點(diǎn)組粒度轉(zhuǎn)包月，幫助客戶更靈活的管理資源的付費(fèi)模式。 | 2024-06-19 | |
支持創(chuàng)建Master-Extend節(jié)點(diǎn)組，自定義部署 | 集群節(jié)點(diǎn)提供Master-Extend類型節(jié)點(diǎn)組，支持在該節(jié)點(diǎn)組上自定義部署Spark、Hive、Kyuubi服務(wù)的組件，并能將配置自動(dòng)同步。解決當(dāng)前Master節(jié)點(diǎn)組負(fù)載過高的問題。 | 2024-06-19 |
2024年03月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
支持通過EMR控制臺代理創(chuàng)建并管理OSS-HDFS Bucket | 在EMR控制臺創(chuàng)建集群時(shí)，支持代理創(chuàng)建OSS-HDFS Bucket，并可以在集群服務(wù)中查看對應(yīng)Bucket的存儲概覽和文件列表，不再需要跳轉(zhuǎn)到OSS控制臺操作，簡化了使用流程，也避免了可能的誤操作導(dǎo)致HDFS服務(wù)不可用的情況。 | 2024-03-14 | |
支持創(chuàng)建Gateway類型節(jié)點(diǎn)組 | 集群節(jié)點(diǎn)提供Gateway類型節(jié)點(diǎn)，用于緩解主節(jié)點(diǎn)的負(fù)載和作為任務(wù)提交機(jī)。這種節(jié)點(diǎn)可以幫助用戶一鍵創(chuàng)建任務(wù)提交機(jī)，并能夠自動(dòng)同步配置，解決了當(dāng)前任務(wù)提交環(huán)境部署和配置難的問題。 | 2024-03-14 | |
支持管理健康檢查項(xiàng) | E-MapReduce會自動(dòng)根據(jù)健康檢查項(xiàng)對集群的節(jié)點(diǎn)和服務(wù)進(jìn)行健康檢查，能夠及時(shí)發(fā)現(xiàn)異常或風(fēng)險(xiǎn)點(diǎn)。健康檢查項(xiàng)管理支持查看節(jié)點(diǎn)和服務(wù)組件檢查內(nèi)容，并對檢查項(xiàng)進(jìn)行編輯。 | 2024-03-14 | |
豐富服務(wù)組件健康檢查項(xiàng) | 豐富YARN、HDFS、Hive、Kafka和Zookeeper的健康檢查項(xiàng)，以提升組件健康狀態(tài)的準(zhǔn)確度。 | 2024-03-14 | |
集群節(jié)點(diǎn)供應(yīng)支持盡力交付模式 | 在進(jìn)行按量付費(fèi)節(jié)點(diǎn)組的擴(kuò)容時(shí)，如果ECS庫存不足或ECS服務(wù)部署失敗，系統(tǒng)將盡最大努力交付所有創(chuàng)建成功的節(jié)點(diǎn)。 | 2024-03-14 |
2023年
2023年10月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
EMR正式支持倚天云服務(wù)器 | 阿里云E-MapReduce（簡稱EMR）支持使用倚天云服務(wù)器構(gòu)建開源大數(shù)據(jù)集群。與現(xiàn)有X86架構(gòu)實(shí)例體驗(yàn)完全相同的情況下，具有更高的性價(jià)比，幫助您降低成本并提高效率。 | 2023-10-24 | |
彈性伸縮規(guī)則推薦功能優(yōu)化 | 彈性伸縮模塊新增集群資源概覽內(nèi)容，能夠分析您的集群資源利用情況，并對符合條件的集群推薦彈性伸縮規(guī)則。您可以開啟彈性伸縮功能，提升集群資源彈性能力。 | 2023-10-24 | |
新增報(bào)警管理功能 | 集群管理新增了報(bào)警管理功能，該功能是基于云監(jiān)控服務(wù)的。在EMR控制臺上，您可以創(chuàng)建和查看集群的報(bào)警規(guī)則。如果資源的監(jiān)控指標(biāo)達(dá)到了報(bào)警條件，云監(jiān)控將自動(dòng)發(fā)送報(bào)警通知，幫助您及時(shí)了解集群的異常情況，并迅速采取相應(yīng)措施。 | 2023-10-24 | |
新增節(jié)點(diǎn)健康狀態(tài) | 節(jié)點(diǎn)健康狀態(tài)展示了當(dāng)前節(jié)點(diǎn)的運(yùn)行狀態(tài)是否正常。您可以在節(jié)點(diǎn)管理頁面查看節(jié)點(diǎn)的健康狀態(tài)，及時(shí)發(fā)現(xiàn)異常節(jié)點(diǎn)。 | 2023-10-24 | |
支持設(shè)置云盤性能級別參數(shù) | 在創(chuàng)建集群和新增節(jié)點(diǎn)組時(shí)，您可以為ESSD云盤設(shè)置不同的性能級別（PL級別），以滿足不同集群性能需求。 | 2023-10-24 |
2023年8月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
新增集群模板功能 | 集群模板是一項(xiàng)持久化EMR實(shí)例配置功能，可用于快速創(chuàng)建EMR集群。 | 2023-08-29 | |
新增集群資源概覽 | 彈性伸縮模塊新增集群資源概覽內(nèi)容，該內(nèi)容能夠分析用戶集群資源利用情況，并為符合條件的集群推薦彈性伸縮規(guī)則。用戶可以使用該功能開啟彈性伸縮，以提升集群資源的彈性能力。 | 2023-08-29 | |
新增查看配置項(xiàng) | 如果某個(gè)配置項(xiàng)在節(jié)點(diǎn)組或節(jié)點(diǎn)級別進(jìn)行了修改，則該配置項(xiàng)將在集群級別展示多層級的配置信息，包括節(jié)點(diǎn)組配置和名稱，或者獨(dú)立節(jié)點(diǎn)配置和名稱。 | 2023-08-29 |
2023年7月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
新增彈性伸縮管理模塊 | 為了更方便地管理集群彈性功能，EMR新增了專屬管理模塊，您可以在該模塊中便捷地管理伸縮規(guī)則、查看集群彈性資源用量和費(fèi)用成本，以評估集群彈性成本節(jié)省效果，優(yōu)化集群資源利用率。 | 2023-07-12 | |
優(yōu)化集群自動(dòng)補(bǔ)償功能 | 自動(dòng)補(bǔ)償提供替換異常節(jié)點(diǎn)的能力。 本次優(yōu)化增加了信息提示和事件通知能力，讓您可以快速了解自動(dòng)補(bǔ)償行為發(fā)生的過程。 說明 從2023年7月10日18:00（UTC+8）開始，新建按量付費(fèi)的Task節(jié)點(diǎn)組時(shí)默認(rèn)開啟自動(dòng)補(bǔ)償開關(guān)。 | 2023-07-12 | |
優(yōu)化服務(wù)配置 | 新增待下發(fā)和待生效提示燈，可以更好的引導(dǎo)用戶進(jìn)行配置修改后的操作，避免配置修改不生效的情況。 | 2023-07-12 | |
支持無狀態(tài)集群 | 提供默認(rèn)的數(shù)據(jù)湖架構(gòu)，無需依賴HDFS。此外，在不使用必須依賴Core節(jié)點(diǎn)的服務(wù)時(shí)，您可以去掉Core節(jié)點(diǎn)組，構(gòu)建完全無狀態(tài)的集群，以進(jìn)一步降低集群的運(yùn)維成本。 | 2023-07-12 | |
支持YARN分區(qū)和隊(duì)列關(guān)聯(lián) | 您可以直接在控制臺完成分區(qū)和隊(duì)列的關(guān)聯(lián)管理，以及容量分配等操作，無需手動(dòng)進(jìn)行繁瑣的配置。 | 2023-07-12 | |
按量部分支持秒級計(jì)費(fèi) | 通過更精細(xì)的計(jì)費(fèi)粒度，可以實(shí)現(xiàn)更加精確的計(jì)費(fèi)，有效地降低用戶的使用成本。 | 2023-07-12 |
2023年6月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2023-06-01 | |
新增Paimon組件 | Apache Paimon是一種流批統(tǒng)一的湖存儲格式，支持高吞吐的寫入和低延遲的查詢。 | 2023-06-01 | |
新增Presto組件 | Presto（即PrestoDB）是一款靈活、可擴(kuò)展的分布式SQL查詢引擎。 | 2023-06-07 |
2023年5月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
EMR Workflow | EMR Workflow是一個(gè)全托管的工作流和任務(wù)調(diào)度服務(wù)，100%兼容開源Apache DolphinScheduler。它提供了易于使用的調(diào)度服務(wù)，您可以通過可視化的操作界面輕松地管理工作流和任務(wù)，高效構(gòu)建數(shù)據(jù)倉庫，并為生產(chǎn)任務(wù)的穩(wěn)定運(yùn)行提供保障。 | 2023-05-19 |
2023年4月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2023-04-03 | |
湖倉一體新能力 | EMR支持Spark、Trino計(jì)算引擎直接訪問Hologres和MaxCompute表。 | 2023-04-03 | |
Spark支持對接Hologres | Spark如何讀取Hologres表數(shù)據(jù)。 | 2023-04-03 | |
升級節(jié)點(diǎn)的配置 | 通過配置升級功能可以提升ECS實(shí)例規(guī)格。 | 2023-04-03 | |
支持在控制臺管理YARN分區(qū) | 支持在控制臺上通過可視化UI管理YARN分區(qū)，同時(shí)可以批量建立節(jié)點(diǎn)組與分區(qū)的映射，方便操作。 | 2023-04-13 | |
EMR Notebook | EMR Notebook提供了全托管的兼容開源Jupyter的Notebook服務(wù)，同時(shí)內(nèi)置了SQL Editor的功能。支持SparkSQL、Hive、StarRocks、PySpark等應(yīng)用程序的開發(fā)和運(yùn)行。 | 2023-04-24 |
2023年3月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
新增Flink Table Store組件 | Flink Table Store是一個(gè)流批統(tǒng)一的湖存儲格式，支持高吞吐的寫入和低延遲的查詢。 | 2023-03-03 | |
支持導(dǎo)出和導(dǎo)入服務(wù)配置 | 阿里云E-MapReduce（簡稱EMR）提供的導(dǎo)出服務(wù)配置功能，支持以XML或JSON格式導(dǎo)出服務(wù)配置，便于備份、遷l移和恢復(fù)EMR服務(wù)的配置。 | 2023-03-02 |
2023年2月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2023-02-28 |
2022年
2022年12月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2022-12-01 | |
YARN Node Labels特性 | YARN Node Labels特性支持將YARN NodeManager節(jié)點(diǎn)進(jìn)行分區(qū)管理。 | 2022-12-14 |
2022年11月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2022-11-08 | |
管理日志 | 支持在EMR控制臺直接查詢開源組件的日志。 | 2022-11-29 |
2022年10月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2022-10-14 | |
使用HBase Shell | 可以使用HBase Shell連接HBase。 | 2022-10-21 | |
數(shù)據(jù)服務(wù)集群 | DataServing是阿里云E-MapReduce提供的基于Apache HBase的數(shù)據(jù)服務(wù)集群類型。 | 2022-10-28 |
2022年9月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
自動(dòng)補(bǔ)償 | 開啟自動(dòng)補(bǔ)償功能后，當(dāng)E-MapReduce（簡稱EMR）監(jiān)測到您集群的ECS實(shí)例無法維持EMR上的引擎服務(wù)正常工作時(shí)，EMR的自動(dòng)補(bǔ)償功能會嘗試為您新購ECS實(shí)例替換掉異常的ECS實(shí)例。 | 2022-09-07 | |
克隆集群 | 可以基于已有集群快速創(chuàng)建一個(gè)新的集群。 | 2022-09-09 |
2022年8月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
版本升級 |
| 2022-08-05 | |
部署集 | 部署集是阿里云ECS（Elastic Compute Service）提供的能力，用于控制ECS實(shí)例分布的策略，從而提升ECS實(shí)例的容災(zāi)能力和可用性。 | 2022-08-05 | |
使用EMR-CLI自定義部署Gateway環(huán)境 | E-MapReduce提供基于阿里云ECS部署Gateway環(huán)境的工具EMR-CLI，您可以靈活創(chuàng)建ECS實(shí)例并基于EMR-CLI快速部署Gateway環(huán)境。 | 2022-08-05 |
2022年7月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
EMR Doctor | E-MapReduce Doctor（簡稱EMR Doctor）是E-MapReduce產(chǎn)品自研的面向開源大數(shù)據(jù)集群的智能運(yùn)維診斷系統(tǒng)。 | 2022-07-25 | |
使用ECI彈性調(diào)度Flink作業(yè) | 使用阿里云彈性容器實(shí)例（Elastic Container Instance）調(diào)度Flink作業(yè)，可以不受限于ACK集群的節(jié)點(diǎn)計(jì)算容量，靈活動(dòng)態(tài)地按需創(chuàng)建Pod（容器組），有效地降低計(jì)算成本。介紹EMR on ACK上的Flink集群如何使用ECI彈性調(diào)度作業(yè)。 | 2022-07-18 |
2022年6月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
數(shù)據(jù)湖集群 | E-MapReduce（簡稱EMR）新版控制臺提供了數(shù)據(jù)湖集群，一個(gè)更靈活、可靠，以及高效的大數(shù)據(jù)計(jì)算集群。 | 2022-06-01 | |
Spark集群關(guān)聯(lián)RSS | RSS（EMR Remote Shuffle Service）是E-MapReduce（簡稱EMR）為了提升Shuffle穩(wěn)定性和性能推出的擴(kuò)展組件，優(yōu)化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持關(guān)聯(lián)RSS。 | 2022-06-09 |
2022年5月
功能名稱 | 功能概述 | 發(fā)布時(shí)間 | 相關(guān)文檔 |
內(nèi)存管理 | 介紹StarRocks BE（Backend）中內(nèi)存使用分類、內(nèi)存配置以及如何查看內(nèi)存使用。 | 2022-05-10 |