本文為您介紹MaxCompute 2024年產品公告,基于此您可以了解MaxCompute中增加了哪些新功能、語法新特性和權限變更等信息,以提升項目開發效率。
2024年11月14日-MaxCompute Logview安全升級
尊敬的MaxCompute用戶:
MaxCompute計劃于北京時間2024年12月02日(周一)14:00起逐步對中國香港、華東 2 金融云、華北 2 金融云(邀測)、華北 2 阿里政務云1、華南 1 金融云、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(硅谷)、美國(弗吉尼亞)、阿聯酋(迪拜)、沙特(利雅得)地域的Logview進行全面安全升級。安全升級后,使用公共調度資源組的DataWorks數據開發、數據分析提交的作業生成的Logview鏈接將跳轉至MaxCompute管理控制臺,并且需要用戶同時滿足以下條件,方可訪問作業歸屬項目的Logview:
具備阿里云賬號:用戶需持有有效的阿里云賬號,并已完成實名認證。
用戶為作業歸屬MaxCompute項目的成員(可由項目管理員將其添加至項目中)。
因此,您需要特別注意,當DataWorks工作空間配置的MaxCompute數據源訪問身份與用戶身份不一致時,可能會由于用戶本身未加入作業所歸屬的MaxCompute項目而導致無法訪問自身提交的作業Logview。例如:DataWorks工作空間為標準模式,用戶在開發環境提交作業至生產環境,若用戶本身未加入生產環境的MaxCompute項目,則無法訪問自己提交但歸屬于生產環境項目的作業Logview。
為避免上述情形,請您確保以下兩點:
所有需要訪問Logview的團隊成員均已注冊阿里云賬號并完成實名認證。
及時將團隊成員添加為相應的MaxCompute項目成員,并通過授權操作,授予用戶指定對象的指定權限。
說明更多用戶管理、授權操作,詳情請參見用戶規劃與管理、MaxCompute權限。
同時,升級后的Logview將默認不再展示作業運行結果。
在升級過程中或升級后,遇到任何Logview訪問、權限配置等問題或需要技術支持協助,歡迎您通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年11月13日-MaxCompute作業智能診斷功能發布
尊敬的MaxCompute用戶:
MaxCompute作業智能診斷功能將于北京時間2024年11月13日(周三)起在各個地域陸續發布。該功能會基于作業的詳細執行信息,對SQL作業進行智能診斷:
針對運行失敗的作業:根據錯誤信息匹配報錯原因類別,并提供相應的錯誤描述及解決方案。
針對運行“慢”作業:根據作業運行過程中的資源消耗情況和執行詳情,診斷作業存在的異常項(如資源不足、數據傾斜、數據膨脹、模式回退),同時提供造成此異常的原因及解決方案。
該功能將協助您及時發現作業報錯或作業運行時長不符合預期等問題,并進行自主分析與解決。更多功能介紹和使用說明,請參見作業智能診斷。
使用過程中,您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年10月30日-MaxCompute數據傳輸服務升級和跨Region流量治理說明
MaxCompute將于北京時間2024年11月18日(周一)起,對數據傳輸服務進行陸續升級并實施跨Region流量治理,詳情如下:
數據通道讀寫性能和流量控制
流式數據通道(Streaming Tunnel)的單并發(Slot)寫入限速閾值從1 MB/s提升到10 MB/s,單Slot寫入請求數限制從每秒10個提升到每秒100個。批量數據通道(Batch Tunnel)的單并發(Slot)寫入限速閾值控制到10 MB/s。
流式數據通道的并發(Slot)占用數計算方式優化,由創建StreamUploadSession時指定Slot數變更為一個RecordPack寫入時占用一個Slot,寫入完成即釋放,與批量數據通道的計算方式一致。詳情請參考數據傳輸服務概述。
跨Region流量治理
禁止通過非MaxCompute項目所在地域(Region)的Endpoint連接該項目,需配置您項目所在地域的Endpoint或Tunnel Endpoint。Endpoint地址詳情,請參見Endpoint。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年10月28日-MaxCompute動態分區轉靜態分區優化對UPDATE/DELETE/MERGE INTO行為變更的影響說明
尊敬的MaxCompute用戶:
MaxCompute已于北京時間2024年10月24日(周四)起,默認對所有DML操作開啟動態分區轉靜態分區優化功能,以提升查詢性能。該優化對于UPDATE/DELETE/MERGE INTO操作有行為變更影響,即當您對不存在的分區執行UPDATE/DELETE/MERGE INTO操作時,會出現類似如下報錯信息:
ODPS-0110061: Failed to run ddltask - Operation DELETE expect target partition exist, but object not found.
ODPS-0422141: Partition not found - Partition 'projectName.tableName(pt=xxx)' does not exist.
若遇到該情況,您可在Session級別設置SET odps.optimizer.cbo.rule.filter.black=re;
參數關閉該優化,之后即可正常執行UPDATE/DELETE/MERGE INTO操作。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年10月22日-MaxCompute Go SDK正式發布
尊敬的MaxCompute用戶:
MaxCompute已于北京時間2024年10月22日(周二)正式發布Go SDK。Go SDK是MaxCompute提供的一套Go編程語言接口,您可以通過該接口使用Go代碼來操作和管理MaxCompute服務,例如訪問和管理項目、操作數據表和數據傳輸等。更多信息請參見Go SDK概述。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年10月15日-MaxCompute阿里云經典網絡連接方式下線以及Endpoint地址更新
尊敬的MaxCompute用戶:
MaxCompute阿里云經典網絡連接方式將于北京時間2024年11月30日(周六)下線,由阿里云產品互聯網絡連接方式替代,請您及時確認并切換為阿里云VPC網絡連接方式或阿里云產品互聯網絡連接方式,避免因網絡連接中斷對您的業務造成影響。同時,金融云、政務云以及其他國際地域的阿里云VPC網絡連接方式或阿里云產品互聯網絡連接方式的Endpoint地址存在更新,請及時關注并更新相關配置。Endpoint詳情,請參見Endpoint。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年10月14日-MaxCompute同地域下支持購買多份包年包月計算資源
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年10月14日(周一)起,陸續支持同賬號在同地域下購買多份包年包月計算資源,即同一個云賬號在同地域下支持購買多個一級Quota,且多個一級Quota之間資源相互獨立。
此功能開放后,可以優化以下業務情形:
同一個賬號內,不同業務包年包月計算資源需要強隔離。
同一個賬號內,不同業務賬務需要拆分。原來使用MaxCompute的包年包月計算資源,無法通過二級Quota分賬,開放該功能后可通過購買多個一級Quota直接按訂單分賬。
關于MaxCompute Quota更多信息,請參見計算資源-Quota管理。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年09月27日-MaxCompute存儲成本優化功能發布
尊敬的MaxCompute用戶:
MaxCompute存儲成本優化功能將于北京時間2024年09月27日(周五)起在中國公共云地域陸續發布,該功能依據固定優化策略(近30天無訪問的標準存儲推薦轉為低頻存儲;近180天無訪問的標準存儲推薦轉為長期存儲),結合表/分區的最近訪問時間,判斷是否可以您的表/分區的分層存儲屬性由標準變更為低頻或長期,并推算可能節省的存儲成本(目錄價),輔助您進行分層存儲策略配置。
更多功能介紹和使用說明,請參見分層存儲配置優化。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年09月26日-MaxCompute分布式計算框架MaxFrame服務正式商業化
尊敬的MaxCompute用戶:
MaxFrame是由阿里云自研的分布式計算框架,支持Python編程接口,并直接使用MaxCompute的計算資源和數據接口,MaxFrame不僅兼容Pandas、Xgboost接口,還自動實現分布式處理,使得Python開發者可以更加高效、便捷地在MaxCompute上完成大規模數據處理及ML/AI數據預處理等工作。關于MaxFrame詳情請參見:
MaxFrame功能介紹:分布式計算框架 MaxCompute MaxFrame。
MaxFrame使用文檔:MaxFrame。
MaxCompute MaxFrame將逐步替換PyODPS DataFrame及Mars接口,同時在算子兼容性和分布式性能方面有明顯提升,推薦新用戶和新作業可直接基于MaxFrame進行Python開發,使用PyODPS DataFrame和Mars的歷史作業建議逐步遷移至MaxFrame執行以獲取更好的開發體驗和服務支持。
MaxCompute分布式計算框架MaxFrame服務于北京時間2024年09月27日(周五)在華北2(北京)、華東1(杭州)、華東2(上海)、華南1(深圳)、西南1(成都)、華北6(烏蘭察布)和中國(香港)地域正式對外商業化。商業化后MaxFrame按照作業計算資源使用量進行計費,支持按量付費和包年包月的付費方式。關于計費詳情,請參見計算費用(包年包月)和MaxFrame作業按量付費。
您有任何相關問題或需要協助,可以通過填寫釘釘群申請表單加入MaxCompute開發者社區群(釘釘群號:11782920)、您的專屬釘群或者MaxFrame官方用戶支持群(釘釘群號:37130012987)等方式聯系我們。
感謝您的配合!
2024年09月20日-MaxCompute控制臺功能增加RAM權限管控
尊敬的MaxCompute用戶:
為確保安全性,MaxCompute將于2024年10月08日(周二)對控制臺部分功能增加RAM權限管控,阿里云賬號(主賬號)默認擁有控制臺所有功能的訪問或操作權限,RAM用戶需要添加對應功能的權限點方可訪問,本次增加權限管控的功能及對應的RAM權限點如下:
模塊 | 功能 | 權限點Action |
工作區>Notebook |
| |
租戶管理>外部數據源 |
| |
數據傳輸>遷移服務(MMA) |
|
具體的權限點說明請參見RAM權限。
為了避免到期控制臺功能無法使用,請務必于2024年10月08日(周二)前對需要訪問相關功能模塊的RAM用戶添加對應RAM權限。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年09月19日-MaxCompute開放云棲新功能邀測
尊敬的MaxCompute用戶:
2024年云棲大會,MaxCompute多項重磅產品新功能邀測發布,新特性包括支持OpenLake的湖倉一體2.0、Object Table支持SQL或MaxFrame處理非結構化數據、Delta Table增量表格式、基于增量物化視圖的增量計算、MCQA2.0 SQL引擎查詢加速等。其相關特性將在中國區公共云的華東1(杭州)、華東2(上海)、華北2(北京)及華南1(深圳)地域上線并開放試用,如您有興趣深入了解,請在新功能邀測申請表單中填寫注冊信息。
注冊完成后,您可通過以下兩種方式開始體驗新功能:
在MaxCompute控制臺新建項目時,選擇項目類型為云棲新功能邀測項目。
在DataWorks數據開發(Data Studio)(新版)公測版本中綁定MaxCompute計算資源時,新增內部項目時選擇項目類型為云棲新功能邀測項目。
邀測功能僅在標注為云棲邀測版的新建項目中提供試用,由于功能還在迭代完善中,邀測期間無法保證邀測版項目和功能達到支持生產的能力,因此請您避免基于云棲邀測版項目和功能執行重要數據和業務。
邀測結束后,云棲新功能邀測項目將自動轉為普通生產項目,項目中的數據和配置信息不會丟失。MaxCompute會根據邀測結果,完善和迭代邀測功能,但不保證所有邀測功能自動合入普通項目。
2024年09月05日-MaxCompute控制臺配額(Quota)管理交互界面優化
尊敬的MaxCompute用戶:
MaxCompute將于2024年09月11日(周三)所有地域陸續發布控制臺Quota管理的包年包月計算Quota配置交互界面優化版本。該版本主要針對“無需使用分時伸縮”和“需要使用分時伸縮”兩個使用場景進行優化,若您無需使用Quota的分時伸縮功能,可通過新界面的基礎配置頁簽完成包年包月計算Quota的管理配置;若您需要使用分時伸縮能力,則可在完成基礎配置后,再進入伸縮配置頁簽進行相關設置。
屆時您通過MaxCompute控制臺的配額(Quota)管理頁面進行包年包月計算Quota配置時,會有如下變化:
原Quota模版更名為基礎配置,能力如下:
通過編輯基礎配置,可新增二級Quota,并可對二級Quota中的基礎參數(包括是否獨占、單作業CU上限、開啟優先級、非預留CU、調度策略)進行編輯。同時還可以編輯預留CU量[minCU,maxCU]和彈性預留CU,但只作用于當前生效的Quota資源配置方案(原Quota計劃),若您使用了分時伸縮能力,建議前往伸縮配置頁簽對預留CU量[minCU,maxCU]和彈性預留CU進行設置。
在基礎配置頁簽的Quota列表中,可以刪除二級Quota,與原Quota模板中的刪除邏輯一致。
原Quota計劃和時間計劃合入伸縮配置,并只保留預留CU量[minCU,maxCU]和彈性預留CU的配置管理。能力如下:
新增配置方案:即原來的添加計劃,僅支持Quota的預留CU量[minCU,maxCU]和彈性預留CU參數的配置。
資源配置方案列表:原Quota計劃列表,新增支持展開每個方案的詳情以便更好地查看對比各方案的配置內容。
分時管理:即原來的時間計劃,能力保持不變。
分時伸縮預覽:新增功能,支持選擇某個二級Quota以查看各個時段的CU分配趨勢圖。
伸縮配置全局視圖:新增功能,支持全局視圖以表格方式展示所有配置方案明細,可方便查看所有Quota的Min/Max CU量和彈性預留CU在各個分時時段的設置。
詳細使用方式后續可直接查看計算資源-Quota管理,使用過程中您有任何相關問題或需要協助,可以通過您的專屬釘群、MaxFrame官方用戶支持群(釘釘群號:37130012987)或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年08月29日-MaxCompute控制臺功能增加RAM權限管控
尊敬的MaxCompute用戶:
為確保安全性,MaxCompute將于2024年09月10日(周二)對控制臺部分功能增加RAM權限管控,阿里云賬號(主賬號)默認擁有控制臺所有功能的訪問或操作權限,RAM用戶需要添加對應功能的權限點方可訪問,本次增加權限管控的功能及對應的RAM權限點如下:
模塊 | 功能 | 權限點Action |
工作區>項目管理 | odps:ListOutboundInternetAddress | |
工作區>項目管理 | odps:UpdateUsersToRole | |
工作區>配額(Quota)管理 |
| |
工作區>資源觀測 |
| |
odps:ListTopJobInfo | ||
| ||
工作區>作業運維 | odps:ListJobSnapshotInfos | |
工作區>物化視圖 |
| |
租戶管理>網絡連接 |
| |
租戶管理>鏡像管理 |
|
具體的權限點說明請參見RAM權限。
為了避免到期控制臺功能無法使用,請務必于2024年09月10日(周二)前對需要訪問相關功能模塊的RAM用戶添加對應RAM權限,例如您希望某RAM用戶有Quota對象管理權限策略,則需要配置如下RAM權限策略:
{
"Version": "1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"odps:UpdateQuota",
"odps:UpdateQuotaPlan",
"odps:UpdateSubQuotas",
"odps:UpdateQuotaSchedule",
"odps:CreateQuotaPlan",
"odps:DeleteQuotaPlan",
"odps:CreateQuotaSchedule",
"odps:ListQuotaRoutingRules",
"odps:CreateQuotaRoutingRule",
"odps:GetQuotaRoutingRule",
"odps:RemoveQuotaRoutingRule",
"odps:UpdateQuotaRoutingRule"
],
"Resource": "*"
}
]
}
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年08月19日-MaxCompute資源觀測功能升級
尊敬的MaxCompute用戶:
MaxCompute資源觀測新增存儲資源和作業性能觀測部分指標。
存儲資源
方便您查看存儲資源水位變化及存儲分布詳情。您可以查看所選地域下總存儲用量以及各種存儲類型占比情況,并根據項目和需要觀測的時間區間去觀測各類存儲的變化趨勢,以及詳細的表或分區存儲信息。以此判斷是否存在存儲異常激增的情況,及時對存儲用量Top的項目或表/分區進行優化。
作業性能觀測新增指標
提供在所選過濾范圍內消耗CPU時/內存時最多的前10個作業,共計/平均消耗CPU時/內存時最多的前10個Signature、ExtNodeId;
提供在所選過濾范圍內總運行時長最長的前10個作業,共計/平均總運行時長最長的前10個Signature、ExtNodeld;
支持查看一段時間內的作業掃描量趨勢;
支持查看一段時間內的單位CU時處理的作業掃描量趨勢。
您可以通過上述指標快速定位資源用量較多、耗時較長的作業,并及時治理。通過對比單位CU時處理的作業掃描量,判斷是否存在性能異常時段,結合作業運維功能定位引發原因,并及時治理。
更多功能介紹和使用說明,請參見資源觀測。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月31日-PyTorch算法服務下線
尊敬的MaxCompute用戶:
因整體系統升級,人工智能平臺PAI將于2024年08月30日正式下線所有集群中的老版本PyTorch算法組件,若您有通過PAI命令pai -name pytorch100/pytorch131/pytorch151
提交至MaxCompute的PyTorch作業,請注意及時遷移,建議使用PAI-DLC提交PyTorch任務,詳情請參見創建訓練任務。自2024年08月31日起,老版本PyTorch算法組件的存量任務將不受SLA保障。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月18日-部分OpenAPI下線
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年07月31日(周三)對MaxCompute中的部分OpenAPI進行下線操作。具體如下:
下線OpenAPI清單及功能替代OpenAPI
下線OpenAPI版本及名稱
功能替代OpenAPI版本:名稱
版本
OpenAPI名稱
2019-06-12
CreateProject
2022-01-04:CreateProject
DeleteProject
暫不提供
GetProject
2022-01-04:GetProject
OpenMaxComputeService
暫不提供
2022-01-04
2022-01-04:QueryQuota
下線原因
MaxCompute 2019-06-12版本提供的OpenAPI,由于已經更換功能提供方式,且經系統長期檢測未發現外部客戶調用,該版本OpenAPI將不再提供服務。
為了提供更加完整的Quota相關信息,MaxCompute將會對MaxCompute 2022-01-04版本中的GetQuota接口返回內容進行改造,且經系統長期檢測未發現外部客戶調用,此OpenAPI將不再提供服務。
下線影響
下線后,代碼中涉及到的OpenAPI調用將全部返回
InvalidApi.NotFound
或InvalidAction.NotFound
錯誤碼。替代方案或執行建議
如有代碼中依賴這部分OpenAPI SDK(特定Request、Response或相關代碼),在后續升級SDK版本過程中可能會發生依賴無法找到的情況,請進行方法替換或刪除相關功能。如果在代碼中直接依賴此部分OpenAPI,也請進行替換或刪除相關功能。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月04日-作業運維提供作業開始運行時間、等待時長及運行時長參數
尊敬的MaxCompute用戶:
MaxCompute在作業運維列表、作業分析概覽頁提供作業開始運行時間、等待時長及運行時長參數,參數說明如下:
開始運行時間:作業拿到第一份計算資源的時間。對于運行時間過短或不消耗計算資源(如DDL語句)的作業,以作業提交時間替代。
等待時長:作業從提交時間到開始運行時間的時長。
運行時長:作業從開始運行時間到結束運行時間的時長。
以上參數在作業運維列表默認隱藏,您可單擊自定義列表選項設置顯示。 通過以上參數,您可以快速定位作業是否因等待資源耗時過長而導致整體運行較慢,進而結合作業分析判斷具體由于資源供給不足或是存在多作業搶占資源導致,后續您可以依據具體業務情況優化作業執行情況、進行作業優先級調整或計算資源管理。
更多功能介紹和使用說明,請參見作業運維。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月03日-云監控部分指標類型下線
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年08月01日(周四)開始對現有接入云監控的部分指標類型進行下線操作,您可重新配置等價的告警。具體如下:
下線內容
指標類型
對應ProductCategory
措施
(廢棄)MaxCompute-按量付費
maxcompute_post
所有對應的指標可前往MaxCompute-通用類型中的cost分類下重新配置。
(廢棄)MaxCompute-包年包月用戶資源
maxcomute_prepay_user
所有對應的指標可前往MaxCompute-包年包月計算Quota類型中配置。
(廢棄)MaxCompute-包年包月quota組資源
maxcomute_prepay_quota
所有對應的指標可前往MaxCompute-包年包月計算Quota類型中配置。
下線影響
非常抱歉,由于系統設計原因,遷移后您配置的原“MaxCompute-按量付費”、“MaxCompute-包年包月用戶資源”和“MaxCompute-包年包月quota組資源”的告警規則可能會無法使用,請您重新配置等價的告警。
我們將在變更后及時通知您,請您留意相關通知消息。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月03日-MaxFrame功能發布
尊敬的MaxCompute用戶:
分布式計算框架MaxFrame功能已于北京時間2024年07月03日(周三)在華東2(上海)、華北2(北京)、華北6(烏蘭察布)、華南1(深圳)和西南1(成都)地域正式發布,其他地域也將陸續發布。
MaxFrame是由阿里云自研的分布式計算框架,支持Python編程接口,并能直接利用MaxCompute的計算資源和數據接口,使得Python開發者可以更加高效、便捷地進行大規模數據處理和AI模型開發。MaxFrame不僅完全兼容Pandas接口,且自動實現分布式處理,您能夠以更熟悉、高效的方式利用MaxCompute海量計算資源及數據完成數據處理、可視化探索、科學計算及ML/AI開發工作。
MaxFrame功能介紹和使用說明請參見MaxFrame概述。
您有任何相關問題或需要協助,可以通過您的專屬釘群、MaxFrame官方用戶支持群(釘釘群號:37130012987)或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年07月01日-計算成本優化功能在中國香港、新加坡等4個地域發布
尊敬的MaxCompute用戶:
MaxCompute計算成本優化功能在中國香港、新加坡、印度尼西亞(雅加達)、德國(法蘭克福)地域發布。 該功能可基于您的實際作業請求量和資源配置期望,對包年包月一級Quota類型的計算資源生成更優的資源配置方案,也支持查看當前使用按量付費計算資源的項目調整為使用包年包月計算資源的資源配置推薦方案及效果推演,幫助您進一步優化計算成本和提高資源利用效率。 此次發布后,共有以下十個地域提供該功能: 華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、西南1(成都)、中國香港、新加坡、印度尼西亞(雅加達)、德國(法蘭克福)。
更多功能介紹和使用說明,請參見計算資源配置優化。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年05月17日-MaxCompute Logview安全升級
尊敬的MaxCompute用戶:
MaxCompute計劃于北京時間2024年06月03日(周一)14:00起逐步對西南1(成都)、華北3(張家口)、華南1(深圳)、華北2(北京)、華東2(上海)、華東1(杭州)、華北6(烏蘭察布)地域的Logview進行全面安全升級。安全升級后,使用公共調度資源組的DataWorks數據開發、數據分析提交的作業生成的Logview鏈接將跳轉至MaxCompute管理控制臺,并且需要用戶同時滿足以下條件,方可訪問作業歸屬項目的Logview:
具備阿里云賬號:用戶需持有有效的阿里云賬號,并已完成實名認證。
用戶為作業歸屬MaxCompute項目的成員(可由項目管理員將其添加至項目中)。
因此,您需要特別注意,當DataWorks工作空間配置的MaxCompute引擎訪問身份與用戶身份不一致時,可能會由于用戶本身未加入作業所歸屬的MaxCompute項目而導致無法訪問自身提交的作業Logview。例如:DataWorks工作空間為標準模式,用戶在開發環境提交作業至生產環境,若用戶本身未加入生產環境的MaxCompute項目,則無法訪問自己提交但歸屬于生產環境項目的作業Logview。
為避免上述情形,請您確保以下兩點:
所有需要訪問Logview的團隊成員均已注冊阿里云賬號并完成實名認證。
及時將團隊成員添加為相應的MaxCompute項目成員,并通過授權操作,授予用戶指定對象的指定權限。
說明更多用戶管理、授權操作,詳情請參見用戶規劃與管理、MaxCompute權限。
在升級過程中或升級后,遇到任何Logview訪問、權限配置等問題或需要技術支持協助,歡迎您通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。 感謝您的配合!
2024年05月13日-MaxCompute ETCD證書升級
尊敬的MaxCompute用戶:
MaxCompute計劃在北京時間2024年05月20日(周一)10:00~16:00升級新加坡地域集群的ETCD證書進行升級,預計升級過程不會影響您的作業運行,但在極小概率下,若影響了作業并導致執行失敗,請嘗試重新執行。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年05月08日-MaxCompute作業性能觀測功能發布
尊敬的MaxCompute用戶:
MaxCompute作業性能觀測功能將于北京時間2024年05月08日(周三)20:00發布,功能包括支持查看一段時間內的作業數、CU用量以及作業運行時長的變化趨勢。
上述指標均支持按時間范圍、項目、Quota進行過濾,按作業類型、運行狀態、項目、Quota進行分組統計。
您可以通過指標確認是否存在作業數量或資源用量異常激增等問題,并及時進行治理。通過對比不同時間的作業運行時長,判斷是否存在異常慢作業拉低了整體作業性能。
更多功能介紹和使用說明,請參見作業性能觀測。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年04月30日-MaxCompute存儲服務升級
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年05月08日(周三)10:00~13:00對華東2金融云(上海)地域進行存儲升級,以及北京時間2024年05月15日(周三)10:00~16:00對中國香港地域的集群進行存儲升級(低風險變更)。預計升級過程不會影響您的作業運行,但在極小概率下,若影響了作業并導致執行失敗,請嘗試重新執行。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年04月23日-海外地域MaxCompute項目生命周期變更
尊敬的MaxCompute用戶:
從北京時間2024年04月25日(周四)起,在中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、德國(法蘭克福)、英國(倫敦)、美國(硅谷)、美國(弗吉尼亞)、阿聯酉(迪拜)或沙特(利雅得)地域新開通按量付費標準服務,對應地域所有項目的生命周期都將與按量付費標準服務的生命周期保持一致,所有項目的存儲、下載等按量付費賬單歸屬的產品明細為大數據計算服務MaxCompute(按量付費),同時對應的用量明細選擇的計量規格變為大數據計算服務MaxCompute(按量付費)。對應地域若購買了包年包月資源,僅預付款資源的生命周期與包年包月實例的生命周期保持一致。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年04月11日-MaxCompute存儲服務升級
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年04月18日(周四)15:00~18:00對西南1(成都)地域進行存儲升級,以及北京時間2024年04月24日(周三)15:00~18:00對華南1(深圳)地域進行存儲升級。預計升級過程不會影響您的作業運行,但在極小概率下,若影響了作業并導致執行失敗,請嘗試重新執行。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年04月07日-MaxCompute包年包月產品新折扣生效
尊敬的MaxCompute用戶:
MaxCompute包年包月商品的預付款資源新折扣于2024年4月7日10點(UTC+8)生效,包括標準計算資源、數據傳輸服務等包年包月資源規格。新折扣如下:
一次交易購買時長為1年可享8.5折優惠;2年可享7折優惠;3年可享5折優惠;4年可享4折優惠;5年可享3.5折優惠。
2024年03月26日-分布式計算框架MaxFrame功能開放試用
尊敬的MaxCompute用戶:
分布式計算框架MaxFrame功能將于北京時間2024年03月28日(周四)在華東2(上海)、華南1(深圳)、西南1(成都)地域開始開放試用,其他地域也將陸續開放,如需申請試用,請填寫MaxFrame免費試用申請表。
MaxFrame是由阿里云自研的分布式計算框架,支持Python編程接口、兼容Pandas接口且自動進行分布式計算,同時可直接使用MaxCompute計算資源及數據接口,與MaxCompute Notebook、鏡像管理等功能共同構成了MaxCompute完整的Python開發生態。您可以以更熟悉、高效、便捷的方式利用MaxCompute的海量計算資源及數據進行大規模數據處理、可視化數據探索分析及科學計算、ML/AL開發等工作。
MaxFrame功能介紹和使用說明請參見MaxFrame概述。
您有任何相關問題或需要協助,可以通過您的專屬釘群、MaxFrame官方用戶支持群(釘釘群號:37130012987)或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年03月20日-MaxCompute發布ECS資源復用版
尊敬的MaxCompute用戶:
MaxCompute-ECS資源復用版將于北京時間2024年03月21日(周四)在華東2(上海)地域正式發布。
MaxCompute-ECS資源復用版是一種按量付費計算資源規格類型,開通后意味著您可以通過資源共享將ECS立即生效容量預定(CR)共享至MaxCompute,共享后,MaxCompute將在共享時段內有權通過服務賬號購買您預定單內未被購買的ECS實例,并部署MaxCompute服務,將ECS資源轉換為您可直接使用的MaxCompute計算資源,實現在ECS資源閑置的情況下,降低使用云服務的總體資源成本。
更多計費與使用說明請參見ECS資源復用版。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年03月18日-云監控指標類型調整
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年3月19日(周二)開始對現有接入云監控的部分Tunnel相關指標和消費相關指標進行調整:
新增
MaxCompute-共享數據傳輸服務
指標類型,將原MaxCompute-通用
類型下的Tunnel相關指標遷移到此新增類型下。將原
MaxCompute-按量付費
指標類型下的所有指標(主要為消費監控相關指標)都遷移至MaxCompute-通用
類型下,同時下線MaxCompute-按量付費
指標類型。
遷移后,不影響原來的配置規則和歷史指標數據展示,也不影響新的告警觸發,僅會查詢不到歷史的告警記錄。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年03月14日-MaxCompute支持將操作審計事件遷移入倉
尊敬的MaxCompute用戶:
MaxCompute支持通過操作審計創建跟蹤,將操作事件遷移入倉。
當您需要分析更長時間(超過最近90天)的操作事件時,可以通過操作審計創建跟蹤,將操作事件投遞至MaxCompute,方便進行查詢和分析。
更多功能介紹和使用說明,請參見操作審計事件數據遷移至MaxCompute。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年02月29日-DataWorks獨享資源組PyODPS節點升級
尊敬的MaxCompute用戶:
DataWorks將于北京時間2024年04月08日(周一)至2024年05月30日(周四)期間,逐步升級各個地域的獨享資源組,以增強PyODPS支持。本次升級的主要內容及各地域具體升級日期請見下表,升級后,節點的PyODPS包版本將保持不變。
升級內容 | 地域 | 升級日期 |
| 西南1(成都)、華北3(張家口) | 2024年04月08日~2024年04月11日 |
華南1(深圳) | 2024年04月15日~2024年04月18日 | |
華北2(北京) | 2024年04月22日~2024年04月25日 | |
華東2(上海) | 2024年05月06日~2024年05月09日 | |
華東1(杭州) | 2024年05月13日~2024年05月16日 | |
中國香港、海外地域 | 2024年05月20日~2024年05月23日 | |
華東1(金融云)、華東2(金融云) | 2024年05月27日~2024年05月30日 |
在服務升級期間可能會影響當前正在運行的PyODPS作業,若您遇到獨享資源組PyODPS作業失敗問題,或其他任何相關問題需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年02月29日-MaxCompute SQL反向訪問VPC方案下線
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年03月31日下線SQL反向訪問VPC方案,需要您配合將原有MaxCompute SQL反向訪問VPC的設置升級為專線直連(Network_Link)方案。SQL反向訪問VPC方案因技術迭代即將退市,新的專線直連(Network_Link)方案技術更穩定,性能更優越,使用成本更低。如果您正在使用SQL反向訪問VPC方案,阿里云的技術支持人員會在3月份主動聯系您,并提供升級方案。若您未收到聯系,則無需關注。MaxCompute反向訪問VPC的設置升級為專線直連(Network_Link)方案操作如下:
開通對
odps.vpc.id
對應的VPC網絡連接。具體操作,請參見訪問VPC方案(專線直連)。升級設置。
MaxCompute在使用SQL UDF和外部表場景下,提供了SQL反向訪問VPC的設置方法,支持UDF和外部表訪問VPC中的服務,這里分別介紹兩種場景的設置升級方法。
UDF場景
在執行包含UDF的SQL任務時,若您是通過以下參數指定UDF訪問的VPC以及對應的IP地址和端口信息。
set odps.vpc.id=vpc_name; set odps.vpc.access.ips=ip:port; --示例 set odps.vpc.id=vpc-bp1e4p7fey****; set odps.vpc.access.ips=ip:port;
那么您需要在運行含有UDF的SQL任務前,將上述的兩個參數替換為如下新參數即可,詳情請參見通過UDF訪問VPC網絡資源。
set odps.session.networklink=your_networklink_name
外部表場景
若您在建表DDL語句中加入VPC開關、訪問的VPC、對應的IP和端口以及地域參數,指定外部表映射的VPC中的數據源。
//RDS外表例子 CREATE EXTERNAL TABLE mc_vpc_rds_external ( id int, name string ) STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' WITH SERDEPROPERTIES ( 'odps.external.net.vpc'='true', 'odps.vpc.id'='vpc-bp1e4p7fey****', 'odps.vpc.access.ips'='rm-uf6i43****.mysql.rds.aliyuncs.com:3306', 'odps.vpc.region'='cn-shanghai' ) location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify' TBLPROPERTIES( 'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify' );
您仍然可以用以上方式創建外部表,且存量表不變。同時您也可以使用
network_link
參數創建外部表,詳情請參見RDS外部表、HBase外部表(HBase標準版或增強版)。//RDS外表例子 CREATE EXTERNAL TABLE mc_vpc_rds_external ( id int, name string ) STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler' location 'jdbc:mysql://rm-uf6i43****.mysql.rds.aliyuncs.com:3306/dataccc?useSSL=false&user=user_name&password=password_value&table=data_modify' TBLPROPERTIES( 'mcfed.mapreduce.jdbc.input.query'='select * from cxzccc.data_modify', 'networklink'='your_networklink_name' );
說明Spark on MaxCompute訪問VPC不受影響,您不需要創建網絡連接(network_link)或修改Spark的代碼或配置。詳情請參見Spark訪問VPC實例。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年02月28日-MaxCompute單機宕機演練
尊敬的MaxCompute用戶:
MaxCompute將于北京時間2024年02月28日(周三)15:00~16:00,在中國華北3(張家口)、西南1(成都)地域進行接入服務可靠性演練,預計不會對用戶作業運行產生影響。在極小概率下,若影響了用戶的作業并導致執行失敗,請重新嘗試執行作業。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年02月23日-MaxCompute跨地域災備功能邀測
尊敬的MaxCompute用戶:
MaxCompute跨地域(Region)災備功能將于北京時間2024年02月23日(周五)起在華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、西南1(成都)地域發布并開始邀測。
跨地域災備提供項目級別數據及元數據遠程備份能力,同時保證備份地理距離大于一百公里。備份以項目(Project)為粒度,可以設置備份的目標地域,觀測備份進度情況。當地域級別故障發生時,可以進行地域切換,在備份集群地域基于已備份數據恢復生產。功能詳細說明及使用請參見跨地域災備。
目前跨地域災備處于邀測階段,如您需要使用此功能,請單擊申請開通,在新功能試用申請頁面申請開通使用跨地域災備功能。邀測期間,對開通跨地域災備功能的MaxCompute項目,備份集群的存儲和跨地域流量都暫不收費,后續正式商業化收費前會提前至少一個月通過文檔公告通知。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!
2024年01月25日-MaxCompute計算成本優化功能發布
尊敬的MaxCompute用戶:
MaxCompute計算資源優化功能于北京時間2024年01月25日(周四)升級為計算成本優化功能。
計算成本優化功能在原計算資源優化功能(對包年包月一級Quota類型的計算資源生成更優的資源配置方案)的基礎上增加支持查看使用按量付費計算資源調整為使用包年包月計算資源的資源配置推薦方案及效果推演,幫助您進一步優化計算成本和提高資源利用效率。更多功能介紹和使用說明請參見計算資源配置優化。
您有任何相關問題或需要協助,可以通過您的專屬釘群或MaxCompute開發者社區群(釘釘群號:11782920)聯系我們。
感謝您的配合!