本文為您介紹MaxCompute作業運行過程中的常見問題。
作業運行時長不達預期(作業運行慢),通常由什么原因導致,如何解決?
導致MaxCompute作業運行時長不達預期(作業運行慢)的原因通常可分為資源不足、作業問題、模式回退三種:
資源不足
對于使用包年包月計算資源的作業,可能由于總體作業運行數據量大、申請資源多、作業優先級低而導致該作業出現資源等待情況,進而表現出作業運行慢。建議您前往資源觀測查看資源消耗情況,若發現資源使用量持續觸達可用資源上限,應及時進入作業運維優化任務執行情況,或進行計算資源變配。
對于使用按量付費標準版計算資源的作業,您需知曉,按量付費資源池為共享型,計算作業按需搶占資源,不可指定用量,若瞬時作業過多,存在因多用戶搶占而無法滿足請求資源量的情況,可能導致返回結果較慢。
對于使用按量付費閑時版計算資源的作業,您需知曉,閑時計算資源池與按量付費標準版計算資源共享,不可指定用量,如遇整體資源池資源水位高,發生資源競爭時,Spot作業資源可能會被擠壓或者搶占,甚至作業被終止。
作業問題
作業問題主要指由于作業本身導致的數據傾斜,UDF執行低效,數據膨脹等。SQL作業可以通過Logview進行具體問題定位,定位方法請參見分析運行慢作業。優化方法請參見計算優化最佳實踐。
模式回退
MaxCompute作業運行的模式有查詢加速模式和普通模式。對于數據量大、且不需要返回查詢結果的作業,只能使用普通模式,因此在資源和作業都正常的情況下,作業運行時長通常不會出現較大波動。
而對于數據量較小的交互式查詢作業,通常會命中查詢加速模式運行,該模式下的作業執行速度比普通作業快。而MaxCompute并不保證作業每次都能命中查詢加速,因此可能出現查詢加速作業回退至普通作業,而導致作業運行時長不達先前預期的情況。
文檔內容是否對您有幫助?