場(chǎng)景:切換調(diào)度時(shí)區(qū)
在創(chuàng)建DataWorks工作空間時(shí),您需要選擇工作空間所在地域,默認(rèn)情況下DataWorks工作空間所在地域?qū)?yīng)的時(shí)區(qū)即為調(diào)度時(shí)區(qū)(即任務(wù)定時(shí)調(diào)度時(shí)間所使用的時(shí)區(qū))。同時(shí),還支持您切換工作空間的調(diào)度時(shí)區(qū),本文為您介紹如何切換調(diào)度時(shí)區(qū)。
背景信息
支持修改調(diào)度時(shí)區(qū)的地域
DataWorks部分地域目前支持多調(diào)度時(shí)區(qū)切換,支持修改調(diào)度時(shí)區(qū)的地域及各地域支持切換的時(shí)區(qū)如下。
本文所說(shuō)的UTC時(shí)區(qū)指(UTC+0)時(shí)區(qū),該時(shí)區(qū)的時(shí)間與全球標(biāo)準(zhǔn)時(shí)間一致,沒(méi)有時(shí)差。
地域 | 本地時(shí)區(qū) | UTC時(shí)區(qū) | Asia/Shanghai時(shí)區(qū) |
美國(guó)(硅谷) | America/Los_Angeles | 支持 | 支持 |
美國(guó)(弗吉尼亞) | America/New_York | 支持 | 支持 |
德國(guó)(法蘭克福) | Europe/Berlin | 支持 | 支持 |
新加坡 | Asia/Singapore | 支持 | 支持(同本地時(shí)區(qū)) |
中國(guó)香港 | Asia/Hong_Kong | 支持 | 支持(同本地時(shí)區(qū)) |
日本(東京) | Asia/Tokyo | 支持 | 不支持 |
(必讀)時(shí)區(qū)切換注意事項(xiàng)
為避免時(shí)區(qū)切換導(dǎo)致線上業(yè)務(wù)出錯(cuò)或不符合預(yù)期,執(zhí)行時(shí)區(qū)切換前請(qǐng)務(wù)必仔細(xì)閱讀以下內(nèi)容。
分類(lèi) | 說(shuō)明 |
修改后影響的工作空間范圍 | 調(diào)度時(shí)區(qū)是地域級(jí)別,修改的調(diào)度時(shí)區(qū)在本地域所有工作空間中生效。 |
修改操作不可逆 | 調(diào)度時(shí)區(qū)修改后不可更改,請(qǐng)您謹(jǐn)慎操作。 重要 若已在使用DataWorks的阿里云用戶想要切換調(diào)度時(shí)區(qū),需要注意該操作會(huì)涉及到存量數(shù)據(jù)的遷移(已經(jīng)存在的節(jié)點(diǎn)和實(shí)例),可能會(huì)對(duì)業(yè)務(wù)造成影響,請(qǐng)先查看當(dāng)前文檔關(guān)于時(shí)區(qū)切換的說(shuō)明,并綜合評(píng)估后謹(jǐn)慎選擇。 |
修改后影響的配置范圍 | 調(diào)度時(shí)區(qū)切換后將影響DataWorks調(diào)度相關(guān)配置與代碼參數(shù)替換(調(diào)度參數(shù)會(huì)根據(jù)任務(wù)定時(shí)時(shí)間、業(yè)務(wù)時(shí)間計(jì)算的調(diào)度參數(shù)實(shí)際值,作為調(diào)度場(chǎng)景下代碼的實(shí)際入?yún)ⅲ┑取?/p>
重要
|
時(shí)區(qū)切換產(chǎn)品側(cè)行為重點(diǎn)
調(diào)度時(shí)區(qū)切換后將會(huì)影響DataWorks調(diào)度相關(guān)配置、調(diào)度場(chǎng)景下參數(shù)替換以及部分模塊界面時(shí)間展示等,影響詳情如下。
切換調(diào)度時(shí)區(qū)僅對(duì)調(diào)度場(chǎng)景生效,由于DataStudio大部分操作非調(diào)度環(huán)境,所以在DataStudio執(zhí)行任務(wù)時(shí),默認(rèn)仍按照當(dāng)?shù)貢r(shí)區(qū)替換時(shí)間參數(shù),例如Datatudio中單節(jié)點(diǎn)運(yùn)行、帶參運(yùn)行、臨時(shí)查詢等操作不受調(diào)度時(shí)區(qū)變更影響。
由于DataStudio中業(yè)務(wù)流程運(yùn)行、開(kāi)發(fā)環(huán)境冒煙測(cè)試操作會(huì)進(jìn)入調(diào)度系統(tǒng),所以節(jié)點(diǎn)代碼中時(shí)間參數(shù)將受調(diào)度時(shí)區(qū)變更影響。
一、節(jié)點(diǎn)定時(shí)時(shí)間
節(jié)點(diǎn)定時(shí)調(diào)度時(shí)間會(huì)按照設(shè)置的調(diào)度時(shí)區(qū)變化。
二、節(jié)點(diǎn)時(shí)間參數(shù)配置
節(jié)點(diǎn)調(diào)度參數(shù)會(huì)按照任務(wù)相關(guān)時(shí)間(任務(wù)定時(shí)時(shí)間,業(yè)務(wù)日期等)為基準(zhǔn)值替換代碼中的變量,該值會(huì)根據(jù)的調(diào)度時(shí)區(qū)的改變而改變。
YYYYMMDD=${yyyymmdd} LAST_2D=${yyyymmdd-2}
三、節(jié)點(diǎn)代碼中時(shí)間相關(guān)的處理邏輯
代碼里面設(shè)置的變量,一部分會(huì)在gateway解析,另一部分會(huì)在計(jì)算引擎?zhèn)冉馕?,具體解析邏輯如下:
如果是在gateway上解析的,會(huì)按照設(shè)置的調(diào)度時(shí)區(qū)變化。調(diào)度場(chǎng)景下(不包括數(shù)據(jù)開(kāi)發(fā)臨時(shí)運(yùn)行),若您在DataWorks腳本任務(wù)(例如Shell,pyodps)中,直接執(zhí)行獲取時(shí)間命令(例如Shell節(jié)點(diǎn)中執(zhí)行date命令),系統(tǒng)會(huì)根據(jù)您調(diào)度時(shí)區(qū)返回時(shí)間。
如果是在底層計(jì)算引擎?zhèn)冉馕龅模?qǐng)參考底層計(jì)算引擎?zhèn)鹊臅r(shí)區(qū)轉(zhuǎn)換規(guī)則進(jìn)行了解,具體請(qǐng)參見(jiàn)對(duì)應(yīng)引擎說(shuō)明文檔。
以下圖為例,調(diào)度場(chǎng)景下,代碼中的時(shí)間變量將根據(jù)調(diào)度時(shí)間替換為具體的時(shí)間字符串下發(fā)至Hive,具體表達(dá)的時(shí)間,受限于Hive服務(wù)端解析邏輯。
四、基線或告警相關(guān)的時(shí)間
基線或告警相關(guān)的時(shí)間會(huì)按照設(shè)置的調(diào)度時(shí)區(qū)變化。
五、API相關(guān)的時(shí)間
API相關(guān)的時(shí)間會(huì)按照設(shè)置的調(diào)度時(shí)區(qū)變化。
六、底層引擎的時(shí)區(qū)
底層引擎(例如,數(shù)據(jù)集成、MaxCompute等)的時(shí)區(qū)是由各自引擎自己設(shè)置的,與DataWorks調(diào)度時(shí)區(qū)無(wú)關(guān)。調(diào)度參數(shù)實(shí)際替換值將按照純字符串形式下發(fā)至引擎?zhèn)劝醋陨硪?guī)則自行處理,關(guān)于引擎處理方案請(qǐng)參考引擎時(shí)區(qū)的相關(guān)說(shuō)明文檔。
調(diào)度時(shí)區(qū)切換僅對(duì)任務(wù)調(diào)度時(shí)間相關(guān)屬性生效,不涉及引擎時(shí)區(qū)變更。
關(guān)于數(shù)據(jù)集成該場(chǎng)景處理說(shuō)明,詳情請(qǐng)參見(jiàn)附錄:數(shù)據(jù)集成相關(guān)時(shí)間處理。
如何切換時(shí)區(qū)
DataWorks調(diào)度支持從本地時(shí)區(qū)切換到其他非本地時(shí)區(qū)。
場(chǎng)景一:該租戶第一次創(chuàng)建項(xiàng)目
在支持切換時(shí)區(qū)的地域下創(chuàng)建工作空間時(shí),若為全新用戶首次創(chuàng)建,會(huì)彈窗提示可修改調(diào)度時(shí)區(qū)為非本地時(shí)區(qū),具體修改操作需要提交工單聯(lián)系技術(shù)支持人員修改,您可根據(jù)業(yè)務(wù)需要以及(必讀)時(shí)區(qū)切換注意事項(xiàng)評(píng)估確認(rèn)是否需要修改。
場(chǎng)景二:該租戶非第一次創(chuàng)建項(xiàng)目
在支持切換時(shí)區(qū)的地域下創(chuàng)建工作空間時(shí),若需要將已有工作空間調(diào)度時(shí)區(qū)修改為非本地時(shí)區(qū),您同樣需要提交工單聯(lián)系技術(shù)支持人員修改,但由于涉及到存量數(shù)據(jù)的遷移(已經(jīng)存在的節(jié)點(diǎn)和實(shí)例),可能對(duì)業(yè)務(wù)造成影響,請(qǐng)綜合評(píng)估。切換大致分為以下幾步:
用戶側(cè):存量數(shù)據(jù)的影響面評(píng)估。
平臺(tái)側(cè):存量數(shù)據(jù)的遷移。
平臺(tái)側(cè):設(shè)置新時(shí)區(qū)。
用戶側(cè):存量數(shù)據(jù)的恢復(fù)/新時(shí)區(qū)的驗(yàn)證。
建議您對(duì)各類(lèi)型任務(wù)進(jìn)行多次驗(yàn)證以確認(rèn)任務(wù)運(yùn)行無(wú)誤。
確認(rèn)時(shí)區(qū)切換是否成功
您可前往數(shù)據(jù)開(kāi)發(fā)的調(diào)度配置頁(yè)面,確認(rèn)時(shí)區(qū)是否切換成功,以及當(dāng)前使用的調(diào)度時(shí)區(qū)。
進(jìn)入數(shù)據(jù)開(kāi)發(fā)頁(yè)面。
登錄DataWorks控制臺(tái),切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開(kāi)發(fā)。
進(jìn)入調(diào)度配置頁(yè)面。
在數(shù)據(jù)開(kāi)發(fā)(DataStudio)界面,進(jìn)入該項(xiàng)目的目標(biāo)節(jié)點(diǎn)的編輯頁(yè)面。
單擊節(jié)點(diǎn)編輯頁(yè)面右側(cè)導(dǎo)航欄的調(diào)度配置,進(jìn)入節(jié)點(diǎn)調(diào)度配置頁(yè)面。
在調(diào)度配置頁(yè)面,顯示在時(shí)間屬性下面的就是當(dāng)前所在的調(diào)度時(shí)區(qū)。
附錄:數(shù)據(jù)集成相關(guān)時(shí)間處理
數(shù)據(jù)集成的時(shí)區(qū)與DataWorks調(diào)度時(shí)區(qū)無(wú)關(guān),調(diào)度參數(shù)實(shí)際替換值將按照純字符串形式下發(fā)至數(shù)據(jù)集成側(cè)。這里以where條件數(shù)據(jù)過(guò)濾為例gmt_modify >= ${yyyymmdd}
,這個(gè)數(shù)據(jù)過(guò)濾SQL會(huì)按照字符串字面值發(fā)送給數(shù)據(jù)源執(zhí)行,實(shí)際執(zhí)行過(guò)濾效果受限于數(shù)據(jù)源本身時(shí)區(qū)處理機(jī)制。
數(shù)據(jù)集成同步進(jìn)程時(shí)區(qū)屬于DataWorks工作空間當(dāng)?shù)豏egion時(shí)區(qū),同步進(jìn)程時(shí)間不隨DataWorks調(diào)度時(shí)區(qū)進(jìn)行切換,部分?jǐn)?shù)據(jù)源同步時(shí)會(huì)和同步進(jìn)程時(shí)區(qū)有關(guān),也請(qǐng)您留意此處約束。