日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
輸入文檔關(guān)鍵字查找
首頁 開源大數(shù)據(jù)平臺 E-MapReduce EMR Serverless StarRocks 操作指南 數(shù)據(jù)開發(fā)與查詢 管理導(dǎo)入任務(wù)

管理導(dǎo)入任務(wù)

更新時間：
產(chǎn)品詳情
我的收藏

導(dǎo)入任務(wù)是EMR StarRocks Manager中的一個功能模塊，旨在降低用戶在導(dǎo)入任務(wù)管理方面的運維成本，提供可視化的導(dǎo)入任務(wù)管理能力。本文為您介紹如何使用EMR StarRocks Manager管理導(dǎo)入任務(wù)。

背景信息

該頁面的數(shù)據(jù)來自于使用StarRocks內(nèi)核提供的查詢命令（例如show load）所得到的結(jié)果，這些數(shù)據(jù)的生命周期與內(nèi)核中數(shù)據(jù)存儲的生命周期相同。

該功能適用于以下場景：

  • 查看某一個導(dǎo)入任務(wù)的數(shù)據(jù)導(dǎo)入情況，包括已導(dǎo)入的數(shù)據(jù)條數(shù)和數(shù)據(jù)大小等信息。

  • 查看某一個導(dǎo)入失敗任務(wù)的錯誤情況，以及原因分析。

  • 如果表數(shù)據(jù)出現(xiàn)錯誤或延遲，需要從導(dǎo)入任務(wù)做排查，以看到任務(wù)是否正在運行，是否存在延遲等情況。

前提條件

已連接對應(yīng)的實例，詳情請參見SQL Editor。

使用限制

該功能僅支持2.5.8-1.7-1.1.3及之后版本使用。

查看導(dǎo)入任務(wù)列表

重要

如果要查看Stream Load任務(wù)的信息，需要在導(dǎo)入任務(wù)前在StarRocks實例中設(shè)置set global enable_load_profile = true，才能看到任務(wù)信息。

在EMR StarRocks Manager的導(dǎo)入任務(wù)頁面，支持：

  • 查看Broker Load、RoutineLoad、Stream Load和Insert導(dǎo)入任務(wù)。

  • 根據(jù)任務(wù)ID、任務(wù)創(chuàng)建時間進行升降序排序。

  • 通過計算組、數(shù)據(jù)庫名、數(shù)據(jù)表名、任務(wù)ID、狀態(tài)和標(biāo)簽篩選任務(wù)。

    狀態(tài)說明如下表。

    Broker Load

    狀態(tài)

    說明

    終態(tài)

    FINISHED

    導(dǎo)入任務(wù)成功。

    CANCELLED

    導(dǎo)入任務(wù)失敗。

    非終態(tài)

    QUEUEING

    導(dǎo)入任務(wù)正在等待執(zhí)行中。

    PENDING

    導(dǎo)入任務(wù)已創(chuàng)建。

    LOADING

    導(dǎo)入任務(wù)正在執(zhí)行中。

    PREPARED

    導(dǎo)入任務(wù)已提交。

    Routine Load

    狀態(tài)

    說明

    終態(tài)

    STOPPED

    導(dǎo)入任務(wù)停止。

    CANCELLED

    導(dǎo)入任務(wù)失敗。

    非終態(tài)

    NEED_SCHEDULE

    等待任務(wù)調(diào)度。

    RUNNING

    導(dǎo)入任務(wù)正在執(zhí)行中。

    PAUSED

    導(dǎo)入任務(wù)暫停。

    Stream Load

    狀態(tài)

    說明

    終態(tài)

    FINISHED

    導(dǎo)入任務(wù)成功。

    CANCELLED

    導(dǎo)入任務(wù)失敗。

    非終態(tài)

    BEGIN

    開始導(dǎo)入任務(wù)。

    BEFORE_LOAD

    準(zhǔn)備寫入數(shù)據(jù)。

    LOADING

    寫入數(shù)據(jù)。

    PREPARING

    預(yù)提交導(dǎo)入任務(wù)。

    PREPARED

    預(yù)提交導(dǎo)入任務(wù)成功。

    COMMITED

    提交導(dǎo)入任務(wù)。

    Insert任務(wù)

    說明

    僅限于內(nèi)表的Insert任務(wù)。

    狀態(tài)

    說明

    終態(tài)

    FINISHED

    導(dǎo)入任務(wù)成功。

    CANCELLED

    導(dǎo)入任務(wù)失敗。

    非終態(tài)

    QUEUEING

    導(dǎo)入任務(wù)正在等待執(zhí)行中。

    PENDING

    導(dǎo)入任務(wù)已創(chuàng)建。

    LOADING

    導(dǎo)入任務(wù)正在執(zhí)行中。

    PREPARED

    導(dǎo)入任務(wù)已提交。

查看導(dǎo)入任務(wù)詳情

在EMR StarRocks Manager的導(dǎo)入任務(wù)頁面，單擊目標(biāo)任務(wù)ID，在任務(wù)詳情頁面，可以查看任務(wù)詳情。

如果有導(dǎo)入失敗的任務(wù)，您可以查看詳細的錯誤日志。各導(dǎo)入任務(wù)部分字段名介紹如下。

Broker Load

字段名

說明

etlInfo

ETL（Extract Transform Load）信息。

taskInfo

創(chuàng)建導(dǎo)入任務(wù)時指定的參數(shù)，包括：

  • resource：該參數(shù)在Broker Load導(dǎo)入任務(wù)中無實際意義。

  • timeout：導(dǎo)入任務(wù)的超時時間。單位：秒。

  • max-filter-ratio：導(dǎo)入任務(wù)的最大容忍率，即導(dǎo)入任務(wù)能夠容忍的因數(shù)據(jù)不規(guī)范等原因而過濾掉的數(shù)據(jù)行所占的最大比例。

jobDetails

導(dǎo)入任務(wù)的詳細信息，包括任務(wù)數(shù)量、文件數(shù)量和大小、數(shù)據(jù)量、行數(shù)等。

errorMessage

導(dǎo)入任務(wù)的失敗原因。當(dāng)導(dǎo)入任務(wù)的狀態(tài)為PENDING，LOADING或FINISHED時，該參數(shù)值為NULL。當(dāng)導(dǎo)入任務(wù)的狀態(tài)為CANCELLED時，該參數(shù)值包括type和msg兩部分：

  • type：

    • USER_CANCEL：導(dǎo)入任務(wù)被手動取消。

    • ETL_SUBMIT_FAIL：導(dǎo)入任務(wù)提交失敗。

    • ETL_QUALITY_UNSATISFIED：數(shù)據(jù)質(zhì)量不合格，即導(dǎo)入任務(wù)的錯誤數(shù)據(jù)率超過了max-filter-ratio。

    • LOAD_RUN_FAIL：導(dǎo)入任務(wù)在LOAD階段失敗。

    • TIMEOUT：導(dǎo)入任務(wù)未在允許的超時時間內(nèi)完成。

    • UNKNOWN：未知的導(dǎo)入錯誤。

  • msg：顯示有關(guān)失敗原因的詳細信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Routine Load

字段名

說明

jobProperties

任務(wù)屬性，包括一些配置信息等。

dataSourceProperties

數(shù)據(jù)源屬性。

customProperties

自定義屬性。

statistics

統(tǒng)計信息（包括行數(shù)、數(shù)據(jù)量等）。

reasonOfStateChanged

狀態(tài)改變原因。

errorLogUrls

錯誤日志鏈接。

otherMsg

其他信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Stream Load

字段名

說明

errorMessage

錯誤信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

Insert任務(wù)

字段名

說明

etlInfo

ETL（Extract Transform Load）信息。

taskInfo

創(chuàng)建導(dǎo)入任務(wù)時指定的參數(shù)，包括：

  • resource：該參數(shù)在Insert導(dǎo)入任務(wù)中無實際意義。

  • timeout：導(dǎo)入任務(wù)的超時時間。單位：秒。

  • max-filter-ratio：導(dǎo)入任務(wù)的最大容忍率，即導(dǎo)入任務(wù)能夠容忍的因數(shù)據(jù)不規(guī)范等原因而過濾掉的數(shù)據(jù)行所占的最大比例。

jobDetails

導(dǎo)入任務(wù)的詳細信息，包括任務(wù)數(shù)量、文件數(shù)量和大小、數(shù)據(jù)量、行數(shù)等。

errorMessage

導(dǎo)入任務(wù)的失敗原因。當(dāng)導(dǎo)入任務(wù)的狀態(tài)為PENDING，LOADING或FINISHED時，該參數(shù)值為NULL。當(dāng)導(dǎo)入任務(wù)的狀態(tài)為CANCELLED時，該參數(shù)值包括type和msg兩部分：

  • type：

    • USER_CANCEL：導(dǎo)入任務(wù)被手動取消。

    • ETL_SUBMIT_FAIL：導(dǎo)入任務(wù)提交失敗。

    • ETL_QUALITY_UNSATISFIED：數(shù)據(jù)質(zhì)量不合格，即導(dǎo)入任務(wù)的錯誤數(shù)據(jù)率超過了max-filter-ratio。

    • LOAD_RUN_FAIL：導(dǎo)入任務(wù)在LOAD階段失敗。

    • TIMEOUT：導(dǎo)入任務(wù)未在允許的超時時間內(nèi)完成。

    • UNKNOWN：未知的導(dǎo)入錯誤。

  • msg：顯示有關(guān)失敗原因的詳細信息。

trackingSQL

查詢錯誤日志的SQL。

trackingLogs

詳細錯誤日志。

查看導(dǎo)入任務(wù)Profile

在EMR StarRocks Manager的導(dǎo)入任務(wù)頁面，單擊目標(biāo)任務(wù)ID，在任務(wù)Profile頁面，可以查看導(dǎo)入任務(wù)Profile。

支持查看最近500條BrokerLoad和StreamLoad導(dǎo)入任務(wù)的Profile。

說明

StarRocks實例最多保留最近500條導(dǎo)入任務(wù)的Profile。由于Stream Load在高頻實時導(dǎo)入場景下會產(chǎn)生大量小任務(wù)，默認限制超過10s的Stream Load任務(wù)才會采集Profile。

操作導(dǎo)入任務(wù)

您可以在EMR StarRocks Manager的導(dǎo)入任務(wù)頁面，對非終態(tài)的Broker Load、Routine Load導(dǎo)入任務(wù)進行操作。

任務(wù)類型

操作

說明

Broker Load

取消

導(dǎo)入任務(wù)會進入CANCELLED狀態(tài)。

Routine Load

暫停

導(dǎo)入任務(wù)會進入PAUSED狀態(tài)，但是導(dǎo)入任務(wù)未結(jié)束，可以通過恢復(fù)操作來重啟導(dǎo)入任務(wù)。

恢復(fù)

導(dǎo)入任務(wù)會先短暫地進入NEED_SCHEDULE狀態(tài)，表示正在重新調(diào)度導(dǎo)入任務(wù)，一段時間后會恢復(fù)至RUNNING狀態(tài)，繼續(xù)消費Kafka消息并且導(dǎo)入數(shù)據(jù)。

停止

導(dǎo)入任務(wù)會進入STOPPED狀態(tài)，代表此導(dǎo)入任務(wù)已經(jīng)結(jié)束，且無法恢復(fù)。

導(dǎo)入任務(wù)示例

  1. 創(chuàng)建兩個Broker Load任務(wù)，詳情請參見Broker Load。

    第二個導(dǎo)入任務(wù)，您可以修改數(shù)據(jù)表，手動造一些臟數(shù)據(jù)，用來模擬導(dǎo)入失敗的情況。

    如果創(chuàng)建其他方式的導(dǎo)入任務(wù)，請參見Insert Into、Routine Load、Stream Load。

  2. 進入StarRocks Manager頁面。

    1. 登錄E-MapReduce控制臺。

    2. 在左側(cè)導(dǎo)航欄，選擇EMR Serverless > StarRocks。

    3. 在頂部菜單欄處，根據(jù)實際情況選擇地域。

    4. 單擊StarRocks Manager，或者單擊已創(chuàng)建實例操作列的連接實例。

      連接StarRocks實例詳情，請參見通過EMR StarRocks Manager連接StarRocks實例。

  3. 連接StarRocks實例，詳情請參見SQL Editor。

  4. 在左側(cè)導(dǎo)航欄，單擊導(dǎo)入任務(wù)。

    該頁面為您展示當(dāng)前賬號下所有的導(dǎo)入任務(wù)信息。

    當(dāng)任務(wù)狀態(tài)為CANCELLED時，將鼠標(biāo)懸停在任務(wù)狀態(tài)處可查看簡要的錯誤信息，如需查看詳細錯誤日志，請進入到任務(wù)詳情頁面查看。

  5. 單擊待查看的導(dǎo)入任務(wù)類型。

    默認展示Broker Load任務(wù)類型。

  6. 單擊待查看的任務(wù)ID。

    該頁面為您展示該導(dǎo)入任務(wù)的任務(wù)詳情和任務(wù)Profile。