本文匯總了數據導入失敗/超時常見問題
自助排查手冊
完全自查
報錯信息:xxx表無數據或xxx分區(qū)無數據,請自查數據源后重試。
潛在原因:
數據計算平臺數據未生產,或寫入異常
排查路徑:
登錄數據源,查詢該表或分區(qū)是否有數據。查看在QA調度時是否有數據
建議解決方案:
上游系統(tǒng)補充數據,重新調度
如上游生產數據時間不定,QA配置的是定時更新。可以使用觸發(fā)調度,打通上游系統(tǒng)和QA的聯(lián)通
報錯信息:特殊字段類型不支持Ilegal data type - column 'xxx列名' type 'xxx' is not allowed.
排查路徑:
登錄數據源,查詢該表提示哪些字段是特殊的列類型;如BOOLEAN、ARRAY、MAP等
MC語法:DESC 表名;
GUASSDB語法:SELECT pg_get_tabledef('表名');
建議解決方案:
若無需該字段,則在導入時可以選擇關閉該列
若該列一定需要,則可以轉換成文本類型的字段列進行存儲
自查+協(xié)助排查
報錯信息:SQL解析異常Parse exception - invalid token 'FROM'
潛在原因:
出現了sql語法解析錯誤
排查路徑:
請在【Quick Audience-配置管理-數據導入-表結構配置】界面中,查看表結構配置中的原始列表是否存在特殊符號的列表,如 /、-等符號
建議解決方案:
請前往數據源,修改列名為符合數據庫規(guī)范的列名(如:字母開頭,只包含字母數字_)
如非上述問題,請聯(lián)系值班Quick Audience同學協(xié)助排查。
報錯信息:①xxx表不存在 ②xxx表已存在
潛在原因:
表創(chuàng)建失敗或已經存在
排查路徑:
ADB:
登錄ADB,查詢是否有CREATE, DELETE, DROP, INSERT, SELECT, UPDATE,ALTER的操作
登錄ADB管控臺,查詢在調度過程中,ADB是否在備份快照(在備份快照階段,不允許執(zhí)行DDL語法)
HOLO:
登錄holo數據庫,查詢show hg_experimental_force_sync_replay的值是否為off。
建議解決方案:
ADB:
如無權限,請登錄DMS平臺授權賬號對應權限
等ADB備份結束后,再執(zhí)行Quick Audience調度任務(備注:如備份時間過長,請及時提ADB工單幫忙處理備份問題)
HOLO:
holo集群默認同步時異步,您可以通過在holo控制臺執(zhí)行語句:alter database dbname set hg_experimental_force_sync_replay = on; 來強制等待meta同步,但是會損耗holo的性能。
執(zhí)行完之后重新開一個holo控制臺通過 SQL 命令:show hg_experimental_force_sync_replay; 來查看是否已生效。
若非上述問題,請聯(lián)系 Quick Audience 的值班同事協(xié)助進行排查。
報錯信息:Quick Audience取消SQL請求canceling statement due to user request
潛在原因:
計算源或分析源負載比較高
數據量大長時間執(zhí)行SQL未計算出結果,Quick Audience主動斷開了連接(同步執(zhí)行超時時間為3小時)。
排查路徑:
登錄計算源后臺查詢是否負載過高
后臺查詢正在執(zhí)行sql,查詢表中數據量是否符合預期
建議解決方案:
保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。
運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。
若非上述問題,請聯(lián)系Quick Audience值班同學協(xié)助排查。
報錯信息:調度任務執(zhí)行超時
潛在原因:
計算源或分析源負載比較高
數據量大長時間執(zhí)行SQL未計算出結果(調度任務超時時間為6小時)。
排查路徑:
登錄計算源后臺查詢是否負載過高
后臺查詢正在執(zhí)行sql,查詢表中數據量是否符合預期
建議解決方案:
保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。
運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。
若非上述問題,請聯(lián)系Quick Audience值班同學協(xié)助排查。
任務運行緩慢解決辦法
保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。
運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。
批量調度,多表導入:可以在調度任務中,選擇表選擇多張表配置一個調度任務,減少idmaping次數和。加快多張表導入
QA調度任務實時檢測配置
如果您需要及時了解調度任務狀態(tài),可在【Quick Audience-配置管理-高級設置-實時檢測告警】模塊,配置釘釘實時檢測告警,該配置可實時檢測任務超時和失敗原因(如預期時間內未完成任務告警,需創(chuàng)建釘釘告警群,并配置webhook機器人)。