日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據導入常見問題排查

本文匯總了數據導入失敗/超時常見問題

自助排查手冊

完全自查

報錯信息:xxx表無數據或xxx分區(qū)無數據,請自查數據源后重試。

潛在原因:

數據計算平臺數據未生產,或寫入異常

排查路徑:

登錄數據源,查詢該表或分區(qū)是否有數據。查看在QA調度時是否有數據

建議解決方案:

  1. 上游系統(tǒng)補充數據,重新調度

  2. 如上游生產數據時間不定,QA配置的是定時更新。可以使用觸發(fā)調度,打通上游系統(tǒng)和QA的聯(lián)通

報錯信息:特殊字段類型不支持Ilegal data type - column 'xxx列名' type 'xxx' is not allowed.

排查路徑:

登錄數據源,查詢該表提示哪些字段是特殊的列類型;如BOOLEAN、ARRAY、MAP等

MC語法:DESC 表名;

GUASSDB語法:SELECT pg_get_tabledef('表名');

建議解決方案:

  1. 若無需該字段,則在導入時可以選擇關閉該列

  2. 若該列一定需要,則可以轉換成文本類型的字段列進行存儲

自查+協(xié)助排查

報錯信息:SQL解析異常Parse exception - invalid token 'FROM'

潛在原因:

出現了sql語法解析錯誤

排查路徑:

請在【Quick Audience-配置管理-數據導入-表結構配置】界面中,查看表結構配置中的原始列表是否存在特殊符號的列表,如 /、-等符號

建議解決方案:

  1. 請前往數據源,修改列名為符合數據庫規(guī)范的列名(如:字母開頭,只包含字母數字_)

如非上述問題,請聯(lián)系值班Quick Audience同學協(xié)助排查。

報錯信息:①xxx表不存在 ②xxx表已存在

潛在原因:

表創(chuàng)建失敗或已經存在

排查路徑:

ADB:

  1. 登錄ADB,查詢是否有CREATE, DELETE, DROP, INSERT, SELECT, UPDATE,ALTER的操作

  2. 登錄ADB管控臺,查詢在調度過程中,ADB是否在備份快照(在備份快照階段,不允許執(zhí)行DDL語法)

HOLO:

  1. 登錄holo數據庫,查詢show hg_experimental_force_sync_replay的值是否為off。

建議解決方案:

ADB:

  1. 如無權限,請登錄DMS平臺授權賬號對應權限

  2. 等ADB備份結束后,再執(zhí)行Quick Audience調度任務(備注:如備份時間過長,請及時提ADB工單幫忙處理備份問題)

HOLO:

  1. holo集群默認同步時異步,您可以通過在holo控制臺執(zhí)行語句:alter database dbname set hg_experimental_force_sync_replay = on; 來強制等待meta同步,但是會損耗holo的性能。

執(zhí)行完之后重新開一個holo控制臺通過 SQL 命令:show hg_experimental_force_sync_replay; 來查看是否已生效。

若非上述問題,請聯(lián)系 Quick Audience 的值班同事協(xié)助進行排查。

報錯信息:Quick Audience取消SQL請求canceling statement due to user request

潛在原因:

  1. 計算源或分析源負載比較高

  2. 數據量大長時間執(zhí)行SQL未計算出結果,Quick Audience主動斷開了連接(同步執(zhí)行超時時間為3小時)。

排查路徑:

  1. 登錄計算源后臺查詢是否負載過高

  2. 后臺查詢正在執(zhí)行sql,查詢表中數據量是否符合預期

建議解決方案:

  1. 保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。

  2. 運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。

若非上述問題,請聯(lián)系Quick Audience值班同學協(xié)助排查。

報錯信息:調度任務執(zhí)行超時

潛在原因:

  1. 計算源或分析源負載比較高

  2. 數據量大長時間執(zhí)行SQL未計算出結果(調度任務超時時間為6小時)。

排查路徑:

  1. 登錄計算源后臺查詢是否負載過高

  2. 后臺查詢正在執(zhí)行sql,查詢表中數據量是否符合預期

建議解決方案:

  1. 保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。

  2. 運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。

若非上述問題,請聯(lián)系Quick Audience值班同學協(xié)助排查。

任務運行緩慢解決辦法

  1. 保證資源充足:各個空間任務不相互影響,可各自采購計算資源。減少相互間的依賴,避免資源搶占,運行緩慢;隨著數據量增多和空間增加,需要適當查看計算源和分析源資源是否充足。

  2. 運行時間錯峰:多個空間使用相同的計算源和分析源資源,各個空間QA的調度任務運行時間盡量錯開,避免資源搶占,運行緩慢。如果客戶外部系統(tǒng)使用該計算源和分析源,也需錯開使用時間。

  3. 批量調度,多表導入:可以在調度任務中,選擇表選擇多張表配置一個調度任務,減少idmaping次數和。加快多張表導入

QA調度任務實時檢測配置

  • 如果您需要及時了解調度任務狀態(tài),可在【Quick Audience-配置管理-高級設置-實時檢測告警】模塊,配置釘釘實時檢測告警,該配置可實時檢測任務超時和失敗原因(如預期時間內未完成任務告警,需創(chuàng)建釘釘告警群,并配置webhook機器人)。