本文為您介紹數據集成任務常見問題。
資源組操作及網絡連通
- 在做離線同步時，我們需要先了解哪些DataWorks及其網絡能力？
- 同步ECS自建的數據庫的數據時，如何保障數據庫與DataWorks的網絡連通？
- 數據庫和DataWorks不在同一個地域（Region）下，進行數據同步時如何保障數據庫與DataWorks的網絡連通？
- 數據庫和DataWorks不在同一個阿里云賬號下，進行數據同步時如何保障數據庫與DataWorks的網絡連通？
- 訪問VPC環境下的數據庫測試連通性失敗，該如何處理？
- 數據源連通性有時成功，有時失敗，如何處理？
- 已經購買獨享資源組，但在數據源測試連通性時或任務執行時找不到該資源組怎么辦？
- 如何通過日志查看任務執行在什么資源組類型上？
- 如何切換任務在調度系統中執行所用的資源組。
- 如何排查自定義調度資源組等待gateway？
- 如何查看資源組對外IP，以便用于加白放行？
- 資源組還有剩余資源，為什么會提示任務資源不足無法啟動？
離線同步常見問題
離線同步任務運維常見問題
- 為什么數據源測試連通性成功，但是離線同步任務執行失??？
- 如何切換數據集成任務執行資源組？
- 臟數據如何排查和定位？
- 如何查看臟數據？
- 如果離線同步傳輸數據時，臟數據超出限制，是否所有數據都不會同步？
- 如何排查離線同步任務運行時間長的問題？
非插件報錯原因及解決方案
- 如何處理編碼格式設置/亂碼問題導致的臟數據報錯？
- 任務存在SSRF攻擊Task have SSRF attacks如何處理？
- 離線同步任務執行偶爾成功偶爾失敗。
- 離線同步源表有加列（修改）如何處理？
- 如何處理表列名有關鍵字導致同步任務失敗的情況？
具體插件報錯原因及解決方案
- 添加MongoDB數據源時，使用root用戶時報錯。
- 離線同步常見問題
- 讀取MongoDB時，如何在query參數中使用timestamp實現增量同步？
- MongoDB同步至數據目的端數據源后，時區加了8個小時，如何處理？
- 讀取MongoDB數據期間，源端有更新記錄，但未同步至目的端，如何處理？
- 讀取OSS文件是否有文件數限制？
- 寫入DataHub時，一次性寫入數據超限導致寫入失敗如何處理？
- 使用lindorm bulk方式寫入數據，是否每次都會替換掉歷史數據？
- 如何查詢一個ES索引下的所有字段？
離線同步場景及解決方案
- 離線同步任務如何自定義表名？
- 配置離線同步節點時，無法查看全部的表，該如何處理？
- 讀取MaxCompute（ODPS）表數據時，添加一行注意事項。
- 讀取MaxCompute（ODPS）表數據時，如何同步分區字段？
- 讀取MaxCompute（ODPS）表數據時，如何同步多個分區數據？
- 如何處理表列名有關鍵字導致同步任務失敗的情況？
- 讀取Loghub同步某字段有數據但是同步過來為空
- 讀取Loghub同步少數據。
- 讀取Loghub字段映射時讀到的字段不符合預期。
- 讀取kafka配置了endDateTime來指定所要同步的數據的截止范圍，但是在目的數據源中發現了超過這個時間的數據。
- Kafka中數據量少，但是任務出現長時間不讀取數據也不結束，一直運行中的現象是為什么？
- 寫入OSS出現隨機字符串如何去除？
- MySQL分庫分表如何將分表同步到一張MaxCompute中。
- 數據同步任務where條件沒有索引，導致全表掃描同步變慢。
- 目的端MySQL表字符集為utf8mb4時，同步到MySQL中的中文字符出現亂碼時，如何處理？
- 使用API方式同步的時候，支持使用來源端的（例如MaxCompute）函數做聚合嗎？例如源表有a、b兩列作為Lindorm的主鍵。
- 同步的數據表，是否只能使用Alter方式來修改TTL?
- Elasticsearch Reader如何同步對象Object或Nested字段的屬性？（例如同步object.field1）
- 存儲在ODPS的string類型同步至ES后，兩側缺少引號，如何處理？源端JSON類型的string是否可以同步為ES中的NESTED對象？
- 源端數據為string "[1,2,3,4,5]"，如何以數組形式同步至ES中存儲？
- 自建的索引中nested的屬性類型type為keyword，為什么自動生成之后類型會變成 keyword？（自動生成是指配置cleanup=true執行同步任務）
- 向ES寫入數據時，會做一次無用戶名的提交，但仍需驗證用戶名，導致提交失敗，因此提交的所有請求數據都被記錄，導致審計日志每天都會有很多，如何處理？
- Elasticsearch writer配置了Settings，為什么在創建索引時不生效？
- 如何同步至ES中為Date日期類型？
- Elasticsearch Writer指定外部version導致寫入失敗，如何處理？
- 非結構化數據源，單擊數據預覽字段無法映射，如何處理？
報錯信息及解決方案
實時同步常見問題
實時同步任務配置須知
- 實時同步任務支持哪些數據源？
- 為什么實時同步任務延遲較大？
- 實時同步任務延遲解決方案。
- 實時同步任務為什么不建議使用公網？
- 實時同步字段格式問題。
- 實時同步數據時，如何處理TRUNCATE？
- 如何提高實時同步的速度和性能？
- 實時同步是否支持在界面運行？
- 實時同步MySQL數據源時速度為什么會變慢？
- 實時同步中選擇單庫與選擇多庫的內存占用模式為什么會有差異？
- 實時同步任務DDL策略都有哪些？
實時同步MySQL數據常見問題
實時同步MySQL數據源的數據時，一開始讀到數據，一段時間后無法讀到數據，怎么處理？
實時同步至Oracle、PolarDB、MySQL常見問題
實時同步Oracle、PolarDB、MySQL任務重復報錯。
報錯信息與解決方案
同步解決方案常見問題
收費常見問題
文檔內容是否對您有幫助？