本文介紹數據加工服務讀取源Logstore錯誤的原因以及排查處理方法。

加工引擎啟動成功后，開始讀取源Logstore的數據。數據加工引擎對源Logstore采用流式讀取，在加工過程中會持續不斷的讀取源Logstore中的數據。源Logstore讀取錯誤
本環節產生錯誤主要是由于對源Logstore的訪問異常。可能原因如下：
  • 源Logstore信息配置錯誤。
  • 源Logstore信息發生變化。
  • 網絡錯誤。
錯誤影響：
  • 讀取源Logstore發生錯誤時，加工任務會一直重試，直到重試成功或被手動停止。重試成功后，加工任務會繼續正常工作。
  • 加工任務會保存之前成功的斷點并一直重試。重試成功后，從斷點處繼續讀取，不會產生數據的丟失和冗余。

常見錯誤排查

  • 為源Logstore配置了非法的AccessKey ID和AccessKey Secret。
    • 錯誤日志 
      {
  "errorCode": "Unauthorized", 
  "errorMessage": "AccessKeyId not found: LTAIL3gUus8A****"
}
{ 
  "errorCode": "SignatureNotMatch", 
  "errorMessage": "signature uJfAJbc0ji04gb+cXhh0qWt****= not match"
}
    • 排查方法

      檢查您所配置的源Logstore的AccessKey ID和AccessKey Secret是否存在且正確。

  • 源Logstore信息發生變化。
    您配置了正確的源Logstore信息，并已進行了部分加工任務，但是在數據加工過程中，源Logstore信息發生了變化，導致原有的配置信息無法訪問源Logstore。
    • 錯誤日志
      源Logstore信息發生變化主要是以下兩種情況：
      • 源Logstore被刪除。 
        {
  "errorMessage": "Logstore [logstore_name] does not exist."
}
      • 源Logstore的AccessKey信息發生變化。 
        {
  "errorCode": "Unauthorized", 
  "errorMessage": "AccessKeyId not found: LTAIL3gUus8A****"
}
{ 
  "errorCode": "SignatureNotMatch", 
  "errorMessage": "signature uJfAJbc0ji04gb+cXhh0qWt****= not match"
}
    • 排查方法
      • 檢查源Logstore是否被刪除。
      • 檢查源Logstore的AccessKey信息是否發生改變。
  • 網絡異常。
    • 錯誤日志
      {
  "errorCode": "LogRequestError",
  "errorMessage": "HTTPConnectionPool(host='your_host', port=80): Max retries exceeded with url: your_url (Caused by NewConnectionError: Failed to establish a new connection: [Errno 11001] getaddrinfo failed'"
}
    • 排查方法

      檢查網絡連接是否正常。

  • 讀取不到源Logstore數據。

    該問題無報錯信息。更多信息，請參見通用錯誤排查。