日常工作中,企業通常會對實時日志數據進行開發。其中:日志數據來源可以為ECS、容器、移動端、開源軟件、網站服務或JavaScript。本文為您介紹如何通過Tunnel、DataHub、LogHub以及DataWorks數據集成將日志數據遷移至MaxCompute。

方案 說明 適用場景
Tunnel 通過MaxCompute的Tunnel功能,將日志數據上傳至MaxCompute。

詳情請參見通過Tunnel遷移日志數據至MaxCompute

Tunnel主要用于批量上傳數據至離線表,適用于離線計算的場景。
DataHub DataHub數據遷移功能通過Connector實現。DataHub Connector可以將DataHub中的流式數據同步至MaxCompute。您只需要向DataHub中寫入數據,并在DataHub中配置同步功能,便可以在MaxCompute中使用這些數據。

詳情請參見通過DataHub遷移日志數據至MaxCompute

此方法多用于公測和自研。DataHub用于實時上傳數據,主要適用于流式計算場景。

數據上傳后會保存到實時表,后續會在幾分鐘內通過定時任務的形式同步到MaxCompute離線表,供離線計算使用。

LogHub 日志服務SLS提供數據投遞功能,將LogHub實時采集的日志投遞至MaxCompute。

詳情請參見通過LogHub遷移日志數據至MaxCompute

此方法適用于海量數據場景,對數據量不設上限,同時支持行、列和TEXTFILE等各種存儲格式以及用戶自定義分區配置。
DataWorks數據集成 通過DataWorks配置離線同步節點和同步任務將日志數據同步至MaxCompute。

詳情請參見通過DataWorks數據集成遷移日志數據至MaxCompute

此方法為定時任務,配置一次可以多次執行同步任務。