本文以Linux系統為例介紹同阿里云賬號跨地域采集日志的操作步驟。
方案概覽
假如某公司的網站應用部署在地域A,日志服務Project部署在地域B,現計劃通過Logtail采集配置將部署在地域A的ECS實例中的日志數據發送到地域B的日志服務Project中。您可通過以下步驟配置:
配置流程圖如下所示:
前提條件
已創建Project和Logstore。更多信息,請參見創建項目Project和創建Logstore。
步驟一:在地域A的ECS實例中安裝Logtail
網絡傳輸說明
傳輸方式 | 適用場景 |
公網 |
|
傳輸加速 | 服務器分布在海外各地的自建機房或者來自海外云廠商,使用公網傳輸數據可能會出現網絡延遲高、傳輸不穩定等問題,推薦選擇傳輸加速。更多信息,參見管理傳輸加速。 |
登錄地域A的ECS實例,請參考網絡傳輸說明根據您的網絡環境選擇安裝Logtail腳本。安裝Logtail支持的Liunx系統,請參見使用限制。
公網
根據日志服務Project所在地域,獲取對應的${region_id}
。替換${region_id}
后,執行安裝命令。
各地域對應的${region_id}
請參見開服地域,例如華東 1(杭州)對應的${region_id}
為cn-hangzhou
。
wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-internet
傳輸加速
根據日志服務Project所在地域,獲取對應的${region_id}
。替換${region_id}
后,執行安裝命令。
各地域對應的${region_id}
請參見開服地域,例如華東 1(杭州)對應的${region_id}
為cn-hangzhou
。
wget http://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; chmod +x logtail.sh; ./logtail.sh install ${region_id}-acceleration
步驟二:在地域A的ECS實例中配置用戶自定義標識
在指定目錄下創建用戶自定義標識文件
user_defined_id
并配置用戶自定義標識。重要同一機器組中不允許同時存在Linux和Windows服務器,請勿在Linux和Windows服務器上配置相同的用戶自定義標識。
一個服務器可配置多個用戶自定義標識,標識之間以換行符分割。
用戶自定義標識文件存放路徑:
Linux:/etc/ilogtail/user_defined_id。
Windows:C:\LogtailData\user_defined_id。
如果目錄
/etc/ilogtail/
、C:\LogtailData
或文件/etc/ilogtail/user_defined_id
、C:\LogtailData\user_defined_id
不存在,請手動創建。
Linux環境
在Linux服務器配置用戶自定義標識,可使用以下命令完成。
echo "user-defined-linux-1" > /etc/ilogtail/user_defined_id
檢查用戶自定義標識是否寫入成功,可使用以下命令。
cat /etc/ilogtail/user_defined_id
新增、刪除、修改user_defined_id文件后,默認情況下,1分鐘內生效。如果需要立即生效,請執行以下命令重啟Logtail。
/etc/init.d/ilogtaild stop /etc/init.d/ilogtaild start
Windows環境
在Windows服務配置用戶自定義標識,可在
C:\LogtailData\user_defined_id
文件中輸入user-defined-windows-1
,并保存。檢查用戶自定義標識是否寫入成功,可打開
C:\LogtailData\user_defined_id
文件直接查看。新增、刪除、修改user_defined_id文件后,默認情況下,1分鐘內生效。如需立即生效,請根據以下步驟重啟Logtail。
選擇
。在服務對話框中,選擇對應的服務。
如果是0.x.x.x版本,選擇LogtailWorker服務。
如果是1.0.0.0及以上版本,選擇LogtailDaemon服務。
右鍵單擊重新啟動使配置生效。
容器環境
用戶自定義標識配置在Logtail容器的環境變量
ALIYUN_LOGTAIL_USER_DEFINED_ID
中,可通過docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID
命令查看。
步驟三:在地域B的日志服務Project中創建用戶自定義標識機器組
登錄日志服務控制臺,在Project列表,單擊打開目標Project。
左側導航欄中,選擇
。在打開的機器組頁面中,選擇機器組右側的 。在彈出的創建機器組頁面,填寫以下信息,并單擊確定。
參數
說明
名稱
機器組名稱,命名規則如下所示:
只能包括小寫字母、數字、短劃線(-)和下劃線(_)。
必須以小寫字母或者數字開頭和結尾。
長度必須在 2~128 字符之間。
重要創建后,不支持修改機器組名稱,請謹慎填寫。
機器組標識
選擇IP地址。
機器組Topic
(可選)機器組Topic用于區分不同服務器產生的日志數據。更多信息,請參見日志主題。
IP地址
填入上述步驟中獲取的服務器IP地址。
重要存在多臺服務器時,請手動輸入對應的IP地址,IP地址之間需使用換行符分隔。
同一機器組中不允許同時存在Linux和Windows服務器。請勿將Windows和Linux服務器IP添加到同一機器組中。
在機器組列表中,單擊目標機器組。在機器組配置頁面,檢查機器組配置信息以及服務器狀態。
心跳狀態為OK表示服務器上的Logtail實例與日志服務Project連接正常。
如果心跳狀態顯示FAIL,處理操作請參見Logtail機器組問題排查思路(主機場景)。
重要創建機器組大約需要2分鐘。創建未生效,將導致心跳為FAIL。請2分鐘后單擊刷新進行重試。
步驟四:在地域B的日志服務Project中創建Logtail采集配置
對于常見類型的日志采集,請參見最佳實踐:
相關文檔
使用Logtail采集日志后,如果預覽頁面為空或查詢頁面無數據,請按照Logtail采集日志失敗的排查思路進行排查。在使用Logtail采集日志時,可能遇到正則解析失敗、文件路徑不正確、流量超過Shard服務能力等錯誤。查看Logtail采集錯誤的步驟,請參見如何查看Logtail采集錯誤信息。采集數據常見的錯誤類型請參見日志服務采集數據常見的錯誤類型。
默認情況下,一個日志文件只能匹配一個Logtail配置。如果同一份日志需要被采集多份,請參見如何實現文件中的日志被采集多份。
將企業內網服務器日志采集到日志服務,請參見采集企業內網服務器日志。