本文介紹通過云原生多模數據庫 Lindorm控制臺將日志服務增量數據導入至Lindorm寬表。
注意事項
SLS增量導入功能于2023年6月16日下線。2023年6月16日后購買的LTS將無法使用SLS增量導入功能,2023年6月16日前購買的LTS仍可正常使用此功能。
前提條件
已登錄LTS操作頁面,具體操作請參見創建同步任務。
已添加Lindorm SQL數據源,具體操作請參見添加Lindorm SQL數據源。
已添加Loghub數據源。
支持導入的目標表類型
使用Lindorm SQL創建的表。
操作步驟
在LTS操作頁面,單擊導入Lindorm/HBase > SLS實時數據復制。
在SLS實時數據復制頁面,單擊創建任務。
自定義通道名稱,選擇源集群和目標集群,填寫同步或遷移的表。
單擊創建。創建成功后,查看通道詳情。
參數說明
{
"reader": {
"columns": [
"__client_ip__",
"C_Source",
"id",
"name"
],
"consumerSize": 2, // 指定有多少個consumer訂閱loghub的數據,默認是1
"logstore": "LTS-test"
},
"writer": {
"columns": [
{
"name": "col1",
"value": "{{ concat('xx', name) }}" // 支持表達式
},
{
"name": "col2",
"value": "__client_ip__" // 列名映射
},
{
{
"isPk":true,//是否是主鍵
"name":"id",//主鍵不需要指定cf
"value":"id"
}
}
]
"tableName": "default.sls"
}
}
支持簡單Jtwig語法。
{
"name": "hhh",
"value": "{{ concat(title, id) }}"
}
文檔內容是否對您有幫助?