將日志服務(wù)數(shù)據(jù)投遞到AnalyticDB MySQL
日志服務(wù)采集到日志后,支持將日志投遞至云原生數(shù)據(jù)倉庫AnalyticDB MySQL進(jìn)行存儲與分析。本文檔介紹將日志投遞至AnalyticDB MySQL的操作步驟。
投遞數(shù)據(jù)到AnalyticDB MySQL遵循REPLACE INTO語義。REPLACE INTO用于實(shí)時覆蓋寫入的數(shù)據(jù)。寫入數(shù)據(jù)時,REPLACE INTO會先根據(jù)主鍵判斷待寫入數(shù)據(jù)是否已存在于表中,并根據(jù)判斷結(jié)果選擇不同的方式寫入數(shù)據(jù)。
如果待寫入數(shù)據(jù)已經(jīng)存在,則會覆蓋已有數(shù)據(jù)。
如果待寫入數(shù)據(jù)不存在,則直接插入新數(shù)據(jù)。
更多信息,請參見REPLACE INTO。
前提條件
已采集日志到目標(biāo)Logstore。具體操作,請參見數(shù)據(jù)采集。
創(chuàng)建AnalyticDB MySQL
在日志服務(wù)Project所在地域,創(chuàng)建AnalyticDB MySQL集群。具體操作,請參見創(chuàng)建集群。
說明目前日志服務(wù)僅支持同地域投遞。
創(chuàng)建數(shù)據(jù)庫賬號。具體操作,請參見創(chuàng)建數(shù)據(jù)庫賬號。
創(chuàng)建數(shù)據(jù)庫。具體操作,請參見創(chuàng)建數(shù)據(jù)庫。
如果您需要通過外網(wǎng)地址連接AnalyticDB MySQL集群,還需要申請外網(wǎng)地址。具體操作,請參見申請和釋放公網(wǎng)地址。
創(chuàng)建數(shù)據(jù)庫表。具體操作,請參見CREATE TABLE。
創(chuàng)建投遞任務(wù)
登錄日志服務(wù)控制臺。
在Project列表區(qū)域,單擊目標(biāo)Project。
在 頁簽中,依次展開目標(biāo)Logstore下的 ,單擊AnalyticDB右側(cè)的+。
在投遞提示對話框中,單擊直接投遞。
首次創(chuàng)建投遞任務(wù)到AnalyticDB MySQL時,需創(chuàng)建服務(wù)關(guān)聯(lián)角色AliyunServiceRoleForAnalyticDBForMySQL。
在創(chuàng)建服務(wù)關(guān)聯(lián)角色對話框中,單擊AliyunServiceRoleForAnalyticDBForMySQL。
在創(chuàng)建服務(wù)關(guān)聯(lián)角色對話框中,單擊確定。
在LogHub —— 數(shù)據(jù)投遞頁面,配置相關(guān)參數(shù),然后單擊確定。
參數(shù)
說明
投遞名稱
配置投遞任務(wù)的名稱,便于后續(xù)管理。
投遞描述
配置投遞任務(wù)的描述,便于后續(xù)管理。
集群版本
選擇AnalyticDB MySQL集群版本,此處以選擇3.0為例。
集群名稱
選擇您已創(chuàng)建的AnalyticDB MySQL集群。
數(shù)據(jù)庫名稱
選擇您已創(chuàng)建的AnalyticDB MySQL集群中的數(shù)據(jù)庫。
表名
選擇您已創(chuàng)建的AnalyticDB MySQL集群中的數(shù)據(jù)庫表。
賬號名稱
配置為您在AnalyticDB MySQL集群中創(chuàng)建的數(shù)據(jù)庫賬號名稱。
賬號密碼
配置為您在AnalyticDB MySQL集群中創(chuàng)建的數(shù)據(jù)庫賬號密碼。
字段映射
系統(tǒng)自動提取日志服務(wù)中最近10分鐘的日志字段,同時自動映射對應(yīng)的AnalyticDB MySQL數(shù)據(jù)表中的字段。左邊文本框?yàn)槿罩咀侄蚊Q,右邊為AnalyticDB MySQL數(shù)據(jù)庫表中的字段。
說明Timestamp類型的字段映射精確到秒級別。例如日志時間為2022-01-05 10:12:13.145,投遞到AnalyticDB MySQL后,投遞結(jié)果為2022-01-05 10:12:13。
投遞開始時間
配置投遞開始時間。
當(dāng)日志服務(wù)采集到日志后,日志服務(wù)可以實(shí)時將數(shù)據(jù)投遞到AnalyticDB MySQL。
是否過濾臟數(shù)據(jù)
臟數(shù)據(jù)包括數(shù)據(jù)類型轉(zhuǎn)化失敗和非空字段為空等數(shù)據(jù)。
如果打開是否過濾臟數(shù)據(jù)開關(guān),則遇到臟數(shù)據(jù)時,過濾掉臟數(shù)據(jù)。
如果關(guān)閉是否過濾臟數(shù)據(jù)開關(guān),則遇到臟數(shù)據(jù)時,投遞任務(wù)中斷。請謹(jǐn)慎選擇。
創(chuàng)建投遞任務(wù)后,您可以在日志服務(wù)控制臺上管理數(shù)據(jù)投遞任務(wù),包括查看任務(wù)詳情、修改投遞規(guī)則以及啟動、停止、刪除任務(wù)等操作。具體操作,請參見管理日志投遞任務(wù)。
查看日志數(shù)據(jù)
將日志投遞到AnalyticDB MySQL后,您就可以在數(shù)據(jù)庫中通過SELECT語句查詢?nèi)罩緮?shù)據(jù)。