原理

功能特點(diǎn)

• 通過(guò)Binlog增量采集數(shù)據(jù)庫(kù)的更新操作數(shù)據(jù)，性能優(yōu)越。支持RDS等MySQL協(xié)議的數(shù)據(jù)庫(kù)。

• 支持多種數(shù)據(jù)庫(kù)過(guò)濾方式。

• 支持設(shè)置Binlog位點(diǎn)。

• 支持通過(guò)Checkpoint機(jī)制同步保存狀態(tài)。

使用限制

• Logtail 1.0.31及以上版本支持采集MySQL 8.0的Binlog。

• MySQL必須開(kāi)啟Binlog，且Binlog必須為row模式（RDS默認(rèn)已開(kāi)啟Binlog）。

  # 查看是否開(kāi)啟Binlog
  mysql> show variables like "log_bin";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | log_bin       | ON    |
  +---------------+-------+
  1 row in set (0.02 sec)
  # 查看Binlog類型
  mysql> show variables like "binlog_format";
  +---------------+-------+
  | Variable_name | Value |
  +---------------+-------+
  | binlog_format | ROW   |
  +---------------+-------+
  1 row in set (0.03 sec)

• ServerID唯一，即需要同步的MySQL的Slave ID唯一。

• RDS限制

  • 無(wú)法直接在RDS服務(wù)器上安裝Logtail，您需要將Logtail安裝在能連通RDS實(shí)例的服務(wù)器上。

  • RDS備庫(kù)不支持Binlog采集，您需要配置RDS主庫(kù)進(jìn)行采集。

• 包括數(shù)據(jù)庫(kù)版本升級(jí)、表結(jié)構(gòu)變更、磁盤變更等操作，可能造成數(shù)據(jù)同步中斷。如遇此場(chǎng)景，可嘗試刪除logtail的checkpoint目錄后，重啟logtail。如果問(wèn)題仍然存在，推薦您使用DataWorks或Flink進(jìn)行采集。checkpoint目錄位置默認(rèn)為/etc/ilogtail/checkpoint。

應(yīng)用場(chǎng)景

注意事項(xiàng)

建議您適當(dāng)放開(kāi)對(duì)Logtail的資源限制以應(yīng)對(duì)流量突增等情況，避免Logtail因?yàn)橘Y源超限被強(qiáng)制重啟，對(duì)您的數(shù)據(jù)造成不必要的風(fēng)險(xiǎn)。

您可以通過(guò)/usr/local/ilogtail/ilogtail_config.json文件修改相關(guān)參數(shù)。更多信息，請(qǐng)參見(jiàn)設(shè)置Logtail啟動(dòng)參數(shù)。

{
    ...
    "cpu_usage_limit":2,
    "mem_usage_limit":2048,

    ...
}

數(shù)據(jù)可靠性

創(chuàng)建Logtail配置

1. 登錄日志服務(wù)控制臺(tái)。

2. 在接入數(shù)據(jù)區(qū)域，選擇MySQL BinLog-插件。

3. 選擇目標(biāo)Project和Logstore，單擊下一步。
4. 創(chuàng)建機(jī)器組。
   • 如果您已有可用的機(jī)器組，請(qǐng)單擊使用現(xiàn)有機(jī)器組。
   • 如果您還沒(méi)有可用的機(jī)器組，請(qǐng)執(zhí)行以下操作（以ECS為例）。
     1. 在ECS機(jī)器頁(yè)簽中，通過(guò)手動(dòng)選擇實(shí)例方式選擇目標(biāo)ECS實(shí)例，單擊創(chuàng)建。

        具體操作，請(qǐng)參見(jiàn)安裝Logtail（ECS實(shí)例）。

        重要 如果您的服務(wù)器是與日志服務(wù)屬于不同賬號(hào)的ECS、其他云廠商的服務(wù)器和自建IDC時(shí)，您需要手動(dòng)安裝Logtail。更多信息，請(qǐng)參見(jiàn)安裝Logtail（Linux系統(tǒng)）或安裝Logtail（Windows系統(tǒng)）。

        手動(dòng)安裝Logtail后，您必須在該服務(wù)器上手動(dòng)配置用戶標(biāo)識(shí)。具體操作，請(qǐng)參見(jiàn)配置用戶標(biāo)識(shí)。

     2. 安裝完成后，單擊確認(rèn)安裝完畢。
     3. 在創(chuàng)建機(jī)器組頁(yè)面，輸入名稱，單擊下一步。

        日志服務(wù)支持創(chuàng)建IP地址機(jī)器組和用戶自定義標(biāo)識(shí)機(jī)器組，詳細(xì)參數(shù)說(shuō)明請(qǐng)參見(jiàn)創(chuàng)建IP地址機(jī)器組和創(chuàng)建用戶自定義標(biāo)識(shí)機(jī)器組。

5. 確認(rèn)目標(biāo)機(jī)器組已在應(yīng)用機(jī)器組區(qū)域，單擊下一步。

   重要

   創(chuàng)建機(jī)器組后立刻應(yīng)用，可能因?yàn)檫B接未生效，導(dǎo)致心跳為FAIL，您可單擊自動(dòng)重試。如果還未解決，請(qǐng)參見(jiàn)Logtail機(jī)器組無(wú)心跳進(jìn)行排查。

6. 設(shè)置數(shù)據(jù)源，然后單擊下一步。

   您可以通過(guò)表單配置方式或JSON配置方式完成數(shù)據(jù)源設(shè)置。更多信息，請(qǐng)參見(jiàn)Logtail配置詳情。

7. 預(yù)覽數(shù)據(jù)及創(chuàng)建索引，然后單擊下一步。
   日志服務(wù)默認(rèn)開(kāi)啟全文索引。您也可以根據(jù)采集到的日志，手動(dòng)創(chuàng)建字段索引，或者單擊自動(dòng)生成索引，日志服務(wù)將自動(dòng)生成字段索引。更多信息，請(qǐng)參見(jiàn)創(chuàng)建索引。

   重要 如果您要查詢和分析日志，那么全文索引和字段索引必須至少啟用一種。同時(shí)啟用時(shí)，以字段索引為準(zhǔn)。
8. 單擊查詢?nèi)罩?/b>，系統(tǒng)將跳轉(zhuǎn)至Logstore查詢分析頁(yè)面。
   您需要等待1分鐘左右，待索引生效后，才能在原始日志頁(yè)簽中，查看已采集到的日志。更多信息，請(qǐng)參見(jiàn)查詢和分析日志。

Logtail配置詳情

您可以通過(guò)表單配置方式或JSON配置方式完成數(shù)據(jù)源設(shè)置。

修改本地配置

如果您沒(méi)有在插件配置中輸入真實(shí)的Host、User、Password等信息，可以在插件配置下發(fā)到本地后進(jìn)行手動(dòng)修改。

1. 登錄Logtail所在服務(wù)器。

2. 打開(kāi)/usr/local/ilogtail/user_log_config.json文件，找到service_canal關(guān)鍵字，修改Host、User、Password等字段。

3. 執(zhí)行以下命令重啟Logtail。

   sudo /etc/init.d/ilogtaild stop; sudo /etc/init.d/ilogtaild start

問(wèn)題排查

使用Logtail采集日志后，如果預(yù)覽頁(yè)面或查詢頁(yè)面無(wú)數(shù)據(jù)，您可以參見(jiàn)Logtail采集日志失敗的排查思路進(jìn)行排查。

數(shù)據(jù)庫(kù)表和日志樣例

例如對(duì)user_info數(shù)據(jù)庫(kù)下的specialalarm表分別執(zhí)行INSERT、UPDATE、DELETE操作，對(duì)應(yīng)的數(shù)據(jù)庫(kù)表結(jié)構(gòu)、數(shù)據(jù)庫(kù)操作及日志樣例如下所示。

• 表結(jié)構(gòu)樣例

  CREATE TABLE `specialalarm` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `time` datetime NOT NULL,
  `alarmtype` varchar(64) NOT NULL,
  `ip` varchar(16) NOT NULL,
  `count` int(11) unsigned NOT NULL,
  PRIMARY KEY (`id`),
  KEY `time` (`time`) USING BTREE,
  KEY `alarmtype` (`alarmtype`) USING BTREE
  ) ENGINE=MyISAM AUTO_INCREMENT=1;

• 數(shù)據(jù)庫(kù)操作

  執(zhí)行INSERT、DELETE和UPDATE三種操作。

  insert into specialalarm (`time`, `alarmType`, `ip`, `count`) values(now(), "NO_ALARM", "10.10.**.***", 55);
  delete from specialalarm where id = 4829235  ;
  update specialalarm set ip = "10.11.***.**" where id = "4829234";

  為zc.specialalarm創(chuàng)建一個(gè)索引。

  ALTER TABLE `zc`.`specialalarm` 
  ADD INDEX `time_index` (`time` ASC);

• 日志樣例

  在查詢分析頁(yè)面，查看每種操作對(duì)應(yīng)的日志，日志樣例如下所示。

  • INSERT語(yǔ)句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu*****  
    __topic__:    
    _db_:  zc  
    _event_:  row_insert  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:536  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  113  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.***.***  
    time:  2017-11-01 12:31:41

  • DELETE語(yǔ)句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****
    __topic__:    
    _db_:  zc  
    _event_:  row_delete  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:537  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  114  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829235  
    ip:  10.10.**.***
    time:  2017-11-01 12:31:41

  • UPDATE語(yǔ)句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:538  
    _host_:  *********.mysql.rds.aliyuncs.com  
    _id_:  115  
    _old_alarmtype:  NO_ALARM  
    _old_count:  55  
    _old_id:  4829234  
    _old_ip:  10.10.22.133  
    _old_time:  2017-10-31 12:04:54  
    _table_:  specialalarm  
    alarmtype:  NO_ALARM  
    count:  55  
    id:  4829234  
    ip:  10.11.***.***
    time:  2017-10-31 12:04:54

  • DDL（data definition language）語(yǔ)句

    __source__:  10.30.**.**  
    __tag__:__hostname__:  iZbp145dd9fccu****  
    __topic__:    
    _db_:  zc  
    _event_:  row_update  
    _gtid_:  7d2ea78d-b631-11e7-8afb-00163e0eef52:539  
    _host_:  *********.mysql.rds.aliyuncs.com  
    ErrorCode:  0
    ExecutionTime:  0
    Query:  ALTER TABLE `zc`.`specialalarm` 
    ADD INDEX `time_index` (`time` ASC)
    StatusVars:

  字段	說(shuō)明
  _host_	數(shù)據(jù)庫(kù)host名稱。
  _db_	數(shù)據(jù)庫(kù)名稱。
  _table_	表的名稱。
  _event_	事件類型。
  _id_	本次采集的自增ID，從0開(kāi)始，每次采集一個(gè)binlog事件后加1。
  _gtid_	全局事務(wù)ID。
  _filename_	Binlog文件名。
  _offset_	Binlog文件大小偏移量，該值只會(huì)在每次commit后更新。