本文以實際案例演示如何使用JDBC連接日志服務、讀取日志數據,及使用MySQL協議和SQL語法來計算日志。
背景信息
MySQL是當前流行的關系型數據庫,很多軟件支持通過MySQL傳輸協議和SQL語法獲取MySQL數據。因此,為了滿足不同業務場景、不同系統查詢和分析日志的需求,日志服務也可以被視為MySQL數據庫來使用。您可以使用標準MySQL連接工具連接到日志服務,使用標準的SQL語法計算和分析日志。支持MySQL傳輸協議的客戶端包括MySQL client,JDBC和MySQL Connector/Python。日志服務查詢分析語句轉換成SQL語句請參見查詢和分析語法。
使用場景:
在可視化工具中(如DataV、Tableau或Grafana等)將日志服務作為數據源進行可視化分析。
在Java(或Python)程序中,需要查詢、分析或使用日志服務中的數據時,可以通過Java的JDBC(或MySQL Connector/Python)等方式連接日志服務。
日志服務和MySQL數據庫對比:
日志服務 | MySQL |
Project | 數據庫(database) |
Logstore | 表(table) |
索引 | 表字段 |
日志服務使用SQL語句查詢分析日志不支持分頁。
使用限制
目前日志服務僅支持JDBC 5.1.49版本。
使用Java的JDBC、Python的MySQL Connector等庫在程序中訪問日志服務時,目前僅支持私網服務入口(阿里云經典網絡和VPC網絡的訪問域名)。更多信息,請參見服務入口。否則會出現連接超時報錯
com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure,Caused by: java.net.ConnectException: Connection timed out: connect
。
前提條件
已開通日志服務。更多信息,請參見開通日志服務。
已創建RAM用戶并完成授權。具體操作,請參見創建RAM用戶并完成授權。
已配置環境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。具體操作,請參見在Linux、macOS和Windows系統配置環境變量。
重要阿里云賬號的AccessKey擁有所有API的訪問權限,建議您使用RAM用戶的AccessKey進行API訪問或日常運維。
強烈建議不要把AccessKey ID和AccessKey Secret保存到工程代碼里,否則可能導致AccessKey泄露,威脅您賬號下所有資源的安全。
已為目標字段設置字段索引并開啟統計功能。更多信息,請參見創建索引。
日志示例
以共享單車日志為例,共享單車日志內容包括用戶年齡、性別、電量使用量、車輛ID、操作延時、緯度、鎖類型、經度、操作類型、操作結果和開鎖方式。數據保存在名為project:trip_demo的Project下,名為Logstore:ebike的Logstore中。Project所在地域是cn-hangzhou。
日志示例如下:
Time :10-12 14:26:44
__source__: 192.168.0.0
__topic__: v1
age: 55
battery: 118497.673842
bikeid: 36
gender: male
latency: 17
latitude: 30.2931185245
lock_type: smart_lock
longitude: 120.052840484
op: unlock
op_result: ok
open_lock: bluetooth
userid: 292
JDBC統計
創建一個Maven項目,在POM依賴中添加JDBC依賴(目前日志服務僅支持JDBC 5.1.49版本),示例代碼如下所示。
<dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.49</version> </dependency>
使用Java程序通過JDBC查詢日志數據,示例代碼如下所示。
重要在where條件中必須包含
__date__
字段或__time__
字段來限制查詢的時間范圍。__date__
字段是timestamp類型,__time__
字段是bigint類型。例如:__date__ > '2017-08-07 00:00:00' and __date__ < '2017-08-08 00:00:00'
__time__ > 1502691923 and __time__ < 1502692923
/** * Created by mayunlei on 2017/6/19. */ import com.mysql.jdbc.*; import java.sql.*; import java.sql.Connection; import java.sql.Statement; /** * Created by mayunlei on 2017/6/15. */ public class CollectTest { public static void main(String args[]){ // 包括Project名稱和日志服務經典網絡或VPC網絡的訪問域名,請根據實際情況替換。 final String endpoint = "cn-hangzhou-intranet.log.aliyuncs.com"; // 通過JDBC訪問時,默認使用10005端口。 final String port = "10005"; // 日志服務Project名稱。 final String project = "trip-demo"; // 日志服務Logstore名稱。 final String logstore = "ebike"; // 本示例從環境變量中獲取AccessKey ID和AccessKey Secret。 final String accessKeyId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"); final String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"); Connection conn = null; Statement stmt = null; try { // 步驟1 :加載JDBC驅動。 Class.forName("com.mysql.jdbc.Driver"); // 步驟2 :創建一個鏈接。 conn = DriverManager.getConnection("jdbc:mysql://"+endpoint+":"+port+"/"+project+"?useSSL=false",accessKeyId,accessKey); // 步驟3 :創建statement。 stmt = conn.createStatement(); // 步驟4 :定義查詢語句,查詢2017年10月11日全天日志中滿足條件op = "unlock"的日志條數。 String sql = "select count(1) as pv,avg(latency) as avg_latency from "+logstore+" " + "where __date__ >= '2017-10-11 00:00:00' " + " and __date__ < '2017-10-12 00:00:00'" + " and op ='unlock'"; // 步驟5 :執行查詢條件。 ResultSet rs = stmt.executeQuery(sql); // 步驟6 :提取查詢結果。 while(rs.next()){ // Retrieve by column name System.out.print("pv:"); // 獲取結果中的pv。 System.out.print(rs.getLong("pv")); System.out.print(" ; avg_latency:"); // 獲取結果中的avg_latency。 System.out.println(rs.getDouble("avg_latency")); System.out.println(); } rs.close(); } catch (ClassNotFoundException e) { e.printStackTrace(); } catch (SQLException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } finally { if (stmt != null) { try { stmt.close(); } catch (SQLException e) { e.printStackTrace(); } } if (conn != null) { try { conn.close(); } catch (SQLException e) { e.printStackTrace(); } } } } }
參數
描述
是否必選
示例值
project
目標Project。
是
trip-demo
endpoint
阿里云私網。
是
cn-hangzhou-intranet.log.aliyuncs.com
port
端口號。
是
10005
accessId
標識用戶。
是
LT*******************KX
accessKey
用戶用于加密簽名字符串和日志服務用來驗證簽名字符串的密鑰。
是
aaw************************Qf