ClickHouse
開源大數據平臺E-MapReduce(簡稱EMR)的ClickHouse提供了開源OLAP分析引擎ClickHouse的云上托管服務。EMR ClickHouse完全兼容開源版本的產品特性,同時提供集群快速部署、集群管理、擴容、縮容和監控告警等云上產品功能,并且在開源的基礎上優化了ClickHouse的讀寫性能,提升了ClickHouse與EMR其他組件快速集成的能力。
特性
特性 | 描述 |
列式存儲 | 相較于行式存儲,列式存儲在查詢性能上更優。同時列式存儲的數據壓縮比更高,更加節省存儲空間。 |
MPP架構 | 每個節點只訪問本地內存和存儲,節點信息交互和節點本身是并行處理的。查詢性能好,易于擴展。 向量化引擎:為了高效的使用CPU,數據不僅僅按列存儲,同時還按向量(列的一部分)進行處理,這樣可以更加高效地使用CPU。 |
支持SQL | ClickHouse支持一種基于SQL的聲明式查詢語言,它在許多情況下與ANSI SQL標準相同。支持GROUP BY、ORDER BY、FROM、JOIN和IN查詢以及非相關子查詢。 |
實時的數據更新 | ClickHouse支持在表中定義主鍵。為了使查詢能夠快速在主鍵中進行范圍查找,數據總是以增量的方式有序的存儲在MergeTree中。 近實時數據更新, Clickhouse支持近實時的數據插入、指標聚合以及索引創建。 |
支持索引 | 按照主鍵對數據進行排序,ClickHouse可以在幾十毫秒以內完成對數據特定值或范圍的查找。 |
典型應用場景
場景 | 描述 |
用戶行為分析 | 行為分析系統的表可以制作成一張大的寬表,每個表包含大量的列,可以超過一千列。JOIN的形式相對少一點,可以實現路徑分析、漏斗分析和路徑轉化等功能。 |
流量和監控 | 可以將系統和應用監控指標通過流式計算引擎Flink或Spark streaming將監控數據清洗處理以后,實時寫入ClickHouse,然后結合Grafana進行可視化展示。 |
用戶畫像 | 可以將各種用戶特征進行數據加工,制作成包含全部用戶的一張或多張用戶特征表,提供靈活的用戶畫像分析、支撐廣告和圈人等業務需求。 |
實時BI報表 | 根據業務需求,可以實時制作一些及時產出的查詢靈活的BI報表,實現秒級查詢,絕大多數查詢能夠實時反饋。BI報表包括訂單分析、營銷效果分析和大促活動分析。 |
不合適的場景:
沒有完整的事務支持。
缺少高頻率、低延遲的修改或刪除已存在數據的能力。
僅能用于批量刪除或修改數據。