本文介紹了Ganos時空引擎的概述、功能框架以及優勢等內容。
概述
GanosBase(簡稱Ganos)是阿里云自主研發的新一代時空數據庫引擎,它將時空數據處理能力融入了云原生關系型數據庫PolarDB、云原生多模數據庫Lindorm、云原生數據倉庫AnalyticDB和云數據庫RDS等主要產品中,為數據庫構建了面向新型時空多模多態數據的一體化存儲、查詢、分析與渲染支撐能力。Ganos取名于大地女神蓋亞(Gaea)和時間之神柯羅諾斯(Chronos)首尾字母組合,代表空間+時間的深度結合,發音為['g?n?s]。
空間數據與時空數據
空間數據(Spatial Data)用來表達所定義空間中對象/目標/物體的位置、形態、分布等空間特征以及相關聯的各類信息,是對現實世界中存在的具有定位意義的各類事物和現象的描述。結合數據庫而言,最典型的空間數據如記錄一個城市中的所有學校,每個學校記錄為數據庫中的一行。其中,用時空數據庫特有的Geometry字段類型保存每個學??臻g上的外輪廓(一般為帶有空間參考信息的一個多邊形),并用其他字段記錄學校的名稱、占地面積、創立時間等信息??臻g數據一般根據對現實事物空間表達方法的不同,進一步區分為幾何空間數據、柵格空間數據、網格空間數據等不同模態結構,需要根據不同應用場景做出合理選擇。
時空數據(Spatio-temporal Data)是在空間數據的基礎上,進一步考慮事物或現象隨時間的變化情況,從而構成時空動態數據。人、車、船、飛行器等移動對象(Moving Object)數據是最典型的時空數據。這類時空數據一般需要在數據庫中記錄移動對象所經過的一系列時空位置(經緯度坐標+時間)以及與位置相關聯的各類屬性信息或監測信息。例如,記錄所有共享單車的行程信息,每個行程(從起始地到目的地)保存為數據庫中的一行,其中,用時空數據庫特有的Trajectory字段類型保存每個行程所經過的一系列軌跡點,并在每一軌跡點上關聯記錄車輛行進速度、方向等監測項。
從不嚴格意義上來講,時空數據是空間數據的超集。本手冊在沒有嚴格界定的上下文環境下,把空間數據統一稱為時空數據,Ganos也統一命名為時空數據庫引擎。
時空數據管理面臨的挑戰
Ganos解決什么問題
Ganos為數據庫構建了面向新型時空多模多態數據的一體化表達、存儲、查詢、分析與渲染支撐能力,解決了以往時空大數據使用流程復雜、使用門檻高、應用效率低等問題,可廣泛應用于城市管理、交通物流、共享出行、自然資源、航空航天、物聯信息等領域。
定價
目前PolarDB PostgreSQL版(兼容Oracle)數據庫產品自帶Ganos組件,免費進行使用。
功能框架
Ganos為數據庫提供了面向新型時空多模多態數據的一體化表達、存儲、查詢、分析與渲染支撐能力。
核心組件
幾何引擎
幾何引擎主要提供點、線、面、體等矢量數據的存儲與計算能力,支持shp、geojson、wkb/wkt等多種幾何數據源格式數據的入庫。Ganos幾何引擎全面兼容PostGIS函數接口,在空間數據緩存、空間索引、空間并行計算等方面具有獨特的優勢,大規模矢量數據查詢分析性能有5倍以上提升。
柵格引擎
柵格引擎主要提供遙感影像、數字高程模型(DEM)、格點數據的存儲與計算能力,兼容支持Tiff、HDF4、HDF5、GRIB、NetCDF等多種柵格數據源格式。Ganos柵格引擎提供面向對象的存儲能力,單行可保存超過1 TB的超大對象,并支持基于OSS的柵格數據湖擴展能力,同時柵格引擎還提供了柵格空間關系判斷、柵格金字塔、柵格統計、柵格屬性、柵格圖像處理、柵格代數等多種基礎算子及勻色、鑲嵌、DEM算法、D8匯水算法等業務算法,在大規模柵格數據存儲計算場景下有十分明顯的優勢。
移動對象引擎
移動對象引擎主要提供人、車、船、飛行器等移動對象數據的存儲與計算能力。Ganos移動對象引擎提供針對4D軌跡(二維/三維空間 + 時間)的原生存儲、索引與分段優化,支持為每個軌跡點添加自定義屬性,支持定義時空事件,支持百億級軌跡點高效壓縮與重采樣,支持軌跡分段、軌跡駐點、軌跡相似度、時空關系判斷等各類數據庫原生時空算子。
地理網格引擎
地理網格引擎主要提供空間網格構建與二三維空間對象網格賦碼、查詢能力。Ganos地理網格引擎支持GeoSOT、H3等多種網格剖分規則,支持空間對象編碼,支持對象、編碼互查操作,支持基于空間網格的聚合與分析能力,支持網格退化能力。
表面模型引擎
表面模型引擎主要提供以表面網格(Surface Mesh)描述的語義化三維數據的存儲與計算能力。Ganos表面模型引擎可用于處理建筑信息模型(BIM)數據,可將模型按語義解構并結構化管理,支持復雜三維空間分析與大規模聯合檢索,支持模型簡化算法并可與主流前端三維渲染引擎對接。
體模型引擎
體模型引擎主要提供以非勻質體網格(Volumn Mesh)表征的各向異性數據的存儲與計算能力。Ganos體模型引擎可用于處理復雜地質體數據,支持網格在地層邊界處截斷,支持業務插值算法,支持復雜空間分析與大規模聯合檢索,支持模型簡化算法并可與主流前端三維渲染引擎對接。
體模型引擎當前為邀測階段,如需使用,請聯系我們。
實景模型引擎
實景模型引擎主要提供精細化渲染模型的存儲與計算能力。Ganos實景模型引擎可支持osgb、gltf/glb、obj等多種格式模型導入,支持空間裁剪、合并等算法,支持紋理裁剪、簡化等算法,支持模型簡化算法并可與主流前端三維渲染引擎對接,支持庫內進行精準可視域、陰影率分析等。
點云引擎
點云引擎主要提供激光雷達采集的海量點云數據的存儲與計算能力。Ganos點云引擎支持庫內分塊空間索引,支持點云壓損,支持點云空間查詢與計算,支持點云抽稀簡化并可與主流前端三維渲染引擎對接。
路徑引擎
路徑引擎主要提供管網、路網等點邊描述的拓撲圖數據的存儲與計算能力。Ganos路徑引擎支持基于點、邊模型構建網絡拓撲,支持TSP、K最短、轉彎限制、雙向Dijkstra等多種尋路算法。
快顯引擎
快顯引擎主要提供Ganos全空間數據的快速渲染支撐能力。針對矢量、柵格數據,快顯引擎根據空間特性進行逐級聚合,并采用可見性剔除算法,以不切片的方式構建快顯索引支持渲染,且索引支持局部更新;針對各類三維數據,快顯引擎通過模型簡化、紋理壓縮、數據縫合等方式,構建三維模型的渲染層級,并動態生成渲染引擎可識別格式進行展示。快顯引擎改變了傳統預切片的展示方式,提供視算一體的能力保證數據現勢性。
端到端能力
Atlas是Ganos與阿里云數據可視化DataV團隊聯合打造的輕量級時空數據分析與可視化產品,幫助互聯網客戶快速發掘時空數據的價值,支撐商業位置決策、科學研究等領域應用,也可自由集成至用戶自身的時空應用中。Atlas定位于快速解決大規模時空數據分析、可視化、成果分享問題,提供以下核心能力:
能夠對大規模時空數據進行圖形化預覽能力。
能夠通過SQL語句進行Ganos內時空數據的可視化分析。
通過點、線、面、柵格、網格等多種圖元進行時空數據的多樣化表達。
Atlas將所有時空計算全部下推到Ganos執行,保證了時空計算的最大效率,通過Ganos動態快顯技術與前端對接,實現各類時空數據的繪制能力,真正實現任意SQL快速上圖。目前Atlas除了支持各類時空數據的直接預覽,也可以繪制氣象云圖、軌跡密度圖、網格聚合圖等業務地圖,并以“作品”的形式分享給其他人講述自己的“地圖故事”。
Atlas為數據庫產品之外的獨立產品,詳情請參見Atlas產品介紹。
優勢
一庫統管
原生支持豐富的時空多模多態數據類型
Ganos原生支持幾何、柵格、軌跡、地理網格等不同數據類型、存儲結構和函數計算能力,可替代“多種數據類型,多種存儲方式”的傳統技術框架,提供僅用一種數據庫即可進行全量時空數據統一管理的能力,降低了業務復雜度與運維成本。
嚴格遵循OpenGIS標準規范,完全兼容PostGIS語法
Ganos支持已有PostGIS幾何應用的透明遷移;支持2D/3D/4D坐標空間;支持創建2-D/n-D空間索引;支持平面與球面計算,空間計算精度自由可控。在多種常見時空查詢條件下,Ganos相較于PostGIS均有5倍以上性能提升。
強大、靈活、易用的專業化柵格數據管理
Ganos支持HDF4、HDF5、GRIB、NC等多種柵格數據入庫;支持基于OSS的透明化查詢處理;支持單行超過TB級的柵格大對象管理,并行操作提供10倍以上性能提升;支持多種柵格基礎算子;支持影像鑲嵌、裁剪、勻色、DEM處理等業務算法。
存儲、計算、渲染一體化三維數據管理
Ganos支持常見的三維模型數據類型導入,如ifc(BIM)、glft、glb、obj、osgb、三維地質模型等,入庫后可開展復雜的三維空間分析與三維查詢,并基于Ganos快顯引擎提供非預制切片渲染能力,基于Ganos的三維數據計算效率比傳統方案提升50倍以上。
多元地理網格剖分編碼聚合能力
Ganos支持GeoSOT、H3等多種網格剖分與編碼方法,可針對億級二三維空間對象迅速基于網格打碼,基于網格碼進行實時聚合查詢,并可對接Ganos的動態MVT快顯技術開展聚合屬性的高效渲染。
海量移動對象軌跡管理與可視化
Ganos支持人、車、船、飛行器等各類移動對象在高達時空四維環境中軌跡管理,支持軌跡、事件、多態屬性復合存儲及壓縮、分段、相似性判斷、駐點判斷等復雜計算,原生軌跡模型比傳統點模型在時空分析場景有近50~100倍性能提升。
全空間數據多態分層存儲
Ganos支持PolarDB PostgreSQL版(兼容Oracle)數據庫構建了全空間數據多態分層存儲能力,即數據庫不但支持塊存儲,還可以將更為廉價的對象存儲(OSS)作為數據庫存儲介質直接使用。用戶可以將分區表中的任意分區放在對象存儲上,也可以將表中的時空大對象列放置在對象存儲上,對象存儲同樣支持數據庫的增刪改查索引等操作,通過多級緩存保證性能,對客戶而言全面透明化。多態分層存儲可極大支持客戶降低存儲成本,同時又滿足對數據的操作需求。
計算下推
與傳統時空中間件技術方案不同的是,Ganos支持將業務關鍵計算下推數據庫平臺中,讓計算離數據更近,可以充分利用數據庫各項處理能力實現數據本地高效計算,不但能降低因大量中間結果數據網絡傳輸導致的IO延遲,也能簡化業務邏輯并大幅提升業務系統性能。
海量算子支持各類時空分析處理業務
Ganos支持大量豐富的空間分析算子,包括導入導出、類型轉換、屬性處理、空間關系判斷、空間計算、空間處理、業務分析等,用戶可以基于這些算子獨立構建更為復雜的業務算法。經多個客戶實踐,這樣基于下推的Ganos算子構建出的業務算法往往都會有數量級的效率提升。
時空彈性并行查詢
Ganos支持依托PolarDB彈性并行能力(ePQ)進行時空查詢,ePQ支持跨機并行,它可以將充分利用數據庫的只讀節點參與到復雜分析型查詢中,從而提升查詢效率。相較于單機數據庫并行查詢,ePQ在22項各類查詢中,19條查詢加速10倍以上,3條查詢加速60倍以上,并且性能隨資源擴展線性提升。
時空事務分析一體化(HTAP)
Ganos協同PolarDB PostgreSQL版(兼容Oracle)與AnalyticDB PostgreSQL版數據庫,構建了面向時空領域的事務分析一體化(HTAP)能力,Ganos不僅可以直接支持兩種數據庫產品,也可以在事務數據庫PolarDB PostgreSQL版(兼容Oracle)上增掛AnalyticDB PostgreSQL版分析節點,利用HTAP實現事務節點與分析節點上時空數據無縫同步與功能打通。
視算一體
Ganos構建了二、三維免切片訪問的快顯引擎,可以對時空數據所表征的實體進行基于一套數據的高效檢索與可視化表達,替代了傳統技術?!拔募?、數據庫算、瓦片看”的復雜方式,以視算一體的技術支持各類空間查詢、時空查詢、面向場景查詢以及跨模融合查詢等業務應用。
快顯索引
Ganos基于可見性剔除算法構建了稀疏金字塔索引支持億級規模多邊形地物可視化秒級訪問,支持億級快顯索引的分鐘級并行更新。
MVT增強
Ganos針對任意時空查詢結果可視化,提供了PostGIS MVT增強能力,支持全局重采樣等加速算法,支持以更快速度、更小體量動態生成矢量二維/三維數據瓦片。
三維免預切渲染
Ganos針對三維數據提供庫內簡化、紋理重組、數據縫合、LOD構建等多種能力,并支持動態生成三維瓦片對接渲染引擎。
聯系我們
歡迎使用釘釘掃碼加入「Ganos時空云計算」官方支持群,將會有專業的技術支持人員在線答疑。 如果業務復雜,您也可以購買支持計劃,獲取由IM企業群、技術服務經理(TAM)、服務經理等提供的專屬支持。