GanosBase時空數(shù)據(jù)庫簡介
本文介紹了Ganos時空引擎的概述、功能框架以及優(yōu)勢等內容。
概述
GanosBase(簡稱Ganos)是阿里云自主研發(fā)的新一代時空數(shù)據(jù)庫引擎,它將時空數(shù)據(jù)處理能力融入了云原生關系型數(shù)據(jù)庫PolarDB、云原生多模數(shù)據(jù)庫Lindorm、云原生數(shù)據(jù)倉庫AnalyticDB和云數(shù)據(jù)庫RDS等主要產(chǎn)品中,為數(shù)據(jù)庫構建了面向新型時空多模多態(tài)數(shù)據(jù)的一體化存儲、查詢、分析與渲染支撐能力。Ganos取名于大地女神蓋亞(Gaea)和時間之神柯羅諾斯(Chronos)首尾字母組合,代表空間+時間的深度結合,發(fā)音為['g?n?s]。
空間數(shù)據(jù)與時空數(shù)據(jù)
空間數(shù)據(jù)(Spatial Data)用來表達所定義空間中對象/目標/物體的位置、形態(tài)、分布等空間特征以及相關聯(lián)的各類信息,是對現(xiàn)實世界中存在的具有定位意義的各類事物和現(xiàn)象的描述。結合數(shù)據(jù)庫而言,最典型的空間數(shù)據(jù)如記錄一個城市中的所有學校,每個學校記錄為數(shù)據(jù)庫中的一行。其中,用時空數(shù)據(jù)庫特有的Geometry字段類型保存每個學校空間上的外輪廓(一般為帶有空間參考信息的一個多邊形),并用其他字段記錄學校的名稱、占地面積、創(chuàng)立時間等信息。空間數(shù)據(jù)一般根據(jù)對現(xiàn)實事物空間表達方法的不同,進一步區(qū)分為幾何空間數(shù)據(jù)、柵格空間數(shù)據(jù)、網(wǎng)格空間數(shù)據(jù)等不同模態(tài)結構,需要根據(jù)不同應用場景做出合理選擇。
時空數(shù)據(jù)(Spatio-temporal Data)是在空間數(shù)據(jù)的基礎上,進一步考慮事物或現(xiàn)象隨時間的變化情況,從而構成時空動態(tài)數(shù)據(jù)。人、車、船、飛行器等移動對象(Moving Object)數(shù)據(jù)是最典型的時空數(shù)據(jù)。這類時空數(shù)據(jù)一般需要在數(shù)據(jù)庫中記錄移動對象所經(jīng)過的一系列時空位置(經(jīng)緯度坐標+時間)以及與位置相關聯(lián)的各類屬性信息或監(jiān)測信息。例如,記錄所有共享單車的行程信息,每個行程(從起始地到目的地)保存為數(shù)據(jù)庫中的一行,其中,用時空數(shù)據(jù)庫特有的Trajectory字段類型保存每個行程所經(jīng)過的一系列軌跡點,并在每一軌跡點上關聯(lián)記錄車輛行進速度、方向等監(jiān)測項。
從不嚴格意義上來講,時空數(shù)據(jù)是空間數(shù)據(jù)的超集。本手冊在沒有嚴格界定的上下文環(huán)境下,把空間數(shù)據(jù)統(tǒng)一稱為時空數(shù)據(jù),Ganos也統(tǒng)一命名為時空數(shù)據(jù)庫引擎。
時空數(shù)據(jù)管理面臨的挑戰(zhàn)
Ganos解決什么問題
Ganos為數(shù)據(jù)庫構建了面向新型時空多模多態(tài)數(shù)據(jù)的一體化表達、存儲、查詢、分析與渲染支撐能力,解決了以往時空大數(shù)據(jù)使用流程復雜、使用門檻高、應用效率低等問題,可廣泛應用于城市管理、交通物流、共享出行、自然資源、航空航天、物聯(lián)信息等領域。
定價
目前PolarDB PostgreSQL版數(shù)據(jù)庫產(chǎn)品自帶Ganos組件,免費進行使用。
功能框架
Ganos為數(shù)據(jù)庫提供了面向新型時空多模多態(tài)數(shù)據(jù)的一體化表達、存儲、查詢、分析與渲染支撐能力。
核心組件
幾何引擎
幾何引擎主要提供點、線、面、體等矢量數(shù)據(jù)的存儲與計算能力,支持shp、geojson、wkb/wkt等多種幾何數(shù)據(jù)源格式數(shù)據(jù)的入庫。Ganos幾何引擎全面兼容PostGIS函數(shù)接口,在空間數(shù)據(jù)緩存、空間索引、空間并行計算等方面具有獨特的優(yōu)勢,大規(guī)模矢量數(shù)據(jù)查詢分析性能有5倍以上提升。
柵格引擎
柵格引擎主要提供遙感影像、數(shù)字高程模型(DEM)、格點數(shù)據(jù)的存儲與計算能力,兼容支持Tiff、HDF4、HDF5、GRIB、NetCDF等多種柵格數(shù)據(jù)源格式。Ganos柵格引擎提供面向對象的存儲能力,單行可保存超過1 TB的超大對象,并支持基于OSS的柵格數(shù)據(jù)湖擴展能力,同時柵格引擎還提供了柵格空間關系判斷、柵格金字塔、柵格統(tǒng)計、柵格屬性、柵格圖像處理、柵格代數(shù)等多種基礎算子及勻色、鑲嵌、DEM算法、D8匯水算法等業(yè)務算法,在大規(guī)模柵格數(shù)據(jù)存儲計算場景下有十分明顯的優(yōu)勢。
移動對象引擎
移動對象引擎主要提供人、車、船、飛行器等移動對象數(shù)據(jù)的存儲與計算能力。Ganos移動對象引擎提供針對4D軌跡(二維/三維空間 + 時間)的原生存儲、索引與分段優(yōu)化,支持為每個軌跡點添加自定義屬性,支持定義時空事件,支持百億級軌跡點高效壓縮與重采樣,支持軌跡分段、軌跡駐點、軌跡相似度、時空關系判斷等各類數(shù)據(jù)庫原生時空算子。
地理網(wǎng)格引擎
地理網(wǎng)格引擎主要提供空間網(wǎng)格構建與二三維空間對象網(wǎng)格賦碼、查詢能力。Ganos地理網(wǎng)格引擎支持GeoSOT、H3等多種網(wǎng)格剖分規(guī)則,支持空間對象編碼,支持對象、編碼互查操作,支持基于空間網(wǎng)格的聚合與分析能力,支持網(wǎng)格退化能力。
表面模型引擎
表面模型引擎主要提供以表面網(wǎng)格(Surface Mesh)描述的語義化三維數(shù)據(jù)的存儲與計算能力。Ganos表面模型引擎可用于處理建筑信息模型(BIM)數(shù)據(jù),可將模型按語義解構并結構化管理,支持復雜三維空間分析與大規(guī)模聯(lián)合檢索,支持模型簡化算法并可與主流前端三維渲染引擎對接。
體模型引擎
體模型引擎主要提供以非勻質體網(wǎng)格(Volumn Mesh)表征的各向異性數(shù)據(jù)的存儲與計算能力。Ganos體模型引擎可用于處理復雜地質體數(shù)據(jù),支持網(wǎng)格在地層邊界處截斷,支持業(yè)務插值算法,支持復雜空間分析與大規(guī)模聯(lián)合檢索,支持模型簡化算法并可與主流前端三維渲染引擎對接。
體模型引擎當前為邀測階段,如需使用,請聯(lián)系我們。
實景模型引擎
實景模型引擎主要提供精細化渲染模型的存儲與計算能力。Ganos實景模型引擎可支持osgb、gltf/glb、obj等多種格式模型導入,支持空間裁剪、合并等算法,支持紋理裁剪、簡化等算法,支持模型簡化算法并可與主流前端三維渲染引擎對接,支持庫內進行精準可視域、陰影率分析等。
點云引擎
點云引擎主要提供激光雷達采集的海量點云數(shù)據(jù)的存儲與計算能力。Ganos點云引擎支持庫內分塊空間索引,支持點云壓損,支持點云空間查詢與計算,支持點云抽稀簡化并可與主流前端三維渲染引擎對接。
路徑引擎
路徑引擎主要提供管網(wǎng)、路網(wǎng)等點邊描述的拓撲圖數(shù)據(jù)的存儲與計算能力。Ganos路徑引擎支持基于點、邊模型構建網(wǎng)絡拓撲,支持TSP、K最短、轉彎限制、雙向Dijkstra等多種尋路算法。
快顯引擎
快顯引擎主要提供Ganos全空間數(shù)據(jù)的快速渲染支撐能力。針對矢量、柵格數(shù)據(jù),快顯引擎根據(jù)空間特性進行逐級聚合,并采用可見性剔除算法,以不切片的方式構建快顯索引支持渲染,且索引支持局部更新;針對各類三維數(shù)據(jù),快顯引擎通過模型簡化、紋理壓縮、數(shù)據(jù)縫合等方式,構建三維模型的渲染層級,并動態(tài)生成渲染引擎可識別格式進行展示。快顯引擎改變了傳統(tǒng)預切片的展示方式,提供視算一體的能力保證數(shù)據(jù)現(xiàn)勢性。
端到端能力
Atlas是Ganos與阿里云數(shù)據(jù)可視化DataV團隊聯(lián)合打造的輕量級時空數(shù)據(jù)分析與可視化產(chǎn)品,幫助互聯(lián)網(wǎng)客戶快速發(fā)掘時空數(shù)據(jù)的價值,支撐商業(yè)位置決策、科學研究等領域應用,也可自由集成至用戶自身的時空應用中。Atlas定位于快速解決大規(guī)模時空數(shù)據(jù)分析、可視化、成果分享問題,提供以下核心能力:
能夠對大規(guī)模時空數(shù)據(jù)進行圖形化預覽能力。
能夠通過SQL語句進行Ganos內時空數(shù)據(jù)的可視化分析。
通過點、線、面、柵格、網(wǎng)格等多種圖元進行時空數(shù)據(jù)的多樣化表達。
Atlas將所有時空計算全部下推到Ganos執(zhí)行,保證了時空計算的最大效率,通過Ganos動態(tài)快顯技術與前端對接,實現(xiàn)各類時空數(shù)據(jù)的繪制能力,真正實現(xiàn)任意SQL快速上圖。目前Atlas除了支持各類時空數(shù)據(jù)的直接預覽,也可以繪制氣象云圖、軌跡密度圖、網(wǎng)格聚合圖等業(yè)務地圖,并以“作品”的形式分享給其他人講述自己的“地圖故事”。
Atlas為數(shù)據(jù)庫產(chǎn)品之外的獨立產(chǎn)品,詳情請參見Atlas產(chǎn)品介紹。
優(yōu)勢
一庫統(tǒng)管
原生支持豐富的時空多模多態(tài)數(shù)據(jù)類型
Ganos原生支持幾何、柵格、軌跡、地理網(wǎng)格等不同數(shù)據(jù)類型、存儲結構和函數(shù)計算能力,可替代“多種數(shù)據(jù)類型,多種存儲方式”的傳統(tǒng)技術框架,提供僅用一種數(shù)據(jù)庫即可進行全量時空數(shù)據(jù)統(tǒng)一管理的能力,降低了業(yè)務復雜度與運維成本。
嚴格遵循OpenGIS標準規(guī)范,完全兼容PostGIS語法
Ganos支持已有PostGIS幾何應用的透明遷移;支持2D/3D/4D坐標空間;支持創(chuàng)建2-D/n-D空間索引;支持平面與球面計算,空間計算精度自由可控。在多種常見時空查詢條件下,Ganos相較于PostGIS均有5倍以上性能提升。
強大、靈活、易用的專業(yè)化柵格數(shù)據(jù)管理
Ganos支持HDF4、HDF5、GRIB、NC等多種柵格數(shù)據(jù)入庫;支持基于OSS的透明化查詢處理;支持單行超過TB級的柵格大對象管理,并行操作提供10倍以上性能提升;支持多種柵格基礎算子;支持影像鑲嵌、裁剪、勻色、DEM處理等業(yè)務算法。
存儲、計算、渲染一體化三維數(shù)據(jù)管理
Ganos支持常見的三維模型數(shù)據(jù)類型導入,如ifc(BIM)、glft、glb、obj、osgb、三維地質模型等,入庫后可開展復雜的三維空間分析與三維查詢,并基于Ganos快顯引擎提供非預制切片渲染能力,基于Ganos的三維數(shù)據(jù)計算效率比傳統(tǒng)方案提升50倍以上。
多元地理網(wǎng)格剖分編碼聚合能力
Ganos支持GeoSOT、H3等多種網(wǎng)格剖分與編碼方法,可針對億級二三維空間對象迅速基于網(wǎng)格打碼,基于網(wǎng)格碼進行實時聚合查詢,并可對接Ganos的動態(tài)MVT快顯技術開展聚合屬性的高效渲染。
海量移動對象軌跡管理與可視化
Ganos支持人、車、船、飛行器等各類移動對象在高達時空四維環(huán)境中軌跡管理,支持軌跡、事件、多態(tài)屬性復合存儲及壓縮、分段、相似性判斷、駐點判斷等復雜計算,原生軌跡模型比傳統(tǒng)點模型在時空分析場景有近50~100倍性能提升。
全空間數(shù)據(jù)多態(tài)分層存儲
Ganos支持PolarDB PostgreSQL版數(shù)據(jù)庫構建了全空間數(shù)據(jù)多態(tài)分層存儲能力,即數(shù)據(jù)庫不但支持塊存儲,還可以將更為廉價的對象存儲(OSS)作為數(shù)據(jù)庫存儲介質直接使用。用戶可以將分區(qū)表中的任意分區(qū)放在對象存儲上,也可以將表中的時空大對象列放置在對象存儲上,對象存儲同樣支持數(shù)據(jù)庫的增刪改查索引等操作,通過多級緩存保證性能,對客戶而言全面透明化。多態(tài)分層存儲可極大支持客戶降低存儲成本,同時又滿足對數(shù)據(jù)的操作需求。
計算下推
與傳統(tǒng)時空中間件技術方案不同的是,Ganos支持將業(yè)務關鍵計算下推數(shù)據(jù)庫平臺中,讓計算離數(shù)據(jù)更近,可以充分利用數(shù)據(jù)庫各項處理能力實現(xiàn)數(shù)據(jù)本地高效計算,不但能降低因大量中間結果數(shù)據(jù)網(wǎng)絡傳輸導致的IO延遲,也能簡化業(yè)務邏輯并大幅提升業(yè)務系統(tǒng)性能。
海量算子支持各類時空分析處理業(yè)務
Ganos支持大量豐富的空間分析算子,包括導入導出、類型轉換、屬性處理、空間關系判斷、空間計算、空間處理、業(yè)務分析等,用戶可以基于這些算子獨立構建更為復雜的業(yè)務算法。經(jīng)多個客戶實踐,這樣基于下推的Ganos算子構建出的業(yè)務算法往往都會有數(shù)量級的效率提升。
時空彈性并行查詢
Ganos支持依托PolarDB彈性并行能力(ePQ)進行時空查詢,ePQ支持跨機并行,它可以將充分利用數(shù)據(jù)庫的只讀節(jié)點參與到復雜分析型查詢中,從而提升查詢效率。相較于單機數(shù)據(jù)庫并行查詢,ePQ在22項各類查詢中,19條查詢加速10倍以上,3條查詢加速60倍以上,并且性能隨資源擴展線性提升。
時空事務分析一體化(HTAP)
Ganos協(xié)同PolarDB PostgreSQL版與AnalyticDB PostgreSQL版數(shù)據(jù)庫,構建了面向時空領域的事務分析一體化(HTAP)能力,Ganos不僅可以直接支持兩種數(shù)據(jù)庫產(chǎn)品,也可以在事務數(shù)據(jù)庫PolarDB PostgreSQL版上增掛AnalyticDB PostgreSQL版分析節(jié)點,利用HTAP實現(xiàn)事務節(jié)點與分析節(jié)點上時空數(shù)據(jù)無縫同步與功能打通。
視算一體
Ganos構建了二、三維免切片訪問的快顯引擎,可以對時空數(shù)據(jù)所表征的實體進行基于一套數(shù)據(jù)的高效檢索與可視化表達,替代了傳統(tǒng)技術棧“文件存、數(shù)據(jù)庫算、瓦片看”的復雜方式,以視算一體的技術支持各類空間查詢、時空查詢、面向場景查詢以及跨模融合查詢等業(yè)務應用。
快顯索引
Ganos基于可見性剔除算法構建了稀疏金字塔索引支持億級規(guī)模多邊形地物可視化秒級訪問,支持億級快顯索引的分鐘級并行更新。
MVT增強
Ganos針對任意時空查詢結果可視化,提供了PostGIS MVT增強能力,支持全局重采樣等加速算法,支持以更快速度、更小體量動態(tài)生成矢量二維/三維數(shù)據(jù)瓦片。
三維免預切渲染
Ganos針對三維數(shù)據(jù)提供庫內簡化、紋理重組、數(shù)據(jù)縫合、LOD構建等多種能力,并支持動態(tài)生成三維瓦片對接渲染引擎。
聯(lián)系我們
歡迎使用釘釘掃碼加入「Ganos時空云計算」官方支持群,將會有專業(yè)的技術支持人員在線答疑。 如果業(yè)務復雜,您也可以購買支持計劃,獲取由IM企業(yè)群、技術服務經(jīng)理(TAM)、服務經(jīng)理等提供的專屬支持。