數據服務(OneService)是基于Dataphin建設數據中臺的最后一步。數據服務作為統一的數據服務出口,實現了數據的統一市場化管理,有效地降低數據開放門檻的同時,保障了數據開放的安全。
前提條件
已購買數據服務增值服務,開通Dataphin
功能說明
因Dataphin數據源功能已下線,您可以使用Dataphin JDBC Driver的功能進行替代,詳情請參見。
常見數據應用問題
一般從需求提出到需求交付需要經歷的過程為:需求提出 > 需求分析 > 產品設計開發文檔 > 開發人員進行開發 > 功能測試 > 功能上線 > 需求交付,整個過程需要安排迭代、開發、測試,時間周期約為兩周,開發的接口針對性強,大多只能滿足個別的業務分析需求。接口開發完成后,無法在線上監控數據接口的使用情況,當業務分析有調整后,需要重新提交需求,安排迭代開發。這就造成在數據應用存在以下問題:
數據開發周期長,響應慢:需要按迭代排期實現,數據使用門檻高不能隨時使用。
煙囪式開發:開發成本高,復用性低,為每個需求提供對應的數據接口。
數據安全和查詢性能無法保障:在數據接口開發時往往只考慮數據的獲取性,數據資源訪問安全性和數據訪問的穩定性考慮少。
維護成本高:缺乏線上平臺化管理,異常情況無法監控告警,線上業務問題暴露后再排查代碼修復上線。
數據服務價值
為了解決常見的數據應用問題,在數據服務體系下,開發人員開發數據服務時,提供簡易向導和靈活腳本兩種模式,從而降低開發門檻、提高開發效率、統一代碼質量,方便管理變更;業務人員應用數據服務時,提供安全、穩定的數據資源訪問,避免敏感數據在應用側的暴露。同時,支持數據服務的運維監控和告警,便于開發運維人員根據異常數據或告警通知,及時發現并修正問題。數據服務產品價值能力,概括為以下兩點:
數據服務創建能力:
支持將單個物理表或多個物理表進行關聯形成一張邏輯表,后續開發可以基于該邏輯表創建API。
支持向導模式和腳本模式創建:簡單的查詢可以通過向導模式創建API;聯表、查詢條件復雜、數據處理邏輯復雜的,可以通過腳本自定義查詢SQL創建API。
數據服務管理和運維能力:
支持草稿態、開發態、生產態隔離:開發態測試查詢開發環境的數據,生產態調試查詢生產環境數據。
支持鑒權、資產轉交等服務管理能力:服務調用申請,數據查詢鑒權,資產負責人轉交。
支持服務超時、失敗、限流等告警配置:實現釘釘機器人、郵件、短信、電話告警通知。
服務調用異常統計監控:查看調用異常的服務和應用、調用趨勢。
服務調用日志明細查詢;查看詳細的異常報錯信息、具體執行SQL內容等。
數據服務優勢
統一接口標準: 提供統一的數據接口標準和服務元信息,規范接口開發,減少下游應用對接工作量,提升數據接入效率低。
數據安全與合規保障 :減少明細、敏感數據在應用側的存儲和暴露。使用統一平臺數據安全管控策略,通過API申請調用、鑒權控流、白名單等手段,降低數據安全管控成本。
運維監控:支持對數據服務調用統計、調用日志明細信息查詢,為運維人員和開發人員排查問題,及時發現并修正數據服務的調用異常。
您可以通過數據服務平臺來創建數據服務接口、調用服務、運維服務,管理服務的全生命周期。在平臺系統上進行簡單配置,便可自動生產和部署數據服務,從而提升效率。
功能介紹
數據服務支持基于業務數據源的物理表或Dataphin生成的邏輯表創建服務項目分組,以滿足不同場景的業務訴求。后續應用就可以調用API。同時數據服務支持運維監控API,便于您及時發現并處理調用API的異常情況。
數據服務支持讀取物理表的數據源類型,請參見Dataphin支持的數據源。
應用場景
數據服務的典型應用場景如下:
建立企業的API生態,例如開放API給合作伙伴、開發者等,幫助企業實現數據的資產化和價值化。
Dataphin數據源可以作為Quick BI的數據源,對業務數據進行展示、分析、探查和制作報表等
場景及使用流程
在開始使用數據服務前,需要您了解數據服務的使用場景,及在不同場景下對應角色的操作流程。
入口介紹
在Dataphin首頁,選擇頂部菜單欄的服務,系統默認進入市場頁面。