背景信息

隨著數(shù)據(jù)的累積，數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用（例如：搜索、推薦和問(wèn)答）已經(jīng)越來(lái)越廣泛地被用于各種場(chǎng)景中。在過(guò)去幾年，數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用已經(jīng)逐漸從基于簡(jiǎn)單的數(shù)據(jù)分析和統(tǒng)計(jì)轉(zhuǎn)型為基于機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的特征和模型應(yīng)用。轉(zhuǎn)型的速度遠(yuǎn)遠(yuǎn)超出預(yù)期，部分原因是機(jī)器學(xué)習(xí)和人工智能方面的技術(shù)突破。深度神經(jīng)網(wǎng)絡(luò)在圖像分析和自然語(yǔ)言處理等學(xué)科中取得了前所未有的進(jìn)步。強(qiáng)化學(xué)習(xí)成為補(bǔ)充傳統(tǒng)監(jiān)督學(xué)習(xí)的強(qiáng)大范式。

然而，在目前的數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用中，數(shù)據(jù)、特征和模型仍處于割裂狀態(tài)。首先，數(shù)據(jù)工程師通過(guò)手工編寫流程進(jìn)行數(shù)據(jù)清洗和數(shù)據(jù)集成；然后，算法工程師通過(guò)自定義的特征工程流程、模型創(chuàng)建腳本以及定時(shí)任務(wù)腳本進(jìn)行周期性的生產(chǎn)特征和模型；最后，開發(fā)工程師負(fù)責(zé)模型的上線、穩(wěn)定性保證和監(jiān)控運(yùn)維。這就導(dǎo)致了不同系統(tǒng)之間會(huì)進(jìn)行數(shù)據(jù)遷移，同一份數(shù)據(jù)可能在不同源之間冗余，進(jìn)而出現(xiàn)數(shù)據(jù)不一致的問(wèn)題，以及特征難管理、模型難升級(jí)等困境。除此之外，數(shù)據(jù)工程師、算法工程師和開發(fā)工程師的人力成本也是當(dāng)前數(shù)據(jù)驅(qū)動(dòng)的智能決策應(yīng)用難以大規(guī)模落地的一個(gè)阻礙。

事實(shí)上，鑒于數(shù)據(jù)庫(kù)研究在數(shù)據(jù)發(fā)現(xiàn)、數(shù)據(jù)管理、版本控制、數(shù)據(jù)清理和數(shù)據(jù)集成方面積累的專業(yè)知識(shí)，PolarDB for AI可以為數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用提供一站式的數(shù)據(jù)（包括：數(shù)據(jù)、特征和模型）服務(wù)來(lái)解決這種割裂狀態(tài)，大大減少數(shù)據(jù)驅(qū)動(dòng)的智能決策開發(fā)過(guò)程中的人力成本，從而走出當(dāng)前的困境。

簡(jiǎn)介

PolarDB for AI是基于PolarDB MySQL版的一個(gè)數(shù)據(jù)庫(kù)內(nèi)的分布式機(jī)器學(xué)習(xí)組件。其基于云原生的體系架構(gòu)，通過(guò)SQL語(yǔ)句的方式提供了支持機(jī)器學(xué)習(xí)的一系列MLOps，包括：創(chuàng)建模型、查看模型狀態(tài)、查看模型列表、模型評(píng)估和模型推理等能力；同時(shí)提供了一系列內(nèi)置的機(jī)器學(xué)習(xí)和人工智能算法，包括：分類算法、回歸算法和聚類算法等。基于MLOps和內(nèi)置的模型，PolarDB for AI為數(shù)據(jù)驅(qū)動(dòng)的智能應(yīng)用提供了高效、可靠、方便的數(shù)據(jù)智能能力，打破了數(shù)據(jù)庫(kù)和業(yè)務(wù)應(yīng)用之間的系統(tǒng)墻，提供了基于數(shù)據(jù)庫(kù)數(shù)據(jù)智能的一站式服務(wù)。

版本要求

若要使用PolarDB for AI功能，PolarDB MySQL版集群需滿足如下要求：

• 產(chǎn)品版本為企業(yè)版，系列為集群版。

• 內(nèi)核引擎版本需為8.0.1及以上。

• 數(shù)據(jù)庫(kù)代理版本（Proxy）需為2.7.5及以上。

費(fèi)用

PolarDB for AI只收取AI節(jié)點(diǎn)的費(fèi)用。普通AI節(jié)點(diǎn)按照普通的計(jì)算節(jié)點(diǎn)收費(fèi)，其規(guī)格詳情與價(jià)格請(qǐng)參見計(jì)算節(jié)點(diǎn)規(guī)格和計(jì)算節(jié)點(diǎn)價(jià)格。

技術(shù)架構(gòu)

PolarDB for AI通過(guò)數(shù)據(jù)庫(kù)代理進(jìn)行SQL路由，含有/*polar4ai*/的SQL語(yǔ)句會(huì)被分發(fā)到具有AI能力的集群上進(jìn)行計(jì)算，計(jì)算的返回結(jié)果和普通的SQL返回結(jié)果遵循同樣的協(xié)議。所以，您可以連接數(shù)據(jù)庫(kù)集群并執(zhí)行帶有/*polar4ai*/的SQL語(yǔ)句來(lái)使用該功能。其架構(gòu)圖如下所示：

除普通集群具有的存儲(chǔ)功能和計(jì)算功能之外，PolarDB for AI還具有三層結(jié)構(gòu)，分別是接入層、特征層及模型層。其中：

• 接入層：負(fù)責(zé)處理SQL語(yǔ)句，包括SQL解析、SQL校驗(yàn)、代價(jià)估算和生成執(zhí)行計(jì)劃等，并優(yōu)化為可執(zhí)行的SQL語(yǔ)句節(jié)點(diǎn)樹。

• 特征層：負(fù)責(zé)處理從數(shù)據(jù)轉(zhuǎn)換為特征的工作，包括數(shù)據(jù)接入、特征生成、數(shù)據(jù)同步和特征更新。

• 模型層：負(fù)責(zé)處理模型相關(guān)的MLOps能力，包括模型創(chuàng)建、模型評(píng)估、模型推理和模型管理。

適用場(chǎng)景

如下圖所示，PolarDB for AI將傳統(tǒng)的DB+AI的數(shù)據(jù)智能應(yīng)用轉(zhuǎn)變?yōu)橐徽臼綌?shù)據(jù)智能應(yīng)用，從數(shù)據(jù)庫(kù)服務(wù)于傳統(tǒng)的數(shù)據(jù)工程師和算法工程師轉(zhuǎn)變?yōu)?span data-tag="ph" id="codeph-gcu-lk7-twl" class="ph">DB+AI服務(wù)于業(yè)務(wù)工程師，直接與業(yè)務(wù)系統(tǒng)對(duì)接。

PolarDB for AI可用于如下行業(yè)場(chǎng)景：

• ID-Mapping

  ID-Mapping通常適用于平臺(tái)性的客戶，如游戲和電商等。以游戲平臺(tái)為例，某些游戲平臺(tái)中的同一個(gè)用戶可能會(huì)有多個(gè)游戲賬號(hào)，這些賬號(hào)散落在各種游戲或平臺(tái)本身的數(shù)據(jù)庫(kù)中，并沒有對(duì)賬號(hào)進(jìn)行融合。基礎(chǔ)數(shù)據(jù)建設(shè)不完善會(huì)帶來(lái)各種問(wèn)題，例如做精準(zhǔn)營(yíng)銷時(shí)不能精準(zhǔn)定位同一個(gè)用戶，導(dǎo)致流量在跨渠道使用時(shí)效率較低。采用機(jī)器學(xué)習(xí)模型則會(huì)將賬號(hào)統(tǒng)一，不但提高了基礎(chǔ)數(shù)據(jù)質(zhì)量，而且還為上游業(yè)務(wù)提供了優(yōu)質(zhì)的數(shù)據(jù)。

• 問(wèn)答機(jī)器人

  問(wèn)答機(jī)器人基于數(shù)據(jù)庫(kù)中的內(nèi)容。根據(jù)用戶的業(yè)務(wù)場(chǎng)景，結(jié)合AI能力（對(duì)話控制、機(jī)器學(xué)習(xí)、自然語(yǔ)言理解等），打造適合企業(yè)的對(duì)話服務(wù)。問(wèn)答機(jī)器人可以實(shí)現(xiàn)7×24小時(shí)在線服務(wù)，能幫助企業(yè)接待更多客戶、提升客戶滿意度、提高工作效率和降低運(yùn)營(yíng)成本。是企業(yè)進(jìn)行在線咨詢、在線營(yíng)銷和在線服務(wù)的好幫手。

• 搜索推薦

  在傳統(tǒng)的數(shù)據(jù)庫(kù)中，用戶的搜索能力通常基于數(shù)據(jù)庫(kù)固有的全文檢索能力，不支持自然語(yǔ)言類的檢索需求（如語(yǔ)義檢索、同義詞匹配等）。采用PolarDB for AI中成熟的搜索解決方案，可以大幅度提升搜索的精確性。

  基于PolarDB for AI的智能推薦算法和知識(shí)圖譜技術(shù)，再結(jié)合阿里巴巴電商策略，為企業(yè)提供貫穿推薦能力的一站式服務(wù)，助力企業(yè)快速過(guò)渡冷啟動(dòng)過(guò)程。面向不同的業(yè)務(wù)場(chǎng)景定制個(gè)性化解決方案，持續(xù)提升核心業(yè)務(wù)能力，以實(shí)現(xiàn)業(yè)務(wù)營(yíng)收增長(zhǎng)。

優(yōu)勢(shì)

PolarDB for AI支持PolarDB內(nèi)置的模型創(chuàng)建和模型推理等MLOps，無(wú)縫兼容MySQL語(yǔ)句，提供達(dá)摩院加持的行業(yè)智能算法服務(wù)，避免數(shù)據(jù)在兩個(gè)甚至多個(gè)系統(tǒng)間轉(zhuǎn)換和遷移，從而降低數(shù)據(jù)智能應(yīng)用的開發(fā)成本，加速數(shù)據(jù)價(jià)值業(yè)務(wù)變現(xiàn)。

使用說(shuō)明

• 快速上手PolarDB for AI

  • 開啟PolarDB for AI功能

  • 連接集群并執(zhí)行AI SQL

  • 模型使用流程及說(shuō)明

• 自然語(yǔ)言到SQL語(yǔ)言轉(zhuǎn)義（基于大語(yǔ)言模型的NL2SQL）

• 分詞和向量檢索

• 進(jìn)階使用PolarDB for AI

  • 特征管理

  • 算法介紹

  • 將AI模型推理結(jié)果寫回?cái)?shù)據(jù)庫(kù)

  • Row-oriented AI

• 典型解決方案

  • ID-Mapping在游戲領(lǐng)域的解決方案

  • 通義千問(wèn)大模型數(shù)據(jù)推理和交互

阿里云僅負(fù)責(zé)操作系統(tǒng)以下的底層部分及阿里云提供的軟件的運(yùn)營(yíng)維護(hù)，即服務(wù)的相關(guān)技術(shù)架構(gòu)及阿里云提供的操作系統(tǒng)等。操作系統(tǒng)之上部分（如您在系統(tǒng)上安裝的應(yīng)用程序）由您負(fù)責(zé)，實(shí)例運(yùn)行環(huán)境歸屬于您。此外，您自行升級(jí)操作系統(tǒng)可能會(huì)造成宕機(jī)等不良影響，請(qǐng)把握風(fēng)險(xiǎn)并謹(jǐn)慎操作。

核心算法

• LightGBM算法

• DeepFM算法

• K均值聚類算法（K-Means）

• 隨機(jī)森林回歸算法（Random Forest Regression）

• 梯度提升回歸樹算法（GBRT）

• 梯度提升決策樹算法（GBDT）

• 線性回歸算法（Linear Regression）

• 支持向量回歸算法（SVR）

• IV算法

• Pearson相關(guān)系數(shù)

• 群體穩(wěn)定性指標(biāo)PSI