什么是推薦系統(tǒng)開(kāi)發(fā)平臺(tái)PAI-Rec
推薦系統(tǒng)開(kāi)發(fā)平臺(tái)PAI-Rec（PAI意為Platform of AI，Rec意為Recommendation）提供了推薦系統(tǒng)全鏈路的深度定制能力，適用于企業(yè)開(kāi)發(fā)者自主搭建、開(kāi)發(fā)、迭代和運(yùn)維一套推薦系統(tǒng)。
概述
推薦系統(tǒng)構(gòu)建是一項(xiàng)復(fù)雜的系統(tǒng)化工程，它涵蓋了離線(xiàn)處理、在線(xiàn)服務(wù)、實(shí)時(shí)數(shù)據(jù)流轉(zhuǎn)以及工程架構(gòu)等多個(gè)維度，在功能模塊上，細(xì)分為召回、排序、過(guò)濾和重排等模塊。PAI-Rec的推薦模塊和鏈路均依托于阿里云飛天大數(shù)據(jù)架構(gòu)，開(kāi)發(fā)者可結(jié)合企業(yè)技術(shù)棧、開(kāi)發(fā)習(xí)慣等靈活選型，并對(duì)推薦鏈路的代碼進(jìn)行自定義開(kāi)發(fā)。同時(shí)，PAI-Rec提供多種數(shù)據(jù)診斷分析、推薦結(jié)果調(diào)試、引擎發(fā)布管理等各種工具，通過(guò)A/B testing服務(wù)和實(shí)驗(yàn)報(bào)表平臺(tái)，幫助客戶(hù)大幅提升推薦系統(tǒng)迭代效率。
PAI-Rec可以從客戶(hù)埋點(diǎn)的日志開(kāi)始做數(shù)據(jù)分析，根據(jù)業(yè)務(wù)定制出特征工程、召回、排序的算法代碼，引擎的配置文件，實(shí)驗(yàn)報(bào)表指標(biāo)和統(tǒng)計(jì)代碼。幫助客戶(hù)輕松的搭建推薦系統(tǒng)，完善推薦場(chǎng)景，縮短推薦業(yè)務(wù)的建設(shè)和優(yōu)化的周期。不管客戶(hù)是從0到1建設(shè)推薦系統(tǒng)，還是已有推薦系統(tǒng)遇到效果優(yōu)化的瓶頸，都可以基于該平臺(tái)開(kāi)展工作。
PAI-Rec的白盒化開(kāi)發(fā)模式，為開(kāi)發(fā)者帶來(lái)更加透明、可控、靈活的開(kāi)發(fā)體驗(yàn)。除此之外，如果企業(yè)推薦算法、工程團(tuán)隊(duì)建設(shè)相對(duì)年輕，建議對(duì)接初期，采用阿里算法團(tuán)隊(duì)基于行業(yè)定制的算法模型來(lái)啟動(dòng)服務(wù)，一方面可輔助企業(yè)在短期內(nèi)完成完整推薦系統(tǒng)的部署，另一方面可助力企業(yè)開(kāi)發(fā)者快速上手、自主完成模型訓(xùn)練、效果評(píng)估等。如果需要阿里側(cè)工程師提供深度的調(diào)優(yōu)定制、調(diào)優(yōu)經(jīng)驗(yàn)分享等，也可通過(guò)商務(wù)洽談溝通開(kāi)展深入合作。
同時(shí)，PAI-Rec還提供冷啟動(dòng)、流量調(diào)控、在線(xiàn)學(xué)習(xí)等多種產(chǎn)品功能，由于方案相對(duì)比較復(fù)雜，如果您有相關(guān)業(yè)務(wù)需求，請(qǐng)聯(lián)系您的商務(wù)經(jīng)理或阿里云技術(shù)團(tuán)隊(duì)。
更多詳情，請(qǐng)前往PAI-Rec官網(wǎng)查看。
開(kāi)發(fā)流程
?
產(chǎn)品優(yōu)勢(shì)
PAI-Rec在建設(shè)推薦系統(tǒng)方面的優(yōu)勢(shì)包括：
高度透明的白盒化設(shè)計(jì)
提供豐富的源代碼，幫助用戶(hù)理解推薦算法細(xì)節(jié)，實(shí)現(xiàn)根據(jù)具體業(yè)務(wù)需求靈活定制代碼。
其中，源代碼包括：數(shù)據(jù)特征工程和樣本處理的源代碼、調(diào)用召回/排序模型的腳本代碼、EasyRec召回和排序模型的源代碼，以及PAI-Rec引擎的業(yè)務(wù)源代碼。
便捷的推薦算法定制流程
只需配置用戶(hù)表、物品表、行為表，即可生成召回、排序腳本和配置文件，簡(jiǎn)化了定制化推薦的部署過(guò)程。
全面的引擎與實(shí)驗(yàn)管理系統(tǒng)
提供完整的引擎管理和實(shí)驗(yàn)管理后臺(tái)，用戶(hù)能夠輕松管理召回、排序組件、更新引擎參數(shù)。
精細(xì)的指標(biāo)監(jiān)控與報(bào)告功能
提供指標(biāo)和報(bào)表管理后臺(tái)，用戶(hù)可自定義指標(biāo)，按天或按小時(shí)跟蹤實(shí)驗(yàn)表現(xiàn)，確保對(duì)推薦效果的精準(zhǔn)把控與及時(shí)反饋。
離在線(xiàn)特征一致性保障機(jī)制
提供專(zhuān)門(mén)的工具進(jìn)行離線(xiàn)與在線(xiàn)特征的一致性比對(duì)，有效預(yù)防因數(shù)據(jù)不一致引發(fā)的實(shí)驗(yàn)偏差。
智能化的數(shù)據(jù)診斷與分析
提供數(shù)據(jù)智能診斷工具，幫助開(kāi)發(fā)者快速理解數(shù)據(jù)，根據(jù)結(jié)果數(shù)據(jù)選擇特征和特征工程的時(shí)間窗。
直觀的推薦結(jié)果觀測(cè)工具集
提供多種診斷工具，幫助用戶(hù)可視化觀察推薦結(jié)果和召回?cái)?shù)據(jù)。
強(qiáng)大的特征管理輔助
配合特征平臺(tái)管理工具，能夠更好地管理特征，提高實(shí)驗(yàn)效率。
全方位的技術(shù)服務(wù)支持
提供多種技術(shù)服務(wù)，幫助用戶(hù)快速上手解決方案。
依賴(lài)云產(chǎn)品
PAI-Rec使用PAI-EasyRec訓(xùn)練召回和排序模型，使用Go語(yǔ)言的PAI-Rec引擎搭建推薦系統(tǒng)；通過(guò)DataWorks或者PAI-Designer編輯和調(diào)度特征工程、樣本和模型訓(xùn)練的代碼；使用BE/GraphCompute/hologres存儲(chǔ)用戶(hù)特征、i2i查詢(xún)、向量查詢(xún)；使用PAI-EAS提供可彈性擴(kuò)縮容的打分服務(wù)。具體說(shuō)明如下：
人工智能平臺(tái)PAI是面向開(kāi)發(fā)者和企業(yè)的機(jī)器學(xué)習(xí)/深度學(xué)習(xí)工程平臺(tái)，提供包含數(shù)據(jù)標(biāo)注、模型構(gòu)建、模型訓(xùn)練、模型部署、推理優(yōu)化在內(nèi)的AI開(kāi)發(fā)全鏈路服務(wù)。
EasyRec算法框架內(nèi)置了業(yè)界先進(jìn)的深度學(xué)習(xí)模型，支持多種Tensorflow版本（>=1.12, <=2.4, PAI-TF)，覆蓋了推薦全鏈路的需求，包括召回、粗排、排序、重排、多目標(biāo)、冷啟動(dòng)等。開(kāi)發(fā)者可基于EasyRec算法框架加速迭代推薦全鏈路需求。
大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)DataWorks和云原生大數(shù)據(jù)計(jì)算服務(wù)MaxCompute是基于云原生的兩款大數(shù)據(jù)服務(wù)，可搭配使用，針對(duì)推薦系統(tǒng)中特征處理、樣本生成、畫(huà)像管理、模型調(diào)度、數(shù)據(jù)更新等環(huán)節(jié)，提供了易用的開(kāi)發(fā)工具和穩(wěn)定的數(shù)據(jù)環(huán)境。
說(shuō)明PAI-Rec目前僅支持DataWorks和MaxCompute，如果您的業(yè)務(wù)確實(shí)需要使用其他大數(shù)據(jù)服務(wù)選型，可能需要您修改相應(yīng)的引擎代碼，請(qǐng)?zhí)崆芭c架構(gòu)師溝通方案。
實(shí)時(shí)數(shù)倉(cāng)Hologres是阿里巴巴自主研發(fā)的一站式實(shí)時(shí)數(shù)倉(cāng)引擎（Real-Time Data Warehouse），支持海量數(shù)據(jù)實(shí)時(shí)寫(xiě)入、實(shí)時(shí)更新、實(shí)時(shí)加工、實(shí)時(shí)分析，支持標(biāo)準(zhǔn)SQL（兼容PostgreSQL協(xié)議和語(yǔ)法，支持大部分PostgreSQL函數(shù)），支持PB級(jí)數(shù)據(jù)多維分析（OLAP）與即席分析（Ad Hoc），支持高并發(fā)低延遲的在線(xiàn)數(shù)據(jù)服務(wù)（Serving），支持多種負(fù)載的細(xì)粒度隔離與企業(yè)級(jí)安全能力，與MaxCompute、Flink、DataWorks深度融合，提供企業(yè)級(jí)離在線(xiàn)一體化全棧數(shù)倉(cāng)解決方案。
可以使用Hologres存儲(chǔ)用戶(hù)實(shí)時(shí)行為序列和用戶(hù)特征、推薦召回?cái)?shù)據(jù)，使用Hologres提供的向量召回功能等。
圖計(jì)算服務(wù)Graph Compute是阿里云自主研發(fā)的高性能分布式圖計(jì)算產(chǎn)品，為開(kāi)發(fā)者提供萬(wàn)億級(jí)數(shù)據(jù)規(guī)模的一站式圖技術(shù)服務(wù)。Graph Compute支持復(fù)雜圖關(guān)系數(shù)據(jù)的存儲(chǔ)、查詢(xún)和計(jì)算，高效對(duì)接圖算法與模型，在搜索推薦廣告、實(shí)時(shí)風(fēng)控、知識(shí)圖譜、社交網(wǎng)絡(luò)等場(chǎng)景有著廣泛的應(yīng)用。