如何選擇阿里云AI服務
本文為您介紹阿里云提供的AI開發和應用服務,并總結了在使用AI服務前需要考慮的因素,幫助您選擇自己所需的AI服務。
簡介
人工智能是一組強大的技術,可以讓計算機執行各種高級功能,例如分析和理解口語和書面語言、提供建議和幫助等。這項技術是現代計算創新的核心,可以為個人和企業提供巨大的價值。例如,圖像分類技術就是其中之一,它利用人工智能的能力從圖片中識別特征并進行分類,將非結構化的內容轉化為可以被企業直接使用的結構化數據,從而發掘出有價值的數據洞見。
在探討AI時,常常提到 “訓練數據” 的概念。訓練數據是指用于訓練AI系統的數據集合,AI系統基于數據集合進行學習,并不斷地隨著新數據的注入進行迭代和改進。這一過程是機器學習的核心。機器學習是人工智能的一個子集,其算法利用大量的訓練數據進行訓練,從而獲取更加準確和高質量的結果。
其中,生成式人工智能又是機器學習中快速增長的子集,2023年熱門模型和應用ChatGPT、Stable Diffusion等都屬于生成式人工智能領域,它們使用了大模型提供支持,在大量原始數據基礎上對深度學習模型進行預訓練,使得機器能夠更進一步,能夠“理解”語言甚至圖像,并能夠根據需要自動生成內容。
而在這一領域,阿里云提供了能幫助AI開發所需的一系列工具鏈和所需的模型,無論您是模型開發者、模型應用人員、直接使用AI的用戶,您都可以根據自己及企業的具體需求靈活地選擇AI服務。
本文旨在帶領您了解阿里云提供的AI服務結構,幫助您快速選擇合適的AI服務。
了解
阿里云提供了系統的AI開發和應用服務,幫助您及組織更快速、輕松、安全地構建、訓練和部署機器學習模型。這些服務可以解決您業務的難題,如用戶增長分析、圖像語音識別、虛擬數字人構建等等。
阿里云提供完整的技術棧,從服務的層次角度,將AI服務劃分為幾類。
AI應用:阿里云提供AI的具體應用或者模型服務,阿里云根據用戶的具體場景提供已經產品化的服務,您可以直接使用AI應用,如車牌識別、票證識別等。
模型平臺和服務:阿里云提供基礎模型與服務,來支持用戶直接使用API調用服務,也支持使用自身的數據進行低資源的微調(Fine Tune)/提示詞微調(Prompt Tuning),以得到用戶自己的模型。
AI平臺:阿里云提供從數據標注、模型開發,到模型訓練推理,完整的工程能力,還基于大數據平臺能力,提供數據上云、分析、開發及治理等產品化能力,支持用戶一站完成AI模型開發。
此外,阿里云擁有強大基礎設施技術能力和資源池,提供面向AI場景的算力、網絡、存儲等AI基礎設施,支持用戶高效訓練模型和推理。
考慮
我們總結了在使用AI服務前需要考慮的因素,幫助您選擇自己所需的AI服務。
業務需求
在選擇AI服務前,需要明確您的“原始業務需求”是什么,即希望解決什么問題,達成什么目標。例如您希望能夠自動識別圖片中的地址,來減少成本或提升地址識別的效率。這直接影響您是否應該選擇AI服務以及選擇哪種I服務。
確定AI服務能夠滿足且是最優技術方案后,您可以選擇:
直接使用已經產品化的AI應用,可以直接使用,如包含WebUI的通義千問應用,圖像生成的通義萬相應用;也可以通過封裝的API快速調用服務,如通義千問、ChatGPT4等都對外提供API服務。阿里云面向行業、領域提供如智能客服、票據識別、車牌識別、數字人、AI Earth等數十個產品化的AI應用。
構建面向自己領域的模型或者通過API調用模型服務。阿里云同樣提供模型平臺和服務,您可以基于已有的基礎模型,通過阿里云人工智能平臺PAI的工程能力快速完成工程構建,并按需使用基礎資源,訓練并部署AI服務;也可以通過模型平臺(如百煉)提供API,調用已經部署好的模型服務,如業界熱點的大語言模型(LLM) 服務。
如果您希望從零訓練自己的基礎模型,甚至對外提供基礎模型,阿里云可以為您提供AI基礎設施,包括面向AI優化的算力、網絡、存儲資源。您只需關注模型開發本身,無需關注資源調度、設備部署運維等工程方面的問題。
安全合規和隱私保護
不管是訓練模型和模型推理,都需要處理大量數據。這些數據來源于您的業務,可能包含有產品、用戶的信息。建議您選擇能夠安全可靠地存儲、傳輸、訪問、管理數據的AI服務提供商,以確保數據的安全性和隱私性。
網絡安全:阿里云AI服務使用專有網絡(VPC),能夠提供穩定以及安全的網絡連接,同時不同用戶之間的網絡環境不同,邏輯上實現徹底隔離,避免數據和模型被竊取。
權限控制:阿里云支持RAM、RD等多種認證和權限管理方式。同時引入工作空間角色概念,您可以按需賦予成員資源管理員、算法開發等角色,以管理用戶的訪問權限,以保證組織內資源、資產使用的合理性。
資產管理:對模型、數據集、鏡像等重要AI資產進行全生命周期管理,提供AI資產共享、異常問題回溯等能力,方便您合理使用核心資產。
監控告警:完善的監控告警服務,能幫助您更安全地使用計算資源及數據資產。阿里云提供云監控、日志服務等產品,能管理您使用的資產運行狀態以及操作日志;阿里云PAI提供的AI Master組件,監控訓練任務情況,并進行容錯判斷,提升計算任務的安全性、穩定性。
內容安全:如果您業務涉及AIGC服務,您可以使用阿里云的內容安全產品結合實人認證、風險識別,來保證產生的內容是合法合規,同時是可追溯到責任人的,為您規避規格風險。
了解算法選擇和模型訓練
了解AI服務所使用的算法和模型本身的特點和適用場景。這其中考慮的因素有很多:數據規模質量,如小規模數據可以選擇簡單模型和基于基礎模型微調,標簽化數據可以選擇監督學習算法;模型指標,如準確率、性能、召回率等。選擇適合業務需求的算法和模型,以確保服務的準確和高效。
阿里云提供人工智能平臺PAI,支持主流140多種優化算法,并具備豐富的行業場景插件;同時提供通義千問、通義萬相等通義系列基礎模型。您可以直接應用基礎模型能力,也能根據自己的領域進行微調,以更好地適配您的業務。同時,阿里云能無縫鏈接模型開源社區ModelScope,方便您靈活引入業界最新開源模型,應用前沿模型能力。
算力資源和設施性能
AI服務需要高性能的計算資源來支持算法訓練和模型推理。了解您使用 AI服務或者模型所使用的計算資源類型、規模和性能指標,以確保服務能夠滿足業務需求并具有高性能。如Stable Diffusion模型訓練使用了4000多個Nvidia GPU的集群。
阿里云擁有面向AI優化的靈駿智算服務,為您提供面向大規模深度學習及融合智算場景的PaaS平臺產品,支持公共云Serverless版、單租版以及混合云產品形態,提供高性能AI訓練、高性能計算所需的異構計算算力。您只需為AI訓練所消耗的資源付費,無需建設、調優和運維復雜的計算節點、存儲及RDMA網絡,即可使用高擴展性、高性能、高性價比的智能計算基礎設施環境。
數據處理
在人工智能領域,數據質量會直接影響模型的性能和最終結果質量。數據的噪音、不一致、錯誤等會導致模型不準確;數據缺乏多樣性也會導致模型泛化性不足,在未被訓練到的情況下表現不佳。如何治理數據以及讓高質量的業務數據方便對接到AI服務中,也是您選擇AI服務時需考慮的因素。
阿里云有AI+大數據最佳實踐,打通實時計算Flink、離線計算MaxCompute等多種大數據產品,方便您直接治理數據,無門檻對接業務數據到AI服務中,同時依托數據產品的數據處理能力,以及DataWorks等產品完成定時調度,大大降低數據工程搭建難度。
使用/開發門檻
根據您或組織的技能和人員情況,您可以選擇不同層次的服務:
無需太多開發經驗和算法經驗:AI應用,產品化程度高,開箱即用。
有一定的開發經驗和AI算法能力:AI模型,基于已有模型進行微調,構建專屬業務場景的模型或服務。
有完整的算法團隊:基礎設施資源,使用基礎設施資源以及工程能力,打造品牌性的AI模型。
阿里云面向上面3大類用戶提供所需的AI應用、模型服務以及AI基礎設施,方便您選擇適合自己的AI服務。
選擇
現在您已經了解評估AI服務選項所依據的標準,并準備好選擇阿里云AI服務,下面從產品角度,展示各個產品/服務針對的場景以及在各自應用場景里做了哪些優化。
AI應用
當您需要直接應用或集成AI能力,可以使用這些AI服務。
應用/服務 | 適用場景 | 面向場景做的優化 |
視覺智能開放平臺 | 人臉人體檢測、商品理解、圖像識別等機器視覺領域應用。 | 針對視覺、語音、文字識別、自然語言處理等場景化優化,能適配如人臉識別、圖像識別等大部分場景,自定義配置即可獲得較好的效果,所需的AI知識門檻低。 |
智能語音交互 | 語音識別、語音合成、語音分析等語音交互領域應用。 | |
文字識別 | 證照識別、車輛物流識別等文字識別類領域。 | |
自然語言處理 | 分詞、文本信息抽取、電商情感分析等自然語言處理領域。 | |
阿里翻譯 | 文本、文檔翻譯、圖片翻譯等機器翻譯。 | |
智能開放搜索 | 智能問答、行業搜索、高性能搜索等智能搜索服務。 | |
智能推薦AI Rec | 個性化推薦,如電商、內容、新聞咨詢等領域積累的智能推薦場景。 |
基礎模型與服務
應用/服務 | 適用場景 | 面向場景做的優化 |
基礎模型:
| 您希望自行部署模型服務,或者需要使用基礎模型進行簡單定制化開發,如導入自己的業務數據進行微調,可以使用阿里提供的基礎模型。 | 模型已經預訓練完成,您可以直接使用或者使用自己領域的數據進行微調。您只需花費少量的資源進行訓練,就可以獲得帶有您領域知識的大模型。 |
模型服務:
| 當您需要使用開源的大模型或者阿里基礎模型時,可以使用百煉、ModelScope社區,無需您自行部署模型,直接使用API調用模型服務。另外,您也可以使用智碼實驗室來快速微調模型。 | 針對模型使用,已經集成了工程化能力,您可以通過腳本、API、SDK等多種方式直接調用模型分析。 |
AI平臺
進行AI開發,包括大模型生產或領域模型優化,搭建自己的AI服務,可以使用人工智能平臺PAI。它能幫助您完成從數據標注、模型建立、模型訓練、模型推理部署等全部流程的AI服務開發工作。
應用/服務 | 適用場景 | 面向場景做的優化 |
PAI-QuickStart | 快速、低門檻進行AI開發。 | 集成了從模型訓練到部署全過程,高效體驗AI應用。 |
PAI-iTag | 進行數據標注,包括圖像、文本、視頻、音頻等多種類型的數據標注。 | 支持多種類型數據標注以及多模態混合標注。 |
PAI-FeatureStore | 組織、存儲和管理AI訓練中使用的特征數據。 | 支持多種離線和實時數據源,包括MaxCompute、Hologres、TableStore,自動完成在線和離線表構建;支持共享特征方便多人協作等。 |
PAI-Designer | 模型開發、模型訓練腳本開發,支持可視化建模。 | 內置了豐富的機器學習算法,覆蓋商品推薦、金融風控及廣告預測等場景,支持基于MaxCompute、通用訓練資源、Flink等計算資源進行大規模分布式運算。 |
PAI-DSW | 模型開發、模型訓練腳本開發,支持notebook交互式開發。 | 集成了JupyterLab、WebIDE、Terminal等多種云端開發環境,內置模型訓練和模型部署插件,DSW Gallery提供了LLM、AIGC前沿領域的Notebook案例。 |
PAI-DLC | 訓練模型階段,使用分布式框架來加速訓練,或者選擇通用或者面向AI計算資源。 | 分布式訓練服務,支持多種分布式框架,支持包括通用和靈駿智算等資源,同時支持AIMaster容錯監控、模型高效保存回復。 |
PAI-AutoML | 訓練模型階段,按照策略自動完成模型超參數組合搜索,提升調優效率。 | 集成了PAI的多種算法,有效查找到最優超參組合,幫助您訓練出更優模型;持續評估訓練效果,無需計算所有組合得到最優解,節省計算資源;與PAI-DLC、MaxCompute計算資源無縫銜接,計算資源充沛。 |
PAI-EAS | 模型部署,并生成在線推理。 | 模型在線服務平臺,支持用戶將模型一鍵部署為在線推理服務或AI-Web應用。適用于實時推理、近實時異步推理等多種AI推理場景,具備自動擴縮容和完整運維監控體系等能力。 |
函數計算 FC | 模型部署,并生成在線推理。 | Serverless化,無需關注服務器等基礎設施,只需將數據模型包裝在調用函數中,更加簡單便捷。 |
大數據平臺
有高質量的數據能幫助您更好地生產,當您需要進行數據接入和數據處理時,可以使用阿里云的大數據產品,包括離線數據、在線數據、數據倉庫等。
應用/服務 | 適用場景 | 面向場景做的優化 |
DataWorks | 數據建模、開發、安全、質量等大數據開發與治理。 | 支持復雜網絡環境、常見數據源的數據同步上云以及實時、歷史數據的批量與增量同步。支持萬兆的同步速度,以及單用戶千萬級別的復雜任務調度。 |
MaxCompute | 數據抽取、轉換、計算等數據加工,離線數據處理。 | 對外以API方式訪問的在線服務,開箱即用;預鋪設大規模集群資源,可以按需使用、按量計費;無需平臺運維,最小化運維投入。 |
Flink | 數據抽取、轉換、計算等數據加工,實時數據處理。 | 性能成本整體優于開源,靈活付費模型及智能擴縮容提高資源使用的精細程度,同時在開發效率、運維管理、企業安全有單獨優化。 |
Hologres | 結構化/半結構化數據實時寫入、更新、加工、分析。 | 統一數據平臺,解決數據孤島、數據口徑不一致問題,分析效率在TPC-H 30000GB標準測試結果居世界領先;解決數據時效性問題,支持高性能數據實時寫入。 |
基礎設施
您或組織具備較強的AI工程搭建能力,希望完全自行構建AI平臺,包括資源調度、工程部署等,您可以直接使用阿里云的基礎設施。
應用/服務 | 適用場景 | 面向場景做的優化 |
PAI-靈駿智算服務 | 大規模高密度計算,如AI訓練、高性能計算所需的異構計算算力服務,面向圖形圖像識別、自然語言處理、搜索廣告推薦、通用大模型等大規模分布式的AI研發場景。 | 資源利用率提升3倍,并行計算效率提升90%;為異構算力優化的設備管理平臺,支持資源池化,高使用效率的運維管理。 |
容器服務 ACK | 機器學習計算,用于管理GPU集群完成異構計算任務。 | 在Kubernetes容器平臺上快速定制化構建AI生產系統,并為AI/ML應用和系統提供全棧優化。 |
云服務器 ECS | ECS的GPU實例適用于圖形處理、云游戲云端實時渲染、AR/VR的云端實時渲染等瘦終端場景。 | IaaS級別云計算服務,提供GPU、FPGA等多種計算資源,計算資源即開即用、彈性伸縮。 |
使用
現在,您已經明確了選擇AI服務時所需的標準,并能夠精準地找到最適合您業務需求的服務。在此基礎上,我們為不同的用戶準備了內容,幫助您更好地使用云產品。
AI應用
您可以直接使用或者少量開發后使用。
產品 | 內容 |
視覺智能開放平臺 | |
智能語音交互 |
|
文字識別 | |
自然語言處理 | |
機器翻譯 |
|
智能開放搜索 OpenSearch |
|
智能推薦AI Rec |
|
模型平臺和服務
產品 | 內容 |
通義千問 | |
通義萬相 |
|
通義聽悟 | |
通義靈碼 | |
百煉 |
|
PAI-智碼實驗室 |
|
ModelScope |
AI平臺
產品/組件 | 內容 |
PAI | 阿里云機器學習平臺PAI提供全面的AI開發和部署工具,適合各類數據科學應用。 您將了解如何利用PAI體驗最新的大數據和AI技術。 |
PAI-QuickStart | 若您希望快速掌握PAI平臺,這里的概覽和入門指南是您的理想選擇。 本指南將引導您使用PAI-QuickStart快速訓練和部署模型。 |
PAI-iTag | 您可以在這里快速了解PAI-iTag服務,并學習如何開始使用該標注工具。 |
PAI-FeatureStore | 若要管理機器學習特征,PAI-FeatureStore特征存儲服務將為您提供所需知識。 向您介紹如何在推薦系統中應用PAI-FeatureStore來管理特征。 |
PAI-Designer | 初次使用可以了解PAI-Designer的服務的功能特性。 您可以在這里學習通過PAI-Designer設計機器學習流程的操作。 |
PAI-DSW | 幫助數據科學家和分析師利用PAI-DSW工作臺提高工作效率。 實操使用PAI-DSW上的WebIDE在線調試代碼。 |
PAI-DLC | 了解如何在PAI-DLC上提交各類數據科學計算任務。 介紹在PAI-DLC上快速提交離線遷移學習訓練任務。 |
PAI-AutoML | 了解自動化機器學習工具PAI-AutoML的特性,幫您訓練出更優模型。 使用PAI-AutoML及MaxCompute,實操K均值聚類訓練任務。 |
PAI-EAS | 快速了解PAI-EAS服務,包括快速部署模型的特點、原理及流程。 使用EAS部署SDWebUI,使能AI繪畫能力。 |
PAI-Rec | 快速了解PAI-Rec服務,包括開發流程、特點等。 詳細說明如何初始化PAI-Rec服務,幫助您順利部署推薦系統。 |
函數計算 FC | 通過視頻快速了解函數計算產品的架構、使用、計費信息。 實操了解Stable Diffusion、AI對話機器人等多種模型部署。 |
大數據平臺
產品 | 內容 |
DataWorks | 了解大數據治理產品DataWorks的產品架構以及產品使用場景。 實操學習如何使用DataWorks分析AI公共數據集。 |
MaxCompute | 了解MaxCompute高效處理和分析大規模數據的能力。 幫您了解如何使用客戶端快速使用MaxCompute。 為您提供在MaxCompute上構建和優化數據倉庫的方法和最佳實踐。 |
Flink | 了解阿里云Flink產品,幫助您處理大規模實時數據流。 通過Flink快速入門,您將學會如何利用內置的公共數據集體驗實時計算服務。 |
Hologres | 幫助您了解阿里云Hologres實時分析型數據庫多場景查詢分析、企業級運維等能力。 快速了解Hologres的使用流程。 |
AI基礎設施
產品 | 內容 |
PAI-靈駿智算服務 | 介紹靈駿智算服務的應用場景,包括科學智能、自動駕駛等大規模分布式訓練。 介紹如何開通、創建靈駿集群。 |
容器服務 ACK | 了解云原生為AI提供的技術和產品方案,包括產品架構、核心功能、使用場景、計費等信息。 實操如何在ACK集群運行深度學習任務,優化分布式訓練性能,調試模型效果,并最終把模型部署到ACK集群中。 |
云服務器 ECS | 通過體驗課程學習云服務器的搭建、配置、環境部署以及運維。 實踐學習如何使用ECS搭建對話大模型、AIGC繪畫、視頻生成等。 |
探索
內容 | 說明 |
阿里AI依托阿里云基礎設施、大數據和AI工程能力、場景算法技術和多年行業實踐,一站式地為企業和開發者提供云原生的AI能力體系。 | |
提供來自眾多行業和技術方向的應用和案例,簡單易用,一鍵啟動,助您有效提升開發效率。 | |
阿里云通義官網,包含通義千問、通義靈碼、通義萬相等諸多應用。 |