準備工作
本文為您介紹如何準備Mars運行環(huán)境。
前提條件
DataWorks運行環(huán)境準備,詳情請參見快速入門。
DataWorks中PyODPS 3節(jié)點底層的Python版本為3.7,其他環(huán)境Python版本至少3.7及以上。
環(huán)境準備
在MaxCompute上運行Mars服務,您需要準備相應的運行環(huán)境。MaxCompute支持如下兩種運行環(huán)境:
DataWorks
DataWorks中的PyODPS 3節(jié)點,已經(jīng)包含了PyODPS和Mars功能。
您可以在新建的PyODPS 3節(jié)點里執(zhí)行如下命令檢查PyODPS和Mars版本,確保滿足要求。
from odps import __version__ as odps_version from mars import __version__ as mars_version print(odps_version) print(mars_version)
odps_version為PyODPS版本,要求PyODPS為0.9.3.1以上版本。mars_version為Mars版本,要求Mars為0.4.4以上版本。
準備PyODPS入口。
DataWorks的PyODPS 3節(jié)點會自動創(chuàng)建PyODPS入口,因此您無需手動創(chuàng)建,即可直接使用。
其他環(huán)境
您需要先安裝pip,安裝完成后,在系統(tǒng)的命令行執(zhí)行窗口(例如Windows的cmd窗口),通過pip命令安裝PyODPS和Mars。命令示例如下。
(可選)確保pip版本為最新版本。
pip install -U pip
安裝PyODPS最新版本。https://mirrors.aliyun.com/pypi/simple/ 是阿里云鏡像,可以加快下載包的速度。
pip install pyodps -i https://mirrors.aliyun.com/pypi/simple/
安裝Mars最新版本。
pip install pymars -i https://mirrors.aliyun.com/pypi/simple/
安裝ProtoBuf最新版本。
pip install protobuf -i https://mirrors.aliyun.com/pypi/simple/
(可選)安裝PyArrow最新版本,可以加速運行。
pip install pyarrow -i https://mirrors.aliyun.com/pypi/simple/
準備PyODPS入口。
您需要通過AccessKey ID和AccessKey Secret等參數(shù)創(chuàng)建PyODPS入口。詳情請參見初始化PyODPS入口。