日本久久久久精品免费,美女网站黄在线视频,欧美成人高清精品免费

JindoRuntime來源于阿里云EMR團隊JindoFS，是基于C++實現的支撐Dataset數據管理和緩存的執行引擎，支持OSS對象存儲。JindoFS是阿里云的產品，有專門的產品級支持。Fluid通過管理和調度JindoRuntime實現數據集的可見性、彈性伸縮和數據遷移。本文介紹JindoFS如何加速OSS文件訪問。

前提條件

已創建一個非ContainerOS操作系統的ACK Pro版集群，且集群版本為1.18及以上。具體操作，請參見創建ACK Pro版集群。
重要
ack-fluid組件暫不支持在ContainerOS操作系統上使用。
已安裝云原生AI套件并部署ack-fluid組件。
重要
若您已安裝開源Fluid，請卸載后再部署ack-fluid組件。
- 未安裝云原生AI套件：安裝時開啟Fluid數據加速。具體操作，請參見安裝云原生AI套件。
- 已安裝云原生AI套件：在容器服務管理控制臺的云原生AI套件頁面部署ack-fluid。
已通過kubectl連接Kubernetes集群。具體操作，請參見通過kubectl工具連接集群。
已開通阿里云對象存儲（OSS）服務。具體操作，請參見開通OSS服務。

背景信息

準備好K8s和OSS環境的條件后，您只需要耗費10分鐘左右即可完成JindoRuntime環境的部署。

步驟一：準備OSS Bucket的數據

執行以下命令，下載測試數據到ECS實例中。

wget https://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz

將下載的測試數據上傳到阿里云OSS對應的Bucket中。
重要
上傳到OSS的步驟以Alibaba Cloud Linux 3.2104 LTS 64位的ECS實例為例。其他操作系統的具體操作，請參見命令行工具ossutil命令參考和ossutil概述。
1. 安裝ossutil。
2. 創建名稱為examplebucket的存儲空間。
  - 輸入以下命令創建examplebucket。
```
ossutil64 mb oss://examplebucket
```
  - 以下輸出結果表明已成功創建examplebucket。
```
0.668238(s) elapsed
```
3. 將下載的測試數據上傳到新建的examplebucket中。
```
ossutil64 cp spark-3.0.1-bin-hadoop2.7.tgz oss://examplebucket
```

步驟二：創建Dataset和JindoRuntime

在創建Dataset之前，在ECS實例中的根目錄中創建一個mySecret.yaml文件。
```
apiVersion: v1
kind: Secret
metadata:
  name: mysecret
stringData:
  fs.oss.accessKeyId: xxx
  fs.oss.accessKeySecret: xxx
```
其中，fs.oss.accessKeyId和fs.oss.accessKeySecret是步驟一中用來訪問OSS的AccessKey ID和AccessKey Secret。
執行以下命令，生成Secret。K8s會對已創建的Secret使用加密編碼，避免將其明文暴露。
```
kubectl create -f mySecret.yaml
```

使用以下YAML文件樣例創建一個名為resource.yaml的文件，里面包含兩部分：

創建一個Dataset，描述遠端存儲數據集和UFS的信息。
創建一個JindoRuntime，啟動一個JindoFS的集群來提供緩存服務。

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: hadoop
spec:
  mounts:
    - mountPoint: oss://<oss_bucket>/<bucket_dir>
      options:
        fs.oss.endpoint: <oss_endpoint>
      name: hadoop
      path: "/"
      encryptOptions:
        - name: fs.oss.accessKeyId
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeyId
        - name: fs.oss.accessKeySecret
          valueFrom:
            secretKeyRef:
              name: mysecret
              key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: hadoop
spec:
  replicas: 2
  tieredstore:
    levels:
      - mediumtype: MEM
        path: /dev/shm
        volumeType: emptyDir
        quota: 2Gi
        high: "0.99"
        low: "0.95"

相關參數解釋如下表所示：

參數	說明
mountPoint	oss://<oss_bucket>/<bucket_dir>表示掛載UFS的路徑，路徑中不需要包含endpoint信息。
fs.oss.endpoint	OSS Bucket的Endpoint信息，公網或私網地址均支持。更多信息，請參見訪問域名和數據中心。
replicas	表示創建JindoFS集群的Worker數量。
mediumtype	表示緩存類型。在創建JindoRuntime模板樣例時，JindoFS暫時只支持HDD/SSD/MEM中的其中一種緩存類型。
path	表示存儲路徑，暫時只支持單個路徑。當選擇MEM做緩存時，需指定一個本地路徑來存儲Log等文件。
quota	表示緩存最大容量，單位GB。
high	表示存儲容量上限大小。
low	表示存儲容量下限大小。

執行以下命令，創建JindoRuntime和Dataset。
```
kubectl create -f resource.yaml
```

執行以下命令，查看Dataset的部署情況。

kubectl get dataset hadoop

預期輸出：

NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
hadoop        210MiB       0.00B    4.00GiB              0.0%          Bound   1h

執行以下命令，查看JindoRuntime的部署情況。

kubectl get jindoruntime hadoop

預期輸出：

NAME     MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
hadoop   Ready          Ready          Ready        4m45s

執行以下命令，查看PV和PVC的創建情況。

kubectl get pv,pvc

預期輸出：

NAME                      CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM            STORAGECLASS   REASON   AGE
persistentvolume/hadoop   100Gi      RWX            Retain           Bound    default/hadoop                           52m

NAME                           STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/hadoop   Bound    hadoop   100Gi      RWX                           52m

從上述輸出的查詢信息，可以知道Dataset和JindoRuntime已創建成功。

步驟三：創建應用容器體驗加速效果

您可以通過創建應用容器來使用JindoFS加速服務，或者提交機器學習作業來體驗相關功能。本文以創建一個應用容器多次訪問同一數據，并通過比較訪問時間來展示JindoRuntime的加速效果。

使用以下YAML文件樣例，創建名為app.yaml 的文件。

apiVersion: v1
kind: Pod
metadata:
  name: demo-app
spec:
  containers:
    - name: demo
      image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
      volumeMounts:
        - mountPath: /data
          name: hadoop
  volumes:
    - name: hadoop
      persistentVolumeClaim:
        claimName: hadoop

執行以下命令，創建應用容器。
```
kubectl create -f app.yaml
```

執行以下命令，查看文件大小。

kubectl exec -it demo-app -- bash
du -sh /data/spark-3.0.1-bin-hadoop2.7.tgz

預期輸出：

210M    /data/spark-3.0.1-bin-hadoop2.7.tgz

執行如下命令，查看文件的拷貝時間。
```
time cp /data/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
```
預期輸出：
```
real    0m18.386s
user    0m0.002s
sys    0m0.105s
```
從上述輸出信息，可以知道文件拷貝時間消耗了18s。

執行以下命令，查看此時Dataset的緩存情況。

kubectl get dataset hadoop

預期輸出：

NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
hadoop   210.00MiB       210.00MiB    4.00GiB        100.0%           Bound   1h

從上述輸出信息，可以知道210 MiB的數據已經都緩存到了本地。

執行以下命令，刪除之前的應用容器，新建相同的應用容器。
說明
這樣做的目的是為了避免其他因素（例如：Page Cache）對結果造成影響。
```
kubectl delete -f app.yaml && kubectl create -f app.yaml
```
執行如下命令，查看文件拷貝時間。
```
kubectl exec -it demo-app -- bash
time cp /data/spark-3.0.1-bin-hadoop2.7.tgz /dev/null
```
預期輸出：
```
real    0m0.048s
user    0m0.001s
sys     0m0.046s
```
從上述輸出信息，可以知道進行文件的cp拷貝觀察時間消耗48 ms，整個拷貝的時間縮短了300多倍。
說明
由于文件已經被JindoFS緩存，第二次訪問所需時間遠小于第一次。

環境清理

當您不再使用該數據加速功能時，需要清理環境。

執行以下命令，刪除應用容器。

kubectl delete pod demo-app

執行以下命令，刪除Dataset和JindoRuntime。

kubectl delete dataset hadoop

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

JindoFS加速OSS文件訪問

前提條件

背景信息

步驟一：準備OSS Bucket的數據

步驟二：創建Dataset和JindoRuntime

步驟三：創建應用容器體驗加速效果

環境清理