本文介紹基因分析平臺支持的運行時屬性,并比較阿里云與其他計算后端的差別。基因分析平臺目前使用WDL作為分析應用標準,用戶可以通過每個Task中的runtime來定義計算作業所需要消耗的平臺資源。
平臺支持的運行時屬性
基因分析平臺運行時設置存在限制,請查看使用限制文檔。
cpu
默認 2,代表計算作業需要的核數。
范例:
runtime {
cpu: 2
}
memory
默認 “4G”,代表計算作業需要分配的內存大小
范例:
runtime {
memory: "4G"
}
instanceType
可選,如設定則忽略task里定義的cpu和memory屬性,直接指定特定的阿里云ECS實例類型,作為計算作業執行環境。所有ECS實例類型見實例規格族,具體實例類型需聯系產品團隊或提工單確認基因分析平臺是否支持。建議使用cpu/memory方式指定資源。
范例:
runtime {
instanceType: "ecs.c6.xlarge"
}
disk
默認 “40 GB”,代表計算作業執行環境中掛載的磁盤的大小,用于保存輸入輸出文件,磁盤類型是容量型NAS,如需要其它磁盤類型,請參考“disks”參數。
runtime {
disk: "40 GB"
}
disks
默認 “local-disk 40 nas_cap”,代表計算作業執行環境中掛載的磁盤大小以及磁盤類型,用于保存輸入輸出文件。
注意:如果“disk”和“disks”參數均未填寫,則磁盤默認使用容量型NAS,大小為40GB。
disks屬性值為逗號分隔的磁盤信息,每個磁盤信息用空格分隔的三元組來描述,如“local-disk 40 nas_cap”,分別代表:
掛載點,固定為local-disk。
磁盤大小,單位為GB。
磁盤類型,支持nas_cap,nas_per和cloud_essd三種,分別代表容量型NAS、性能型NAS以及ESSD PL0。
范例:
runtime {
disks: "local-disk 100 cloud_essd"
}
docker
計算作業使用的docker鏡像,只支持阿里云的容器鏡像服務。
范例:
runtime {
docker: "registry-vpc.cn-shenzhen.aliyuncs.com/easy-gene/genomes-in-the-cloud:1.0"
}
env
設置OSS存儲桶掛載,將OSS存儲桶掛載到容器內指定路徑/easygene_data,直接訪問OSS數據
范例:
#1.在wdl的runtime中直接指定需要掛載到容器內的bucket,則會被掛載到固定路徑/easygene_data下
#注意bucket不可跨賬號或地域
runtime {
env: {
"BUCKET":"test"
}
}
#2.在wdl中直接使用/easygene_data下的文件即可
#修改原wdl中input中File類型為String跳過下載,比如oss路徑是oss://test/dir/1.fq
#掛載test這個bucket,這個文件在容器里的路徑就是/easygene_data/dir/1.fq
input{
#File fastq = "oss://test/dir/1.fq"
#替換為:
String fastq = "/easygene_data/dir/1.fq"
}
阿里云與社區其他計算后端比較
阿里云基因分析平臺 | HPC | 本地環境 | |
cpu | ? | ? | ? |
memory | ? | ? | ? |
instanceType | "ecs.c6.xlarge" | ? | ? |
disks | ? | ? | ? |
docker | ? | ? | ? |
阿里云基因分析平臺計算任務的運行時基本屬性與社區標準保持一致,方便應用無縫運行在本地、HPC和云環境中。并且額外提供instanceType擴展支持GPU/FPGA硬件需求。