本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
大數據型實例規格(d系列)處理器與內存配比為1:4(部分規格不為1:4),適用于Hadoop MapReduce、HDFS、Hive、HBase等大數據計算和存儲業務場景,以及Elasticsearch、Kafka等搜索和日志數據處理場景。
背景信息
在閱讀各個實例規格族的特點及詳細指標之前,您需要提前學習以下信息:
了解實例規格命名及分類:幫助您更好地理解實例規格族的命名及分類信息,了解各規格族之間差異,詳參見實例規格分類與命名。
了解實例規格指標:提前了解實例規格的各項指標說明,請參見實例規格指標說明,您也可以通過調用DescribeInstanceTypeFamilies和DescribeInstanceTypes查詢阿里云ECS提供的實例規格族列表及所有實例規格的詳細信息。
根據業務場景選擇實例規格族:想獲取更多關于如何在實際業務場景中選擇合適的規格,請參見實例規格選型指導。
在確定您要選擇的實例規格之后,您可能需要進一步了解以下信息:
查看實例可購買地域:各個地域下可供售賣的實例規格可能存在差異,實例的可購情況,您可以前往ECS實例可購買地域查看,也可以調用DescribeRegions和DescribeZones查詢ECS資源支持的地域和可用區。
預估實例費用:想了解實例在不同付費方式下大概的花費,可使用阿里云的ECS價格計算器查看,也可以調用DescribePrice查詢ECS資源的最新價格。
直接購買實例:可直接前往ECS購買頁下單。
您可能還會關注:
推薦 | 不推薦(如果以下規格售罄,建議使用前面的規格) |
大數據型實例規格族介紹
本地盤的數據可靠性取決于物理機的可靠性,存在單點故障風險。使用本地盤存儲數據有丟失數據的風險,請勿在本地盤上存儲需要長期保存的業務數據。更多信息,請參見本地盤。
大數據型實例規格族旨在解決大數據時代下海量業務數據的云上計算和存儲難題,適用于Hadoop分布式計算、海量日志處理和大型數據倉庫等需要海量數據存儲和離線計算的業務場景,充分滿足以Hadoop為代表的分布式計算業務對實例存儲性能、容量和內網帶寬等方面要求。
大數據型實例規格族適合有大數據計算與存儲分析需求的行業客戶,例如互聯網行業、金融行業等。同時,結合以Hadoop為代表的分布式計算業務的高可用架構,大數據型實例采用本地存儲的設計,保證海量存儲空間、高存儲性能。
大數據實例具有以下特點:
基于企業級架構提供穩定計算能力,為高效處理計算作業提供保障。
網絡性能更高(包括單實例最大內網帶寬和最大小包轉發率),滿足業務高峰期實例間的數據交互需求,例如MapReduce計算框架下的Shuffle過程。
使用大數據實例時請注意:
不支持變配。
本地盤與特定規格的實例相綁定,本地盤的數量和容量由您選擇的實例規格決定。不支持單獨購買本地盤,不支持將本地盤卸載并掛載到另一臺實例上使用。
本地盤不支持快照功能。如果您需要為本地盤實例創建包含系統盤和數據盤的鏡像,建議通過組合系統盤快照和數據盤(僅限云盤)快照的方式來創建。
不支持基于實例ID創建包含系統盤和數據盤的鏡像。
支持掛載SSD云盤,掛載的云盤支持擴容。
操作本地盤實例可能對本地盤數據產生影響,更多詳情,請參見實例操作對本地盤數據的影響。
大數據實例文件系統掛載最佳實踐
使用ext4等文件系統,首次執行mount操作時需要初始化inode table。在Linux的2.6.37及更高的內核版本中,默認啟用了lazyinit特性,導致inode table初始化會延遲到mount后,且本地盤在初始化時會占用較大吞吐量(例如30個本地盤的吞吐量可能高達600 MB/s),影響業務穩定性。4.x版本內核中增加了lazyinit并發度,可以緩解該問題,詳情請參見社區。ECS推薦以下最佳實踐,使您在相對較快的時間內完成初始化:
獲取所有SATA HDD本地盤列表。
運行以下命令,為每個本地盤開啟獨立的后臺初始化。
本示例中,在設備名為/dev/vdb的本地盤上創建ext4文件系統。
mkfs.ext4 -E lazy_itable_init=0,lazy_journal_init=0 /dev/vdb &
等待所有本地盤完成初始化,并運行iostat -x 5,直至所有本地盤的I/O活動顯示為0。
批量執行mount操作。
大數據存儲密集型實例規格族d3s
規格族介紹:實例配備12 TB大容量、高吞吐SATA HDD本地盤,輔以最大64 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、HBase等大數據計算和存儲業務場景。
Spark內存計算、MLlib等機器學習場景。
ElasticSearch、Kafka等搜索和日志數據處理場景。
支持在線更換壞盤,支持熱插拔壞盤,避免導致實例停機。
如果單塊本地盤出現故障,您會收到系統事件,確認響應事件即可發起壞盤修復流程,更多說明請參見本地盤實例運維場景和系統事件。
重要確認發起壞盤修復流程后,壞盤中的數據不可恢復。
計算:
處理器:2.7 GHz主頻的 ? Xeon ? 可擴展處理器(Ice Lake),全核睿頻3.5 GHz,計算性能穩定。
存儲:
I/O優化實例。
支持的云盤類型:ESSD云盤和ESSD AutoPL云盤。
網絡:
支持IPv4、IPv6。關于IPv6通信,參見IPv6通信。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d3s包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡基礎帶寬/突發(Gbit/s) | 網絡收發包PPS(萬) | 云盤帶寬基礎/突發(Gbit/s) |
ecs.d3s.2xlarge | 8 | 32 | 4 * 11918 | 10/最高15 | 200 | 3/最高5 |
ecs.d3s.4xlarge | 16 | 64 | 8 * 11918 | 25/無 | 300 | 5/無 |
ecs.d3s.8xlarge | 32 | 128 | 16 * 11918 | 40/無 | 600 | 8/無 |
ecs.d3s.12xlarge | 48 | 192 | 24 * 11918 | 60/無 | 900 | 12/無 |
ecs.d3s.16xlarge | 64 | 256 | 32 * 11918 | 80/無 | 1200 | 16/無 |
大數據計算密集型實例規格族d3c
d3c的特點如下:
規格族介紹:實例配備大容量、高吞吐本地盤,輔以最大40 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、HBase等大數據計算和存儲業務場景。
EMR JindoFS配合OSS實現大數據冷熱數據分層和存儲計算分離的場景。
Spark內存計算、MLlib等機器學習場景。
ElasticSearch、Kafka等搜索和日志數據處理場景。
支持在線更換壞盤,支持熱插拔壞盤,避免導致實例停機。
如果單塊本地盤出現故障,您會收到系統事件,確認響應事件即可發起壞盤修復流程,更多說明請參見本地盤實例運維場景和系統事件。
重要確認發起壞盤修復流程后,壞盤中的數據不可恢復。
計算:
處理器:采用第三代Intel ? Xeon ? 可擴展處理器(Ice Lake),主頻2.9 GHz,全核睿頻3.5 GHz,計算性能穩定。
存儲:
I/O優化實例。
支持的云盤類型:ESSD云盤和ESSD AutoPL云盤。
網絡:
支持IPv4、IPv6。關于IPv6通信,參見IPv6通信。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d3c包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡帶寬基礎/突發(Gbit/s) | 網絡收發包PPS(萬) | 云盤IOPS基礎/突發(萬) | 云盤帶寬基礎/突發(Gbit/s) |
ecs.d3c.3xlarge | 14 | 56.0 | 1 * 13743 | 8/最高10 | 160 | 4/無 | 3/無 |
ecs.d3c.7xlarge | 28 | 112.0 | 2 * 13743 | 16/最高25 | 250 | 5/無 | 4/無 |
ecs.d3c.14xlarge | 56 | 224.0 | 4 * 13743 | 40/無 | 500 | 10/無 | 8/無= |
該實例規格族僅支持Linux鏡像,創建實例時請選擇Linux鏡像,否則會創建失敗。
大數據計算密集型實例規格族d2c
規格族介紹:實例配備大容量、高吞吐SATA HDD本地盤,輔以最大35 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、Hbase等大數據計算和存儲業務場景。
EMR JindoFS配合OOS實現大數據冷熱數據分層和存儲計算分離的場景。
Spark內存計算、MLlib等機器學習場景。
ElasticSearch、Kafka等搜索和日志數據處理場景。
支持在線更換壞盤,支持熱插拔壞盤,避免導致實例停機。
如果單塊本地盤出現故障,您會收到系統事件,確認響應事件即可發起壞盤修復流程,更多說明請參見本地盤實例運維場景和系統事件。
重要確認發起壞盤修復流程后,壞盤中的數據不可恢復。
計算:
處理器:2.5 GHz主頻的Intel ? Xeon ? Platinum 8269CY(Cascade Lake)。
存儲:
I/O優化實例。
支持的云盤類型:ESSD云盤、ESSD AutoPL云盤、SSD云盤和高效云盤。
網絡:
支持IPv4、IPv6。關于IPv6通信,參見IPv6通信。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d2c包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡基礎帶寬(Gbit/s) | 網絡收發包PPS(萬) |
ecs.d2c.6xlarge | 24 | 88.0 | 3 * 3972 | 12.0 | 160 |
ecs.d2c.12xlarge | 48 | 176.0 | 6 * 3972 | 20.0 | 200 |
ecs.d2c.24xlarge | 96 | 352.0 | 12 * 3972 | 35.0 | 450 |
大數據存儲密集型實例規格族d2s
規格族介紹:實例配備大容量、高吞吐SATA HDD本地盤,輔以最大35 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、Hbase等大數據計算和存儲業務場景。
Spark內存計算、MLlib等機器學習場景。
ElasticSearch、Kafka等搜索和日志數據處理場景。
支持在線更換壞盤,支持熱插拔壞盤,避免導致實例停機。
如果單塊本地盤出現故障,您會收到系統事件,確認響應事件即可發起壞盤修復流程,更多說明請參見本地盤實例運維場景和系統事件。
重要確認發起壞盤修復流程后,壞盤中的數據不可恢復。
計算:
處理器:2.5 GHz主頻的Intel ? Xeon ? Platinum 8163(Skylake)。
存儲:
I/O優化實例。
支持的云盤類型:ESSD云盤、ESSD AutoPL云盤、SSD云盤和高效云盤。
網絡:
支持IPv4、IPv6。關于IPv6通信,參見IPv6通信。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d2s包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡基礎帶寬(Gbit/s) | 網絡收發包PPS(萬) |
ecs.d2s.5xlarge | 20 | 88.0 | 8 * 7838 | 12.0 | 160 |
ecs.d2s.10xlarge | 40 | 176.0 | 15 * 7838 | 20.0 | 200 |
ecs.d2s.20xlarge | 80 | 352.0 | 30 * 7838 | 35.0 | 450 |
大數據網絡增強型實例規格族d1ne
規格族介紹:實例配備大容量、高吞吐SATA HDD本地盤,輔以最大35 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、HBase等。
Spark內存計算、MLlib等。
ElasticSearch、日志等。
計算:
處理器與內存配比為1:4,為大數據場景設計。
處理器:2.5 GHz主頻的Intel ? Xeon ? E5-2682 v4(Broadwell)。
存儲:
I/O優化實例。
支持的云盤類型:SSD云盤和高效云盤。
網絡:
支持IPv4、IPv6。關于IPv6通信,參見IPv6通信。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d1ne包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡基礎帶寬(Gbit/s) | 網絡收發包PPS(萬) |
ecs.d1ne.2xlarge | 8 | 32.0 | 4 * 5905 | 6.0 | 100 |
ecs.d1ne.4xlarge | 16 | 64.0 | 8 * 5905 | 12.0 | 160 |
ecs.d1ne.6xlarge | 24 | 96.0 | 12 * 5905 | 16.0 | 200 |
ecs.d1ne-c8d3.8xlarge | 32 | 128.0 | 12 * 5905 | 20.0 | 200 |
ecs.d1ne.8xlarge | 32 | 128.0 | 16 * 5905 | 20.0 | 250 |
ecs.d1ne-c14d3.14xlarge | 56 | 160.0 | 12 * 5905 | 35.0 | 450 |
ecs.d1ne.14xlarge | 56 | 224.0 | 28 * 5905 | 35.0 | 450 |
大數據型實例規格族d1
規格族介紹:實例配備大容量、高吞吐SATA HDD本地盤,輔以最大17 Gbit/s實例間網絡帶寬。
適用場景:
Hadoop MapReduce、HDFS、Hive、HBase等。
Spark內存計算、MLlib等。
互聯網行業、金融行業等有大數據計算與存儲分析需求的行業客戶,進行海量數據存儲和計算的業務場景。
ElasticSearch、日志等。
計算:
處理器與內存配比為1:4,為大數據場景設計。
處理器:2.5 GHz主頻的Intel ? Xeon ? E5-2682 v4(Broadwell)。
存儲:
I/O優化實例。
支持的云盤類型:SSD云盤和高效云盤。
網絡:
僅支持IPv4。
實例網絡性能與實例規格對應,規格越高網絡性能越強。
d1包括的實例規格及指標數據如下表所示:
實例規格 | vCPU | 內存(GiB) | 本地存儲(GB) | 網絡基礎帶寬(Gbit/s) | 網絡收發包PPS(萬) |
ecs.d1.2xlarge | 8 | 32.0 | 4 * 5905 | 3.0 | 30 |
ecs.d1.3xlarge | 12 | 48.0 | 6 * 5905 | 4.0 | 40 |
ecs.d1.4xlarge | 16 | 64.0 | 8 * 5905 | 6.0 | 60 |
ecs.d1.6xlarge | 24 | 96.0 | 12 * 5905 | 8.0 | 80 |
ecs.d1-c8d3.8xlarge | 32 | 128.0 | 12 * 5905 | 10.0 | 100 |
ecs.d1.8xlarge | 32 | 128.0 | 16 * 5905 | 10.0 | 100 |
ecs.d1-c14d3.14xlarge | 56 | 160.0 | 12 * 5905 | 17.0 | 180 |
ecs.d1.14xlarge | 56 | 224.0 | 28 * 5905 | 17.0 | 180 |