背景信息

MaxCompute是一款大數據分析平臺，其計算資源的計費方式分為包年包月和按量付費兩種。MaxCompute每天以項目為維度進行計費，賬單會在第二天06:00前生成。更多MaxCompute計量計費信息，請參見計費項與計費方式概述。

步驟一：下載用量明細

步驟二（可選）：上傳用量明細數據至MaxCompute

1. 使用MaxCompute客戶端（odpscmd）按如下示例語句創建maxcomputefee表。

   CREATE TABLE IF NOT EXISTS maxcomputefee 
   (
       projectid STRING COMMENT '項目編號'
       ,feeid STRING COMMENT '計費信息編號'
       ,meteringtime STRING COMMENT '文件表頭（MeteringTime）'
       ,type STRING COMMENT '數據分類，包括Storage、ComputationSQL、DownloadEx等'
       ,starttime STRING COMMENT '開始時間'
       ,storage BIGINT COMMENT '存儲（Byte）'
       ,endtime STRING COMMENT '結束時間'
       ,computationsqlinput BIGINT COMMENT 'SQL/交互式分析讀取量（Byte）'
       ,computationsqlcomplexity DOUBLE COMMENT 'SQL復雜度'
       ,uploadex BIGINT COMMENT '公網上行流量Byte'
       ,download BIGINT COMMENT '公網下行流量Byte'
       ,cu_usage DOUBLE COMMENT 'MR/Spark作業計算（core*second）'
       ,Region STRING COMMENT '地域'
       ,input_ots BIGINT COMMENT '訪問OTS的數據輸入量'
       ,input_oss BIGINT COMMENT '訪問OSS的數據輸入量'
       ,source_id STRING COMMENT 'DataWorks調度任務ID'
       ,source_type STRING COMMENT '計算資源規格'
       ,RecycleBinStorage BIGINT COMMENT '備份存儲(Byte)'
       ,JobOwner STRING COMMENT '作業Owner'
       ,Signature STRING COMMENT 'SQL作業簽名'
   );

   賬單明細字段說明如下：

   • 項目編號：當前賬號或RAM用戶對應的阿里云賬號的MaxCompute項目列表。

   • 計量信息編號：以存儲、計算、上傳和下載的任務ID為計費信息編號，SQL為InstanceID，上傳和下載為Tunnel SessionId。

   • 數據分類：Storage（存儲）、LowFreqStorage（低頻存儲）、ColdStorage （長期存儲）、SqlLongterm（長期存儲訪問費）、SqlLowFrequency（低頻存儲訪問費）、ComputationSql（計算）、UploadIn（內網上傳）、UploadEx（外網上傳）、DownloadIn（內網下載）、DownloadEx（外網下載）。按照計費規則只有紅色部分為實際計費項目。

   • 存儲（Byte）：每小時讀取的存儲量，單位為Byte。

   • 開始時間或結束時間：按照實際作業執行時間進行計量，只有存儲是按照每個小時取一次數據。

   • SQL/交互式分析讀取量（Byte）：SQL計算項，每一次SQL執行時SQL的Input數據量，單位為Byte。

   • SQL復雜度：SQL的復雜度，為SQL計費因子之一。

   • 公網上行流量（Byte）或公網下行流量（Byte）：分別為外網上傳或下載的數據量，單位為Byte。

   • MR/Spark作業計算（Core*Second）：MapReduce或Spark作業的計算時單位為Core*Second，需要轉換為計算時Hour。

   • SQL讀取量_訪問OTS（Byte）、SQL讀取量_訪問OSS（Byte）：外部表實施收費后的讀取數據量，單位為Byte。

   • 計算資源規格（按量付費）：計量信息所屬項目的計算資源規格，若值為OdpsStandard或NULL，則表示按量付費標準版，詳情請參見按量付費標準版；若值為OdpsSpot，則表示，按量付費閑時版，詳情請參見按量付費閑時版；若值為OdpsDev，則表示按量計費開發者版。

     說明

     按量付費開發者版已停止新購，并將于北京時間2023年10月31日（周二）00:00:00停止服務，建議您盡快調整至標準版或閑時版計算資源，詳情請參見2022年09月23日-MaxCompute部分售賣規格停止新購公告。

   • 計算資源規格（包年包月）：計量信息所屬項目的計算資源規格。若值為NULL，則表示包年包月標準版；若值為OdpsPlus160CU150TB、OdpsPlus320CU300TB或OdpsPlus600CU500TB，則分別表示存儲密集型160套餐、存儲密集型320套餐或存儲密集型600套餐。

   • DataWorks調度任務ID：作業在DataWorks上的調度節點ID。若值NULL，則表示非DataWorks調度節點提交的作業；若值為一串數字ID，則表示作業對應的DataWorks調度節點ID。您可以在DataWorks對應的項目中使用該ID搜索到具體任務。

   • 備份存儲(Byte)：每小時讀取的備份存儲量，單位為Byte。

   • 地域：MaxCompute項目所在的地域。

   • 作業Owner：提交作業的用戶。

   • SQL作業簽名：用于標識SQL作業，主體內容一致、而多次重復或調度執行的SQL作業簽名一致。

2. 使用Tunnel上傳數據。

   在上傳CSV文件時，您需確保CSV文件中的列數、數據類型必須與表maxcomputefee的列數、數據類型保持一致，否則會導入失敗。

   tunnel upload ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

   

   說明

   • Tunnel的配置詳情請參見Tunnel命令。

   • 您也可以通過DataWorks的數據導入功能來執行此操作，具體請參見使用DataWorks（離線與實時）。

3. 執行如下語句驗證數據。

   SELECT * FROM maxcomputefee limit 10;

   

步驟三：分析賬單數據

分析SQL費用。

分析作業增長趨勢

分析存儲費用

• 通過Excel分析存儲收取1分錢的原因：

  開通MaxCompute進行試用，當前沒有業務在MaxCompute上運行，但是每天都有1分錢賬單，此問題一般是因為有存留數據在MaxCompute上存儲，且數據量不超過0.5 GB。

  查看數據分類中的Storage存儲計費項，發現maxcompute_doc項目下存儲了508 Byte數據，如下圖所示。按照存儲費用計費規則，小于等于512 MB數據收取1分錢。如果這份數據只用于測試，您可以通過以下方式解決此問題。

  • 僅表數據不再使用，請執行Drop Table語句刪除Project下的表數據。

  • Project不再使用，請通過MaxCompute控制臺的項目管理刪除項目，詳情請參見項目管理（新版）。

• 通過Excel分析不足一天的數據存儲費用：

  1. 查看數據分類中的Storage存儲計費項，會發現在alian項目下存儲了333507833900字節數據，由于是8點上傳的數據，所以從09:07開始計量存儲費用，一共計量15小時。

     說明

     天計量范圍以當天的結束時間為準，所以最后一條數據不包括在4月4日賬單中。

  2. 按照存儲費用計費規則先計算24小時存儲平均值，再根據計費公式進行計算。

     --計算存儲平均值。
     333507833900 Byte×15/1024/1024/1024/24=194.127109076362103 GB
     
     --一天的存儲費用計算如下，結果保留4位小數。
     194.127109076362103GB×0.004元/GB/天=0.7765元/天

• 通過SQL分析存儲費用的分布（已完成步驟二的數據導入，生成maxcomputefee表）：

  --分析存儲費用。
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.01     ---當項目的實際數據存儲量大于0 MB小于等于512MB時，計費單價為0.01元/GB/天
                   WHEN t.storage >= 0.5  THEN t.storage*0.004  ---當項目的實際數據存儲量大于512MB時，計費單價為0.004元/GB/天
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  執行結果如下。根據執行結果可以分析得出如下結論：

  • 存儲在12日有一個增長的過程，但在14日出現降低。

  • 存儲優化，建議為表設置生命周期，刪除長期不使用的臨時表等。

• 通過SQL分析長期存儲、低頻存儲、長期存儲訪問和低頻存儲訪問的分布。（已完成步驟二的數據導入，生成maxcomputefee表）：

  --分析長期存儲費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析低頻存儲費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析長期存儲訪問費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  
  --分析低頻存儲訪問費用。
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

分析下載費用

分析MapReduce作業消費

• 通過Excel分析：分析用量明細中數據分類為MapReduce的數據。按照計算資源規格分別對MapReduce作業費用進行計算及排序。

• 通過SQL分析（已完成步驟二的數據導入，生成maxcomputefee表）：

  --分析MapReduce作業消費。
  SELECT
  REPLACE（SUBSTR(endtime,1,10),'-','') AS ds,
            feeid AS instanceid ,
            projectid ,
            source_type ,
            (cu_usage/3600) as cuh,
             CASE
                         WHEN source_type ='OdpsSpot' THEN (cu_usage/3600)*0.154
                         ELSE (cu_usage/3600)*0.46
                     END AS mr_fee
  FROM maxcomputefee
  WHERE TYPE = 'MapReduce'
    AND
    REPLACE（SUBSTR(endtime,1,10),'-','')>= '20230701'
  GROUP BY
  REPLACE（SUBSTR(endtime,1,10),'-','') ,feeid ,
               projectid ,
               source_type,
               (cu_usage/3600)
  ORDER BY mr_fee DESC LIMIT 10000 ;

分析外部表作業（OTS和OSS）

• 通過Excel分析：分析用量明細中數據分類為ComputationSqlOTS、ComputationSqlOSS的數據。對SQL外部表計算費用進行排序，費用計算公式為（SQL/交互式分析讀取量（Byte）/1024/1024/1024 × 單價（0.03））。

• 通過SQL分析（已完成步驟二的數據導入，生成maxcomputefee表）：

  --分析OTS外部表SQL作業消費。
  SELECT REPLACE（SUBSTR(endtime,1,10),'-','')  AS ds
        	,feeid
          ,projectid
          ,source_type
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) AS computationsqlinput
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     REPLACE（SUBSTR(endtime,1,10),'-','')  >= '20230701'
  GROUP BY REPLACE（SUBSTR(endtime,1,10),'-','') 
           ,feeid
           ,projectid
           ,source_type
           ,computationsqlinput
  ORDER BY ots_fee DESC
  LIMIT 10000
  ;
  
  --分析OSS外部表SQL作業消費。
  SELECT REPLACE（SUBSTR(endtime,1,10),'-','')  AS ds
        	,feeid
          ,projectid
          ,source_type
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) AS computationsqlinput
          ,(computationsqlinput/1024/1024/1024)*1*0.03 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     REPLACE（SUBSTR(endtime,1,10),'-','')  >= '20230701'
  GROUP BY REPLACE（SUBSTR(endtime,1,10),'-','') 
           ,feeid
           ,projectid
           ,source_type
           ,computationsqlinput
  ORDER BY ots_fee DESC
  LIMIT 10000
  ;

分析Spark計算費用

• 通過Excel分析：分用量明細中數據分類為spark的數據。對作業費用進行排序，計算公式為（MR/Spark作業計算（Core*Second）/3600 × 單價（0.66））（MR/Spark作業計算（Core*Second）/3600 × 單價（0.1041））。

• 通過SQL分析（已完成步驟二的數據導入，生成maxcomputefee表）：

  --分析Spark作業消費。
  SELECT
  REPLACE（SUBSTR(endtime,1,10),'-','') AS ds,
            feeid AS instanceid ,
            projectid ,
            source_type ,
            (cu_usage/3600) as cuh,
             CASE
                         WHEN source_type ='OdpsSpot' THEN (cu_usage/3600)*0.22
                         ELSE (cu_usage/3600)*0.66
                     END AS spark_fee
  FROM maxcomputefee
  WHERE TYPE = 'spark'
    AND
    REPLACE（SUBSTR(endtime,1,10),'-','')>= '20230701'
  GROUP BY
  REPLACE（SUBSTR(endtime,1,10),'-','') ,feeid ,
               projectid ,
               source_type,
               (cu_usage/3600)
  ORDER BY spark_fee DESC LIMIT 10000 ;

更多信息

如果您想了解更多關于費用成本優化的文章，請參見成本優化概述。

相關文檔

TO_CHAR函數分為字符串類型和日期類型兩種，關于TO_CHAR函數的詳情，請參見TO_CHAR。