前提條件

已授權(quán)該角色，詳情請參見阿里云賬號角色授權(quán)。

背景信息

當前MetaService服務(wù)僅支持免AccessKey訪問OSS、LogService和MNS數(shù)據(jù)。

權(quán)限內(nèi)容

支持MetaService的數(shù)據(jù)源

目前在E-MapReduce上支持MetaService的產(chǎn)品有OSS、LogService和MNS。您可以在E-MapReduce集群上使用E-MapReduce SDK接口免AccessKey讀寫上述數(shù)據(jù)源。

MetaService默認只有OSS的讀寫權(quán)限，如果您希望MetaService支持LogService和MNS，請前往RAM控制臺為AliyunEmrEcsDefaultRole應(yīng)用角色增加LogService和MNS的讀寫權(quán)限，RAM控制臺鏈接為RAM控制臺。

RAM角色授權(quán)，詳情請參見為RAM角色授權(quán)。

使用MetaService

• EMR自帶服務(wù)

  EMR自帶服務(wù)中運行的作業(yè)均可以自動基于MetaSerivce服務(wù)免明文AccessKey訪問阿里云資源（OSS、LogService和MNS）

  以下是使用MetaService（新）和不使用MetaService（舊）的對比示例：

  • 通過Hadoop命令行查看OSS數(shù)據(jù)
    • 舊方式

      hadoop fs -ls oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c

    • 新方式

      hadoop fs -ls oss://bucket/a/b/c

  • 通過Hive建表
    • 舊方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c';

    • 新方式

      CREATE EXTERNAL TABLE test_table(id INT, name string)
              ROW FORMAT DELIMITED
              FIELDS TERMINATED BY '/t'
              LOCATION 'oss://bucket/a/b/c';

  • 使用Spark查看OSS數(shù)據(jù)
    • 舊方式

      val data = sc.textFile("oss://ZaH******As1s:Ba23N**************sdaBj2@bucket.oss-cn-hangzhou-internal.aliyuncs.com/a/b/c")

    • 新方式

      val data = sc.textFile("oss://bucket/a/b/c")

• 自行部署服務(wù)
  MetaService是一個HTTP服務(wù)，您可以直接訪問這個HTTP服務(wù)的URL獲取STS臨時憑證，然后在自行搭建的系統(tǒng)中使用該STS臨時憑證免AccessKey訪問阿里云資源。

  重要 STS臨時憑證失效前半小時會生成新的STS臨時憑證，在這半小時內(nèi)，新舊STS臨時憑證均可使用。

  例如，通過curl http://localhost:10011/cluster-region，即可獲得當前集群所在Region。

  當前MetaService支持以下幾類信息：

  • Region：/cluster-region
  • 角色名：/cluster-role-name
  • AccessKeyID：/role-access-key-id
  • AccessKeySecret：/role-access-key-secret
  • SecurityToken：/role-security-token
  • 網(wǎng)絡(luò)類型：/cluster-network-type