日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

LLM調用鏈分析

將LLM的Trace數據上報至可觀測鏈路 OpenTelemetry 版后,調用鏈分析功能將會對大模型應用的調用鏈信息進行分析,您可以在調用鏈分析頁面查看大模型調用鏈中不同類型的Span耗時、以及Span的關聯信息,例如Input、Output、Token消耗等。

重要

LLM調用鏈分析功能正在內測中,如需體驗該功能,請加入釘釘群(群號:67690017432)獲取幫助。

前提條件

已將LLM的Trace數據上報至可觀測鏈路 OpenTelemetry 版。具體操作,請參見開始監控LLM應用

篩選調用鏈

  1. 登錄可觀測鏈路 OpenTelemetry 版控制臺

  2. 在左側導航欄單擊調用鏈分析,然后在頂部菜單欄選擇目標地域。

  3. 調用鏈分析頁面右上角的時間選擇框設置需要查詢的時間段,并單擊大模型視圖

  4. 篩選調用鏈。

    • 在左側快捷篩選區域,通過狀態、耗時、Span名稱、接口名稱和模型名稱維度快速篩選調用鏈。

      篩選條件將會顯示在頁面頂部文本框內。

    • 單擊頂部文本框,在下拉彈窗中修改篩選條件或設置其他維度的篩選條件。

      image

    • 在頂部文本框直接輸入查詢條件。查詢語法說明,請參見調用鏈分析查詢用法說明

      說明
      • 單擊文本框右側的保存圖標可以保存當前篩選條件。

      • 單擊文本框右側的已保存視圖可以查看已保存的篩選條件,單擊目標的篩選條件可以快速查看對應篩選條件下的調用鏈信息。

      • 選擇聚合維度,可以將篩選后的數據按照指定維度聚合。

調用鏈列表

篩選設置完成后,調用鏈分析頁面將會顯示篩選過濾后的LLM調用鏈信息,包括調用次數、Tokens、耗時百分位和耗時分布,以及調用鏈列表。

image

調用鏈列表顯示了調用鏈的Trace ID、接口名稱、耗時、Total tokens、開始時間、會話ID。在調用鏈列表區域,您可以執行以下操作:

  • 單擊目標Trace右側操作列的詳情,可以查看完整的調用鏈信息。更多信息,請參見調用鏈詳情

  • 單擊目標Trace右側操作列的日志,可以查看調用鏈對應的日志信息。

  • 單擊右上角的設置圖標可以增加或隱藏列表顯示的參數。

  • 將鼠標懸浮于Trace參數上,單擊右側的過濾圖標,可以將當前參數值添加為篩選條件。

調用鏈詳情

在調用鏈詳情面板可以查看調用鏈的時間軸、開始時間、總耗時,以及Span名稱、類型、應用名稱、Token數、耗時等信息。

image

在鏈路詳情面板,您可以執行以下操作:

  • 將鼠標懸浮于Tokens標簽上,可以查看Token數據詳情。

  • 單擊Span名稱,可以查看該Span的時長、開始時間、附加信息、指標、日志等信息。不同的操作類型展示信息略有不同。

    • 附加信息展示了模型名稱、輸入問題、Prompt模板、調用參數和返回結果。

    • Attribute字段說明,請參見LLM Trace字段定義說明

相關文檔

調用鏈分析更多功能說明,請參見調用鏈分析