說明
目前OpenSearch對A/B Test進行的數據統計指標包括：核心指標，流量指標，行為指標，成交指標，用戶分析指標，五個維度：
核心指標
指標名 | 定義 | 計算公式 | 依賴 | 意義 |
搜索PV | PageView：發送搜索請求且成功的次數（翻頁也屬于搜索請求） | 每發送一個搜索請求返回成功記1 | 當日進行搜索（且搜索成功）的次數 | |
搜索UV | UserView：訪問過搜索結果頁的用戶數 | 同一個用戶無論訪問多少次都只記1 | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 當日進行搜索的用戶數 |
翻頁率 | 翻頁請求占搜索PV的比例 | 翻頁請求PV/搜索PV | 翻頁請求占總搜索PV的比例，衡量搜索召回、排序的效果 | |
無結果率 | 返回的Item數為0的比例 | 返回的item數為0的搜索PV/搜索PV | 搜索無結果的比例，衡量搜索召回效果/內容豐富度 | |
PV-CTR | 每次搜索的點擊率 | IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 搜索結果的點擊情況，衡量搜索召回、排序的效果 |
UV-CTR | 點擊用戶率 | IPV_UV/搜索UV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 用戶對搜索結果的點擊情況，衡量搜索召回、排序的效果 |
TOP5 PV-CTR | 前五位Item的點擊率（不計翻頁后的點擊） | 前五位Item的IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 前五個Item的點擊情況，衡量搜索排序效果 |
人均搜索PV | 訪問搜索的用戶平均搜索成功的次數 | 搜索PV/搜索UV | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 用戶平均搜索次數，搜索次數多一方面體現用戶對搜索感興趣，另一方面體現用戶無法通過較少的搜索滿足需求 |
次日留存率 | 搜索用戶第二天仍進行搜索的用戶占比 | UV(t-1)∩UV(t)/UV(t-1) | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 反映用戶搜索粘性 |
流量指標
指標名 | 定義 | 計算公式 | 依賴 | 意義 |
搜索PV | PageView：發送搜索請求且成功的次數（翻頁也屬于搜索請求） | 每發送一個搜索請求返回成功記1 | 當日進行搜索（且搜索成功）的次數 | |
搜索UV | UserView：訪問過搜索結果頁的用戶數 | 同一個用戶無論訪問多少次都只記1 | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 當日進行搜索的用戶數 |
人均搜索PV | 訪問搜索的用戶平均搜索成功的次數 | 搜索PV/搜索UV | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 用戶平均搜索次數，搜索次數多一方面體現用戶對搜索感興趣，另一方面體現用戶無法通過較少的搜索滿足需求 |
Item曝光次數 | Item（搜索結果頁面上的商品/內容）的展現次數。在翻頁或者加載的過程中，如果結果重復出現在第二頁算一個新的曝光PV，結果不去重 | 如果開通數據采集功能并上傳了曝光數據，則每次曝光記1否則，記每次返回的Item數 | 依賴開通數據采集功能，并且上傳了用戶曝光行為數據/也可不開通或上傳，但數據準確度降低 | 當日搜索結果的曝光次數 |
Query數 | 所有用戶搜索的Query按用戶去重后的結果 | 用戶搜索的去重Query數總和兩個用戶搜索了同一Query記2 | 依賴通過SDK/API搜索時，搜索請求設置user_id參數如果搜索請求中設置了raw_query，則使用raw_query；否則采用名字是default索引上的value作為query，如果沒有default索引，則query全是空 | 用戶搜索的Query總數（減小翻頁、重復搜索的影響） |
人均Query數 | 人均搜索的去重Query數 | Query數/搜索UV | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 人均搜索的Query數（減小翻頁、重復搜索的影響） |
獨立Query數 | 所有用戶搜索的獨立Query數量 | 用戶搜索的所有Query去重后的數量，多個用戶搜索同一Query記1 | 依賴通過SDK/API搜索時，搜索請求設置raw_query參數/或無需設置如果搜索請求中設置了raw_query，則使用raw_query；否則采用名字是default索引上的value作為query，如果沒有default索引，則query全是空 | 反映Query的豐富度 |
翻頁率 | 翻頁請求占搜索PV的比例 | 翻頁請求PV/搜索PV | 翻頁請求占總搜索PV的比例，衡量搜索召回、排序的效果 | |
無結果率 | 返回的Item數為0的比例 | 返回的item數為0的搜索PV/搜索PV | 搜索無結果的比例，衡量搜索召回效果/內容豐富度 | |
少結果率 | 返回的Item數小于等于5的比例 | 返回的item數小于等于5的搜索PV/搜索PV | 搜索少結果的比例，衡量搜索召回效果/內容豐富度 | |
請求報錯次數 | 發送搜索請求但因為被限流等原因請求報錯的次數 | 每請求報錯一次記1 | 反映應用是否需要擴容或進行其他調整 | |
請求報錯率 | 發送搜索請求但因為被限流等原因請求報錯的比例 | 請求報錯次數/（搜索PV+請求報錯次數） | 反映應用是否需要擴容或進行其他調整 |
行為指標
指標名 | 定義 | 計算公式 | 依賴 | 意義 |
IPV | ItemPageView。Item點擊次數 | 每點擊一次記1 | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 搜索結果的點擊次數 |
IPV_UV | 在搜索結果頁中點擊了Item的用戶數 | 同一個用戶無論點擊多少次都只記1 | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據（注：上傳數據時需要指定user_id參數） | 搜索結果的點擊用戶數 |
人均IPV | 搜索用戶平均從搜索頁面中點擊商品的次數。 | IPV/搜索UV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據（注：上傳數據時需要指定user_id參數） | 搜索結果的人均點擊次數 |
PV-CTR | 每次搜索的點擊率 | IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 搜索結果的點擊情況，衡量搜索召回、排序的效果 |
UV-CTR | 點擊用戶率 | IPV_UV/搜索UV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 用戶對搜索結果的點擊情況，衡量搜索召回、排序的效果 |
Item-CTR | Item（搜索結果頁面上的商品/內容）點擊率 | IPV/Item曝光次數 | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 搜索結果的點擊情況，衡量搜索召回、排序的效果 |
有點擊PV占比 | 有點擊的PV占比 | 有點擊的搜索PV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 搜索結果的點擊情況，衡量搜索召回、排序的效果 |
TOP3 PV-CTR | 前三位Item的點擊率（不計翻頁后的點擊） | 前三位Item的IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 前三個Item的點擊情況，衡量搜索排序效果 |
TOP5 PV-CTR | 前五位Item的點擊率（不計翻頁后的點擊） | 前五位Item的IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 前五個Item的點擊情況，衡量搜索排序效果 |
TOP10 PV-CTR | 前十位Item的點擊率（不計翻頁后的點擊） | 前十位Item的IPV/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據 | 前十個Item的點擊情況，衡量搜索排序效果 |
收藏數 | 由搜索直接引導的對商品進行收藏的次數 | 每收藏一次記1 | 依賴開通數據采集功能，并且上傳了用戶收藏(bhv_type=”collect”)行為數據 | 衡量搜索召回、排序效果和引導收藏效果 |
收藏轉化率 | 收藏行為的轉化率 | 收藏數/搜索PV | 依賴開通數據采集功能，并且上傳了用戶收藏(bhv_type=”collect”)行為數據 | 衡量搜索召回、排序效果和引導收藏效果 |
加購數 | 由搜索直接引導的把商品加入購物車的次數 | 每加購一次記1 | 依賴開通數據采集功能，并且上傳了用戶加入購物車，加入書架，加入歌單(bhv_type=”cart”)行為數據 | 衡量搜索召回、排序效果和引導加購效果 |
加購轉化率 | 加入購物車行為的轉化率 | 加購數/搜索PV | 依賴開通數據采集功能，并且上傳了用戶加入購物車，加入書架，加入歌單(bhv_type=”cart”)行為數據 | 衡量搜索召回、排序效果和引導加購效果 |
點贊數 | 由搜索直接引導的對商品進行點贊的次數 | 每點贊一次記1 | 依賴開通數據采集功能，并且上傳了用戶點贊(bhv_type=”like”)行為數據 | 衡量搜索召回、排序效果和引導點贊效果 |
點贊轉化率 | 點贊行為的轉化率 | 點贊數/搜索PV | 依賴開通數據采集功能，并且上傳了用戶點贊(bhv_type=”like”)行為數據 | 衡量搜索召回、排序效果和引導點贊效果 |
評論數 | 由搜索直接引導的對商品進行評論的次數 | 每評論一次記1 | 依賴開通數據采集功能，并且上傳了用戶評論(bhv_type=”comment”)行為數據 | 衡量搜索召回、排序效果和引導評論效果 |
評論轉化率 | 評論行為的轉化率 | 評論數/搜索PV | 依賴開通數據采集功能，并且上傳了用戶評論(bhv_type=”comment”)行為數據 | 衡量搜索召回、排序效果和引導評論效果 |
成交指標
指標名 | 定義 | 計算公式 | 依賴 | 意義 |
搜索引導GMV | 由搜索直接引導的成交金額 | 成交金額的總和 | 依賴開通數據采集功能，并且上傳了用戶購買(bhv_type=”buy”)行為數據 | 衡量搜索召回、排序效果和引導購買效果 |
搜索引導成交UV | 由搜索直接引導的有購買行為的用戶數 | 同一個用戶無論成交多少次都只記1 | 依賴開通數據采集功能，并且上傳了用戶購買(bhv_type=”buy”)行為數據（注：上傳數據時需要指定user_id參數） | 衡量搜索召回、排序效果和引導購買效果 |
搜索引導客單價 | 通過搜索直接引導成交的每個用戶的平均成交額 | 搜索引導GMV/搜索引導成交UV | 依賴開通數據采集功能，并且上傳了用戶購買(bhv_type=”buy”)行為數據 | 衡量搜索召回、排序效果和引導購買效果 |
下單轉化率 | 搜索用戶中有購買行為的用戶占比 | 搜索引導成交UV/搜索UV | 依賴開通數據采集功能，并且上傳了用戶購買(bhv_type=”buy”)行為數據 | 衡量搜索召回、排序效果和引導購買效果 |
點擊成交率 | 有點擊行為的用戶中有購買行為的用戶占比 | 搜索引導成交UV/IPV_UV | 依賴開通數據采集功能，并且上傳了用戶購買(bhv_type=”buy”)行為數據 | 衡量搜索召回、排序效果和引導購買效果 |
用戶分析指標
指標名 | 定義 | 計算公式 | 依賴 | 意義 |
次日留存率 | 搜索用戶第二天仍進行搜索的用戶占比 | UV(t-1)∩UV(t)/UV(t-1) | 依賴通過SDK/API搜索時，搜索請求設置user_id參數 | 反映用戶搜索粘性 |
跳失用戶率 | 指使用搜索的用戶中沒有點擊的比例 | (UV-IPV_UV)/搜索UV | 依賴開通數據采集功能，并且上傳了用戶點擊行為數據（注：上傳數據時需要指定user_id參數） | 衡量搜索召回、排序效果 |
使用介紹
單日數據默認展現最近一天各個數據指標的情況。可通過日期控件選擇展示指標的日期。目前數據采集數據產出暫時為T+1天，上傳行為數據后第二天才能查看報表。
數據對比以折線圖的方式默認展現最近7天各個數據指標的變化。可通過日期控件選擇展示指標的時間跨度。可通過點擊圖表中指標的icon勾選在圖表中展示的指標項。
查看方法：點擊導航欄“統計報表—->A/B測試報表”，選擇應用、實驗組、實驗、指標類型及時間，查看統計圖表。
