1 U-vMOS重新定義視頻體驗評估標準
視頻已成為網絡上的最主要流量,視頻業(yè)務體驗已成為衡量網絡服務質量的關鍵指標。伴隨著視頻分辨率的不斷提升(從720P/1080P逐漸過度至4K/8K),視頻業(yè)務對網絡的要求也越來越高。如何評價當前網絡下視頻業(yè)務的體驗,對用戶和運營商來說意義越來越重大。
IP承載網是一個“盡力而為”的網絡,網絡視頻業(yè)務占用帶寬資源較多、實時性要求較高,并且對分組丟失、時延、抖動等網絡特性非常敏感,尤其是時變的網絡特性嚴重影響網絡視頻業(yè)務的質量。通過對網絡視頻質量的監(jiān)控和反饋,可以調節(jié)編解碼器或信道的參數,改善傳輸視頻的服務質量。因此,需要實時準確地對網絡視頻服務質量進行監(jiān)控,獲得反映用戶感受的視頻體驗質量。
早在2009年ITU-T就啟動了針對視頻業(yè)務的vMOS標準研究項目,并于2012年參考語音MOS指標體系發(fā)布了第一個基于視頻體驗的VMoS指標,用于監(jiān)控視頻經過網絡傳輸后的質量損失,關注點在于視頻QoE的檢測和問題定位。這套指標完全參考了語音MOS的定義,先定義影響因素Compression、packet-loss、rebuffering,自下而上地計算vMOS。出發(fā)點是為了發(fā)現問題,用于視頻質量監(jiān)控,只站在技術視角看問題,沒有考慮消費者對視頻體驗優(yōu)劣的評價是跨越視頻業(yè)務的全流程,也沒有站在最終消費者體驗的角度去橫向比較不同的分辨率帶給用戶的不同體驗。因此也無法完整的指導運營商網絡的設計和優(yōu)化。
華為認為在原有vMOS的基礎上,需要根據以用戶體驗為中心的評價體系標準,用統一的衡量標準,來評價不同網絡,不同屏幕,不同場景應用下的視頻體驗的好壞。基于以上出發(fā)點,華為視頻研究團隊結合人體工程學實驗,樣本調研和深入技術研究,提煉出適配全場景的視頻體驗TOP3影響因子,即視頻質量(sQaultiy),互動體驗(sInteraction)和觀看體驗(sView)。華為基于三大核心思想,設計了視頻體驗衡量體系評價標準U-vMOS,使TOP3視頻體驗影響因子得以量化,使得視頻體驗標準體系實現可采集、可評估、可演進。
影響視頻質量,操作體驗和播放體驗三個模塊的主要因素如圖2所示U-vMOS的評價模型主要分為三個部分,即視頻質量(sQuality),操作體驗(sInteraction)和播放體驗(sView),擬合出如下公式。
圖1 U-vMOS建模方法
圖2 sQuality的影響因子
圖3 sInteraction的影響因子
圖4 sView 的影響因子
1 基于U-vMOS的固定寬帶網絡評估的流程
對當前固定寬帶網絡進行基于U-vMOS的網絡評估,需要達到如下幾個目的:
- 體現單個典型用戶的U-vMOS指標
- 體現整網的U-vMOS指標
- 識別當前網絡承載視頻體驗與目標的差距及根因
- 基于根因制定網絡優(yōu)化及演進方案
基于以上目的,U-vMOS的網絡評估的流程可以分為如下3個步驟:U-vMOS目標設定、差距和根因分析、優(yōu)化方案實施
1.1U-vMOS目標設定
基于U-vMOS評估標準,視頻的原始質量是U-vMOS的基準,整體的U-vMOS是在疊加操作體驗和播放體驗之后得出的。相同分辨率的視頻的基準體驗值在不同的幀率、視頻編碼方式和碼率等條件下所能達到的U-vMOS基準不同。因此測量整體U-vMOS前需對網絡視頻的基準體驗進行測量。如下為100英寸屏幕,不同分辨率下所能達到的基準質量的范圍:
圖5 100英寸屏幕不同分辨率視頻的U-vMOS極限
1.1.1評估指標的定義
基于HTTP的視頻點播業(yè)務是目前視頻中占比最高的業(yè)務,它對網絡質量敏感,定位問題困難。本文的評估主要針對基于HTTP的點播業(yè)務。基于U-vMOS的評估體系指標采集需要考慮到體驗、業(yè)務及網絡三個層次。
l體驗KQI指標:從用戶視角出發(fā),對用戶感知進行分解和量化。體驗KQI指標參考U-vMOS關鍵要素,如視頻質量、操作體驗、播放體驗。
l業(yè)務KPI指標:以運維技術人員視角,考慮業(yè)務的交互流程,用于分析影響用戶感知的業(yè)務流程因素,例如DNS解析時間,CDN調度時間,視頻分片資源分布等。
l網絡KPI指標:直接反映網絡管道運行的關鍵性能指標,如帶寬、RTT、丟包率等。
1.1.2測試樣本空間的確定
測量樣本的選擇決定了測量結果能否完整全面地反映被測網絡的整體體驗情況。樣本包含三個維度的要求。
- 云樣本:即選取哪些視頻內容作為被測對象。云樣本的選取要考慮覆蓋不同的視頻提供商的TOP熱點節(jié)目的不同清晰度視頻源。
- 管(網絡)樣本:即選擇何種網絡場景下的用戶進行測試。管(網絡)樣本的選擇需要考慮用戶接入類型、用戶套餐、不同區(qū)域、不同的網絡層次、不同網絡負載、不同線路質量(如:與基站距離的遠近、光纖接入/銅線接入等)等因素。
- 測量時間段:不同的時間段,網絡負載不同,測試時間段需要覆蓋網絡的忙時和閑時。忙時、閑時可由用戶數或者流量大小來決定。寬帶發(fā)展聯盟認為通用場景下19:00~23:00為網絡忙時,但不同運營商的用戶行為可能不同,精確的忙時、閑時定義建議提前對運營商網絡進行用戶數及流量的評估,從而準確判斷忙時、閑時時間段。
1.1.3U-vMOS評估指標的測量
U-vMOS的測量手段,主要有如下三類:
- 視頻播放器集成U-vMOS算法引擎
在機頂盒、PC、手機/PAD等終端上集成華為U-vMOS算法引擎,通過視頻播放器獲取加載時長、卡頓、花屏等體驗參數,調用U-vMOS引擎實時計算出結果并上報服務器。
- 網絡設備打點分析
中間網絡設備可以基于播放器的關鍵行為特征針,對每用戶的視頻交互流程進行分析打點,判斷加載時長、頻道切換時長等指標進行測量。同時還能夠基于CDN與終端的實時數據傳輸速率和傳輸的數據量判斷卡頓指標。
- 專用的U-vMOS測試終端
提供一種基于X86/Android通用硬件盒子,集成各種視頻的客戶端播放器,同時集成U-vMOS算法引擎,有選擇性地抽樣部署在網絡的不同位置(基站、接入機房或者部分用戶家中),對視頻體驗進行例行監(jiān)控。
測量手段
|
優(yōu)勢
|
劣勢
|
典型場景
|
視頻播放器集成U-vMOS算法引擎
|
測量結果精確,覆蓋范圍全,實時獲取結果。
|
播放器客戶端需要升級
|
|
網絡設備打點分析
|
兩端無感知,不需要客戶主動發(fā)起測試。
|
測量精度較差,部分指標無法測量,對于HTTPS加密傳輸的視頻實施難度較大。
|
運營商實時監(jiān)控網絡中的視頻體驗質量
|
專用的U-vMOS測試終端
|
測試結果精確,實時獲取結果。
|
終端用戶抽樣,樣本數量有限。
|
一次性測試網絡的視頻體驗
|
表1 測量手段比較
1.2差距與根因識別
差距與根因識別可以分成結果可視化、U-vMOS差距分析、根因分析等3個環(huán)節(jié),對被測網絡的視頻業(yè)務體驗質量做出綜合評價,并分析體驗的差距及影響體驗的瓶頸根因。
1.2.1結果可視化
體驗數據的展現可以分為整網統合指標,用戶類指標,區(qū)域地圖等維度來展現。
- 整網綜合指標用于體現運營商對視頻的支持情況,便于不同運營商之間對比,體現運營商網絡的整體競爭力。
- 用戶類指標是展現的是運營商網絡內的特定一類用戶的U-vMOS,便于運營商內部對不同網絡方案或者套餐對視頻的滿足度進行比較評估。
- 區(qū)域地圖通過網絡拓樸與U-vMOS結合,可以清晰展現網絡不同位置下的U-vMOS分布情況,便于運營商內部對不同區(qū)域或者層次的網絡對視頻的滿足度的展示。
這些指標也可根據統計和分析需要,也可按時間段劃分測試數據記錄,衍生出全時段指數、忙時指數和閑時指數。
1.2.2U-vMOS差距分析
影響用戶體驗的瓶頸分析和問題診斷過程,應按以下原則順序進行:
圖6 U-vMOS差距分析流程
a)確定分析范圍:制定U-vMOS 閾值,篩選出U-vMOS值低于規(guī)定閾值的測試數據記錄進行逐條分析(如規(guī)定U-vMOS<3.5的測試數據記錄均納入分析范圍)。
b)云側瓶頸分析:分析測試數據記錄中的業(yè)務KPI,判斷是否存在服務器響應速度瓶頸、服務器負載能力瓶頸或服務器出口限速瓶頸。
c)網絡瓶頸分析:分析測試數據記錄中的網絡KPI,與網絡KPI要求基線進行對比,判斷影響體驗的具體維度。
1.3.3根因分析
基于網絡KPI瓶頸可以對具體網絡進行詳細評估,以確定造成網絡KPI差距(帶寬、時延、丟包)的具體組網原因。如下為可能的根因示例:
圖7 可能的根因示例
1.4優(yōu)化方案實施
基于視頻業(yè)務發(fā)展的不同時期,可以采用不同的優(yōu)化方案
視頻業(yè)務
階段
|
業(yè)務導入階段
|
中等業(yè)務規(guī)模階段
|
大業(yè)務規(guī)模階段
|
All業(yè)務階段
|
業(yè)務挑戰(zhàn)
|
高流量——單用戶視頻高碼率,保證高的U-vMOS需要為每用戶提供高通量
|
高并發(fā)——重點區(qū)域用戶出現高并發(fā),導致局部網絡大流量、高負載
|
高突發(fā)——不同區(qū)域/不同時段的瞬間并發(fā)率差異極大
|
高感知——整視頻業(yè)務質量不能實時感知,網絡質量、容量、資源不平衡的問題不能實時發(fā)現
|
網絡痛點
|
低帶寬/弱覆蓋&高時延/高丟包導致vMOS低
|
網絡層層收斂,容易出現擁塞,TCP通量下降,導致vMOS下降
|
CDN和網絡資源靜態(tài)分配,無法動態(tài)調控,導致高業(yè)務突發(fā)的區(qū)域vMOS下降
|
|
優(yōu)化方案
|
接入網優(yōu)化:銅改光/Vectoring/G.fast,或者部署HTR
|
l OLT分光比降低,< 1:32
l OLT上行2*10GE
l BNG下移,簡化OLT到BNG之間的二層匯聚網絡
l 分布式CDN/CDN下沉,降低城域/骨干網擴容壓力
|
IPTV平臺和網絡進行協同,防止網絡過載,保證業(yè)務選擇最優(yōu)CDN路徑
|
可視化運維:KQI & KPI感知、E2E視頻可視化運維
|
