超高清視頻監控發展面臨的技術問題

在安防領域，工廠安裝監控的超高清視頻監控有著非常值得期待的應用前景，但只有解決了阻礙應用的傳輸、算力、算法、存儲、安全等幾個問題之后，應用的前景才會變得清晰起來。另一方面，傳統網絡正在發生天翻地覆的改變，計算和存儲能力空前提高，算法進一步硬件化智能化，安全問題也從未像今天一樣成為國家意志，凡此種種為超高清視頻監控的技術突破帶來了光明的前景和奮進的動力。

DMA機制示意圖.jpg

1.傳輸問題

別墅安裝超高清視頻監控面臨的第一個問題是傳輸問題。由于4K視頻超大的分辨率，對于25fps的幀率來說，在相同編碼規格下，其碼率約為高清視頻（1080P）的4倍以上，對于傳輸的要求也相應提升了數倍。即使采用H.265等較為先進的編碼方式，由于超高清視頻在色深、幀率、分辨率等方面的改進，其傳輸量也是不可小覷的。到了8K超高清視頻的時代，其傳輸量又會有成倍的增加。因此，增加帶寬，即增加端側的吞吐能力和增加中間鏈路的傳輸能力是超高清視頻監控面臨的首要問題。

（1）增加端側的吞吐能力

端即超高清視頻的接收端和發送端，增加兩端的網卡上下行能力極為關鍵。上下行能力受以下因素制約：網卡性能、緩沖區大小與調度機制、網絡協議棧工作效率、超高清視頻監控應用進程本身的吞吐能力、視頻接收與發送的策略等。

①網卡性能優化

學校安裝監控為了保證監控視頻傳輸質量，我們以單千兆卡60%的有效上下行傳輸率計算。在單千兆卡的情況下，對于H.264MainProfile編碼的4K超高清視頻，即使其碼率只有1080P的4倍也會接近30Mbps，因此單千兆網卡只能承載20路左右的4K超高清視頻。這對于瀏覽客戶端可能問題不大，但對于流媒體服務器是遠遠不夠的。因此，從千兆卡升級到萬兆卡，或者多張千兆卡綁定以擴展上下行能力就顯得尤為重要。

另一方面，倉庫安裝監控對于諸多由軟件完成的傳輸功能，例如網絡包軟校驗、加解密、DPI等功能完全可以“卸載”到硬件中執行，這就是我們耳熟能詳的硬件卸載加速技術。通過SOC的方式將這些功能以硬件語言設計和描述，在SOC內實現ASIC電路是一種明智之舉。

②緩沖區優化

重慶工廠安裝監控對于視頻監控的網絡傳輸應用中流媒體服務器占了流量的大頭。因此流媒體服務有針對性地改進機制和提升性能就顯得越發必要。緩沖區作為網卡與操作系統、應用軟件交互的中間媒介理應做出相應的改進。

a.HugePage機制：操作系統中內存頁面的分配粒度是4KB，對于超高清視頻這顯然是不夠的，因此有選擇性地啟用大內存頁機制甚至巨頁機制，使其分配的粒度達到若干MB甚至1GB，以減少內存頁倒換帶來的系統開銷，這無論對于發送端還是接收端都具有很重要的意義。

b.DMA機制：DMA即直接內存存取機制。通過DMA可以摒棄傳統的“網卡緩存->主存->CPU緩存”的傳輸路徑，轉而通過DMA控制器建立網卡緩存到CPU三級緩存之間的映射實現數據的快速交換。由于繞過了主存讀寫這個速度較慢的步驟并省略了2次PCI-E總線的IO，因此讀寫速度會大大加快。

③網絡協議棧優化

傳統網絡協議棧是以內核態驅動的方式存在于操作系統中的，其關鍵工作機制是中斷響應、延遲過程處理、通用包處理。

中斷響應：傳統網絡協議棧驅動以網卡的中斷機制為基礎，網絡包的到達和發送完成均以中斷機制通知上層網絡協議棧，以便協議棧驅動繼續處理接收和發送。

延遲過程處理：協議棧驅動響應中斷后，并不是將包的收取或發送處理包含在中斷處理例程中占用中斷時間，因為中斷的優先級較高，如果中斷占用的時間太長會影響其他優先級線程的執行，因此中斷處理例程將具體的收取/發送等事務性工作放在DPC（延遲過程調用）隊列中，待中斷優先級下降時才處理，這樣就減少了中斷打擾占用的時間。

通用包機制：網絡協議棧是瞄準通用型網絡包處理的，因此對于OSI模型的每層協議都會進行相應的處理和校驗，這比較適合流量不大包類型各異的情況。而在高清視頻流媒體服務器上流量較大，且傳輸的一般為信令報文和視頻包，其協議格式和封裝方式固定。

上述機制在一定程度上降低了協議棧的處理效率。針對超高清視頻流媒體服務器，可以采用改進的網絡協議棧對傳統協議棧進行旁路化改進，比如定制專門針對流媒體傳輸的專用協議棧驅動，或者嫁接高速傳輸設備的協議棧驅動。DPDK（數據平面開發套件）框架就是一個較好的選擇。DPDK是一種基于IntelX86/X64平臺的網絡數據包處理框架，也是一套數據包旁路化處理的方案，具有很高的IO處理速度，多用于SDN高速交換機和路由器的轉發驅動框架，具有以下特點和機制：

a.UIO機制：UIO（UserspaceI/O）機制將小部分驅動運行在內核態空間（硬中斷只能在內核態空間處理），大部分運行在用戶態空間以實現旁路化機制。

b.SIMD機制：DPDK框架采用批量方式同時處理多個網絡數據包，基于向量式編程，一個周期內對所有網絡數據包進行處理，加大了處理吞吐量。

c.緩存優化機制：采用Cacheline對齊、Cache數據預取等策略加快緩存中數據的讀取和處理速度。

d.PDM機制：PDM（PoolModeDriver）機制拋棄中斷模式，改為基于中斷+輪詢的方式收包，避免了中斷開銷。

e.無鎖循環隊列機制：支持單生產者入列、單消費者出列和多生產者入列、多消費者出列的操作，因此可以提高傳輸效率并保證數據同步。

f.處理器親和性機制：利用處理器親和性（CPUAffinity）機制將IO線程綁定到若干個CPU核上，以此減少線程調度和切換從而降低切換開銷，同時由于線程被綁定在固定的CPU核上，CPU緩存的命中率大大提高。

g.多隊列機制：通過多隊列網卡驅動的支持，將各個隊列綁定到不同的CPU核上，以滿足網卡高吞吐的需求。

h.DDIO機制：DDIO（DataDirectIO）是Intel提出的技術，允許網卡與CPU通過LLC（lastlevelcache）直接交換網絡數據，從而繞過主存，既縮短了交互流程，也提升了交互的速度。該技術類似DMA機制，但比DMA具有更高的效率。

i.硬件加速機制：將基礎性重復性的軟事務（例如計算分析類任務、TCP組包類任務和TCP分段任務等）“卸載”給硬件完成以加快處理速度。

瀏覽次數：3835時間：2020/1/8 15:33:02

熱點新聞更多