海量數據的爆發與增長,使得數據市場初步形成了數據產生、數據處理和數據監控三大產業格局。數據處理的云計算和數據產生的通信設備都是萬億級別的市場空間。那么在數據的生產和處理爆發式增長的背景下,流量數據監控行業雛形初具,未來潛力空間巨大。
流量數據的監控,又稱為網絡可視化,可類比為虛擬世界的攝像頭。在手段上,主要以網絡流量的采集與深度檢測為基本手段對虛擬世界的流量進行采集復制,再利用采集器按預設規則進行篩選并存儲。對 MAC 或 IP 報文逐層進行頭解析,不但能從協議頭獲得關于各字段的信息,還能夠按需進行篩選、歸類分析,甚至能夠直接從內容字段獲取到明文信息。同時綜合各種網絡處理與信息處理技術,對網絡的物理鏈路、邏輯拓撲、運行質量、協議標準、流量內容、用戶信息、承載業務等進行監測、識別、統計、展現、管控,進而大數據分析與挖掘。
最底層為數據的獲取層,也是網絡可視化基礎架構,是前端流量采集設備最核心部分,主要通過分光器或者分流器或者物理天線接入到實際網絡中,獲取當前網絡傳輸的所有信息(數據包),解碼數據包的網絡協議來了解數據,還原數據包中的明文信息,然后根據相應接口標準,移交相關數據。根據接入實際網絡位置的不同,又分為固網數據采集和移動網絡數據采集。中間層為數據的整合計算層,即存儲移交上來的數據,數據的計算處理與檢索整合。中間層的核心為大數據基礎軟件系統。最上層是數據的應用層,用統計分析方法與最新的大數據分析算法對收集來的海量數據進行分析,提取有用信息加以詳細研究和概括總結,并用系統可視化的形式展示。
寬帶網絡可視化的核心產品為網絡分流器(Network Distributor),又稱為流量采集器(Traffic Collector)或者網絡探針(Network Probe),通常工作在網絡層、傳送層,專門用于固網流量分析領域,是一種進行固網原始數據獲取、分層解析、按需篩選、快速移交的產品。目前按端口類型有 GE、10G、40G、100G 等產品。根據產品形態和功能不同,寬帶網產品可進一步細分為機架式、盒式和加速卡。
移動網絡可視化是在移動接入側進行數據采集, 主要用于收集移動網絡接入網部分和移動空口原始數據,并進行分層解析、按需篩選,形成群體位置等信息,主要數據制式包括:2G/3G/4G/5G。這部分采集到的信息向上匯聚到數據整合計算和應用系統中,同信息安全、網絡優化與運維和大數據運營等領域應用系統組成整體解決方案。主要應用在公安系統的社會安全領域。移動網絡可視化產品根據其產品形態和功能不同,可進一步細分為集中式、固定式和移動式。