科天云以音視頻技術賦予各行業(yè)新的生命力
科天云研發(fā)團隊匯集了很多曾在思科、華為、IBM等企業(yè)就職的人才，有非常豐富的音視頻產(chǎn)品研發(fā)經(jīng)驗。
如圖所示，科天云自研的音視頻通用SDK可將各種設備接進來，無論是在公有云上直接用，還是在私有云上部署，滿足各類客戶的需求。
RTC兩個難點
實時音視頻技術RTC的兩個難點：一是如何兼容海量設備，二是怎樣應對復雜多變的網(wǎng)絡。
適配海量終端
先從設備開始。圖上主要說明了視頻會議如何涵蓋從口袋到董事會會議室的需求，從最左邊最簡單的手機、Pad，到桌面設備，到雙屏、三屏的網(wǎng)真。用過視頻會議的人應該都聽說過網(wǎng)真，它的屏幕可以與真人大小一樣，很多電視采訪都使用了網(wǎng)真設備。
在公司會議室開會時，大多數(shù)依然使用SIP/H.323硬件終端。一些有安全要求的制造業(yè)客戶用VDI虛擬桌面，這種硬件跑會議會碰到很多問題，VDI點對點呼叫會有所謂發(fā)卡效應，音視頻都要到虛擬服務器繞一圈。在這種服務器上做音視頻、會議客戶端要采取特殊措施。
SIP/H.323協(xié)議兼容其實非常復雜，最少要兼容國際廠商例如思科、POLYCOM、AVAYA，國內(nèi)廠商例如華為、中興，這些頭部廠商都要支持，甚至這些廠商多年前的老設備老版本也要兼容。
適配海量家電
到去年，隨著萬物互聯(lián)的興起，以及母公司TCL（因為其做屏幕有各種家電）提出將整個音視頻帶到所有家電中的戰(zhàn)略，科天云開始擴展適配終端的類型。這也是非常大的挑戰(zhàn)。
以前主要做安卓手機，現(xiàn)在安卓電視要適配CPU、GPU，還有分辨率的適配、豎屏變橫屏等。現(xiàn)在市場上也推出了帶攝像頭的掃地機器人，帶屏幕的吸油煙機、冰箱，智能門鈴也有屏幕攝像頭，這些設備多種多樣。
音視頻賦能智能家電是很有意義的，一些老人和小孩還是習慣看電視，新的電視機上有攝像頭，在外辦公的我們想看家里的老人和孩子時，在手機上點一下，在家那端的老人孩子無需做任何操作就能音視頻通話了，很方便，可以時刻關愛家人。
章魚跨平臺全端SDK
我們花了很大功夫去做上述終端的適配。用純C代碼實現(xiàn)端側所有功能，WebRTC是用C++寫的，用C語言才能做到可移植，做到非常小的安裝包，適應超低功耗，利用不同編譯器適應不同平臺。雖然我們做了移植和裁減，但在抗弱網(wǎng)能力和首幀低延時方面還是實現(xiàn)了非常好的效果。
音頻弱網(wǎng)卡頓現(xiàn)象
音頻整體比視頻從發(fā)送到接收要簡單一些。整個損耗大部分發(fā)生在網(wǎng)絡側，設備側損耗和信號處理方面也有一些，抗丟包擁塞控制方面，音視頻的技術都類似。
章魚音頻抗丟包
在客戶端方面，我們科天云自研的冗余算法比較好，實測下在70%左右的網(wǎng)絡丟包場景下音頻可接受。在瀏覽器和SIP終端能做的優(yōu)化手段，沒有軟客戶端那么多，只能利用Opus帶內(nèi)FEC，可對抗40%左右丟包。
RTC視頻全流程
上圖是RTC視頻全流程的簡圖。它比音頻復雜，做視頻傳輸?shù)暮诵氖谴a率控制器，需要控制編碼碼率、FEC冗余度、丟包重傳碼率，最后通過Paced Sender控制發(fā)送碼率到接收端。期間經(jīng)過了很多代的迭代，最早完全靠接收端在REMB報文中反饋可接收帶寬，現(xiàn)在主要在發(fā)送端進行帶寬評估（基于接收端反饋的Transport-CC報文）。
章魚視頻抗丟包
最后通過以上各個環(huán)節(jié)優(yōu)化，科天云在視頻方面可對抗60%左右的丟包。根據(jù)NACK請求進行丟包重傳，在低RTT的場景下NACK重傳的抗丟包效果還是比較明顯，同時也結合一些FEC的糾錯。SIP在視頻方面需要根據(jù)SIP設備反饋的丟包率及時延情況，動態(tài)調(diào)整視頻分辨率和碼率，SIP終端的軟件硬件都比較難控制，有很多廠家，相較軟客戶端調(diào)優(yōu)難度系數(shù)大。
章魚信令升級
如果把音視頻都做到較好的弱網(wǎng)對抗性了，信令就是我們接下來需要優(yōu)化的點了，要考慮信令的升級。最早比較多同行用WebSocket傳信令，還有人在私有的RUDP協(xié)議上做信令傳輸，WebRTC新標準在推WebTransport，用它做信令升級，相較于基于TCP的WebSocket有很多優(yōu)勢。比如：更快的連接握手、連接多路復用、擴展FEC機制、支持連接遷移、改進的擁塞控制算法等。
如需獲得完整版演講PPT內(nèi)容，請您掃碼留下聯(lián)系方式。
獲取產(chǎn)品/方案詳情
關于科天云（www.ketianyun.com）
科天云專注為企業(yè)用戶提供領先的專業(yè)級音視頻協(xié)作服務和解決方案�？铺煸茟{借多年視頻會議及智能客服的音視頻能力沉淀積累，依托音視頻功能模組（aPass中臺）的開發(fā)能力，打造“音視頻+AIOT+場景應用解決方案”的實時音視頻連接應用服務，為各類品牌設備商、ISV、SI提供最專業(yè)的音視頻、云邊協(xié)同、智能化的解決方案和服務能力�？铺煸品⻊找迅采w制造、教育、醫(yī)療、政府、金融、地產(chǎn)等諸多行業(yè)，為超過10萬家企業(yè)客戶加速推動協(xié)作變革和數(shù)字轉(zhuǎn)型。
