隨著移動(dòng)設(shè)備的進(jìn)一步普及，越來越多的消費(fèi)者選擇在移動(dòng)設(shè)備上觀看視頻。據(jù)eMarketer2019年的數(shù)據(jù)，美國消費(fèi)者每天平均在移動(dòng)設(shè)備上花費(fèi)3小時(shí)43分鐘，比花在看電視上的時(shí)間還多了8分鐘，這也是人們第一次被發(fā)現(xiàn)花費(fèi)在移動(dòng)設(shè)備上的時(shí)間多于看電視的時(shí)間。
然而，傳統(tǒng)的內(nèi)容生產(chǎn)設(shè)備制作的視頻大多數(shù)是橫屏（landscape）的，而移動(dòng)顯示設(shè)備默認(rèn)是豎屏的（portrait），這就導(dǎo)致橫屏內(nèi)容在豎屏設(shè)備上的播放體驗(yàn)并不是很好。
視頻裁剪是解決這個(gè)問題的方法之一。然而，人工的視頻裁剪是一件非�？菰�、耗時(shí)且精細(xì)的工作，普通人很難勝任。因此，誕生了許多智能視頻裁剪的算法，期望通過算法可以自動(dòng)、快速地完成優(yōu)質(zhì)的視頻裁剪。GoogleAI13日在官博宣布開源框架AutoFlip，就是實(shí)現(xiàn)影片智能化自動(dòng)剪裁的一個(gè)解決方案。
AutoFlip是一個(gè)基于MediaPipe框架的智能視頻剪裁工具。它可以根據(jù)指定的寬高比，對(duì)影片內(nèi)容進(jìn)行分析，制定最佳裁剪策略，并自動(dòng)輸出相同時(shí)長的新視頻。
左：原始視頻（16：9）。中：使用靜態(tài)的居中裁剪（9:16）重新構(gòu)圖。右：使用AutoFlip（9:16）重新構(gòu)圖。通過檢測感興趣的目標(biāo)物，AutoFlip可以避免裁剪掉重要的內(nèi)容。
其中，MediaPipe是一款由GoogleResearch開發(fā)并開源的多媒體機(jī)器學(xué)習(xí)模型應(yīng)用框架。目前，YouTube、ARCore、GoogleHome以及Nest等，都已經(jīng)與MediaPipe深度整合。
我們也很幸運(yùn)地聯(lián)系到了MediaPipe團(tuán)隊(duì)，對(duì)有關(guān)AutoFlip移動(dòng)端的適用性提出了一些疑問，其中，軟件工程師@jiuqiant表示，根據(jù)自己的經(jīng)驗(yàn)，由于MediaPipe本身是跨平臺(tái)框架，因此AutoFlip可以輕松移植到Android和iOS。AutoFlip演示依賴于MediaPipe的對(duì)象檢測和面部跟蹤子圖，它們都是Android和iOS上MediaPipe的實(shí)時(shí)應(yīng)用程序。因此，AutoFlip在移動(dòng)平臺(tái)上也應(yīng)具有類似的性能。
AutoFlip為智能視頻剪裁提供了一套全自動(dòng)的解決方案，它利用先進(jìn)的目標(biāo)檢測與追蹤技術(shù)理解視頻內(nèi)容，同時(shí)會(huì)檢測視頻中的場景變化以便分場景進(jìn)行處理。在每一個(gè)場景中，視頻分析會(huì)先分析場景中的顯著性內(nèi)容，然后通過選擇不同的相機(jī)模式以及對(duì)這些顯著性內(nèi)容在視頻中連成的路徑進(jìn)行優(yōu)化，從而達(dá)到場景的裁剪與重構(gòu)。
如圖所示，AutoFlip剪裁影片有三個(gè)重要的步驟：鏡頭邊界檢測、影片內(nèi)容分析以及重新取景。
如圖所示，AutoFlip剪裁影片有三個(gè)重要的步驟：鏡頭邊界檢測、影片內(nèi)容分析以及重新取景。
1）鏡頭邊界檢測
場景或者鏡頭是連續(xù)的影像序列，不存在任何剪輯。為了偵測鏡頭變化的發(fā)生，AutoFlip會(huì)計(jì)算每一幀顏色的直方圖，并與前一幀進(jìn)行比較。當(dāng)直方圖在一個(gè)歷史的窗口中以明顯不同于以往的速率變化時(shí)，則表示鏡頭切換。為了對(duì)整個(gè)場景進(jìn)行優(yōu)化，AutoFlip會(huì)在得出剪輯策略前緩存整個(gè)視頻。
2）鏡頭內(nèi)容分析
Google利用基于深度學(xué)習(xí)技術(shù)的檢測模型在視頻幀中找出有趣、突出的內(nèi)容，這些內(nèi)容通常包括人和動(dòng)物。但根據(jù)應(yīng)用程序不同，其他元素也會(huì)被檢測出來，包括文本和廣告logo、運(yùn)動(dòng)中的球和動(dòng)作等。
左：體育錄像中的人物檢測。右：兩個(gè)臉部框（“核心”和“所有”臉部標(biāo)識(shí)）
人臉和物體檢測模型通過MediaPipe整合到AutoFlip中，這是在CPU上使用了TensorFlowLite。這個(gè)架構(gòu)使得AutoFlip的可擴(kuò)展性更大，開發(fā)者們也因此可以便捷地為不同的使用場景和視頻內(nèi)容添加新的檢測算法。
3）重新取景
在確定每一幀上感興趣的目標(biāo)物之后，就可以做出如何重新剪裁視頻內(nèi)容的邏輯決策了。AutoFlip會(huì)根據(jù)物體在鏡頭中的行為，自動(dòng)選擇靜止、平移或追蹤等最佳取景策略。其中，追蹤模式可以在目標(biāo)對(duì)象在畫面內(nèi)移動(dòng)時(shí)對(duì)其進(jìn)行連續(xù)和穩(wěn)定的跟蹤。
如上圖所示，第一行是AutoFlip根據(jù)幀級(jí)的邊界框追蹤到的相機(jī)路徑，第二行是平滑后的相機(jī)路徑。左側(cè)是目標(biāo)對(duì)象在畫面中移動(dòng)的場景，需要一個(gè)追蹤相機(jī)路徑；右側(cè)是目標(biāo)物體停留在近乎相同位置的場景，一個(gè)固定攝像機(jī)即可拍攝在整個(gè)場景中全部時(shí)長的內(nèi)容。
AutoFlip有一個(gè)屬性圖，可以提供最佳效果或自定義需求的剪輯。如果發(fā)現(xiàn)剪輯出來的鏡頭無法覆蓋整個(gè)影片區(qū)域的情況時(shí)（例如目標(biāo)在某一幀視頻中顯得太大），AutoFlip會(huì)自動(dòng)切換到相對(duì)不那么激進(jìn)的策略上。它會(huì)使用信箱效應(yīng)，在保持原始視頻尺寸的同時(shí)用黑邊模式填充影片，使畫面看起來更自然。
隨著人們用來觀看視頻的設(shè)備越來越多樣化，讓任何視頻格式都能快速適應(yīng)不同屏幕比例的能力也顯得越發(fā)重要。而AutoFlip能夠快速地自動(dòng)剪輯影像，適合在各種設(shè)備上播放。
和其它機(jī)器學(xué)習(xí)算法一樣，AutoFlip的性能會(huì)隨著目標(biāo)檢測等能力的提升而大大加強(qiáng)，尤其是衍生出來的能力，例如采訪鏡頭中的說話人檢測或動(dòng)漫中的動(dòng)物臉檢測等等。
Google稱接下來會(huì)繼續(xù)改進(jìn)AutoFlip，尤其是針對(duì)影片前景文字或圖標(biāo)因?yàn)橹匦氯【岸徊玫舻那闆r。同時(shí)，Google也希望AutoFlip能進(jìn)一步融合自然語言處理等技術(shù)，從而實(shí)現(xiàn)更合理的視頻智能剪裁。
References：
https://insights.digitalmediasolutions.com/articles/digital-mobile-dominate
https://github.com/google/mediapipe/issues/471
最后一個(gè)小小的tips，如果大家有針對(duì)文章內(nèi)容的具體問題，歡迎在留言區(qū)互動(dòng)，我們會(huì)努力將你的問題反饋給相應(yīng)專業(yè)領(lǐng)域的技術(shù)專家，以便大家能夠共同參與討論。
原文鏈接：https://ai.googleblog.com/2020/02/autoflip-open-source-framework-for.html
