GIF 圖是表達(dá)情緒的好方式,但在層層傳播中總會(huì)被壓縮,分辨率變低,圖像模糊。為了提升用戶的斗圖體驗(yàn),Gfycat 希望用機(jī)器學(xué)習(xí)來(lái)制作更高分辨率的 GIF 圖。

在此之前,Google Brain 團(tuán)隊(duì)已經(jīng)能夠?qū)⒌头直媛蕡D片復(fù)原。這種方法基于深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法,使用了兩種網(wǎng)絡(luò),「調(diào)節(jié)網(wǎng)絡(luò)」用來(lái)將低分辨率圖像的像素映射到高分辨率圖像中,用人工智能來(lái)進(jìn)行「圖像插值」,另一個(gè)「先驗(yàn)網(wǎng)絡(luò)」可以通過(guò)分析現(xiàn)有圖像的像素信息來(lái)為目標(biāo)圖像添加細(xì)節(jié)。這兩個(gè)網(wǎng)絡(luò)結(jié)合就能輸出高分辨率的圖片。在沒(méi)有其他信息的情況下,Google Brain 可以將一張 8x8 像素的圖片還原為與原圖較為接近的圖。

為了提升GIF圖的分辨率,這家公司用上了AI算法

圖片來(lái)源:Google Brain

與還原低分辨率圖片不同,GIF 圖的還原主要是對(duì)視頻進(jìn)行識(shí)別,而不是圖片。因?yàn)榇蟛糠?GIF 都可以找到與之對(duì)應(yīng)的高清視頻源,Gfycat 要做的就是利用機(jī)器學(xué)習(xí)讓 GIF 圖和視頻更完美地匹配。

很多用戶上傳 GIF 圖時(shí)不會(huì)注意分辨率,Gfycat 將用 AI 技術(shù)找到與 GIF 圖匹配的視頻。他們?yōu)?GIF 圖中的每一幀創(chuàng)建了一個(gè)模型,然后與高清視頻匹配,并分析出 GIF 圖來(lái)自哪個(gè)片段,最后制作出高清 GIF 圖代替原來(lái)的版本。

機(jī)器學(xué)習(xí)可以幫助將這一過(guò)程自動(dòng)化,比如用戶上傳名人 GIF 圖時(shí)經(jīng)常忘記加標(biāo)簽,Gfycat 正在訓(xùn)練系統(tǒng)自動(dòng)區(qū)分不同的面孔。

另一個(gè)優(yōu)化方法是識(shí)別 GIF 圖中的文字,Gfycat 根據(jù)統(tǒng)計(jì)分析 GIF 圖中可能出現(xiàn)字幕的位置,然后識(shí)別出文字,并將其轉(zhuǎn)化為數(shù)字文本,以方便和視頻更好地做匹配。

其實(shí)除了低分辨率,GIF 圖的質(zhì)量還受水印的影響,不知道這會(huì)不會(huì)影響機(jī)器學(xué)習(xí)的識(shí)別。如果替換高清 GIF 圖的方法能夠?qū)崿F(xiàn)的話,對(duì)整個(gè) GIF 圖市場(chǎng)會(huì)是一次巨大的革新。面對(duì)日活 3 億的對(duì)手 Giphy,從技術(shù)上進(jìn)行突破是個(gè)不錯(cuò)方法。