Adobe推視頻生成大殺器！最長(zhǎng)生成5秒視頻，一鍵重拍成為現(xiàn)實(shí)，已開(kāi)放公測(cè)
智東西
編譯 | 汪越
編輯 | 程茜
智東西10月16日消息，10月14日，Adobe在Adobe MAX大會(huì)上宣布推出Firefly視頻生成模型，并強(qiáng)化了現(xiàn)有的圖像、矢量和設(shè)計(jì)模型。Firefly視頻模型已進(jìn)入有限公開(kāi)測(cè)試階段，成為首個(gè)可安全用于商業(yè)用途的生成式AI視頻模型。
最新的Firefly圖像模型Firefly Image 3將允許用戶在幾秒內(nèi)生成圖像，速度較上一版提升了四倍。同時(shí)，基于Firefly視頻生成模型，Premiere Pro進(jìn)行了重要更新。Premiere Pro新增了?cè)齻€(gè)主要功能，分別是文生視頻、圖生視頻和生成擴(kuò)展（Generative Extend）。
▲使用生成擴(kuò)展填補(bǔ)視頻素材缺失片段（視頻來(lái)源：Adobe）
通過(guò)文生視頻功能，用戶可模擬調(diào)整攝像機(jī)角度、運(yùn)動(dòng)和縮放等參數(shù)，進(jìn)一步細(xì)化視頻；通過(guò)圖生視頻功能，用戶可在文本提示旁邊另外添加參考圖像，以生成更符合想象的視頻。用戶甚至可以通過(guò)一張靜圖重制現(xiàn)有視頻，實(shí)現(xiàn)視覺(jué)上的再加工；通過(guò)生成擴(kuò)展功能，用戶可直接對(duì)視頻進(jìn)行微調(diào)，而不至于重新拍攝。
用戶在使用這三個(gè)功能時(shí)，均需要等待大約90秒才能生成視頻。采用文生視頻和圖生視頻功能生成的視頻最長(zhǎng)為5秒，分辨率最高為720P，幀率為每秒24幀。采用生成擴(kuò)展功能的視頻最多可延長(zhǎng)2秒，視頻背景音效延長(zhǎng)10秒。
▲使用文生模型生成視頻（視頻來(lái)源：Adobe）
Firefly視頻模型作為Adobe生成式AI套件的擴(kuò)展，已經(jīng)被集成到其云端套裝軟件Adobe Creative Cloud的多款應(yīng)用中，包括修圖軟件PS、矢量圖形設(shè)計(jì)軟件Illustrator、內(nèi)容創(chuàng)作工具Adobe Express和視頻編輯軟件Premiere Pro等，以支持各種創(chuàng)意工作流程。自2023年發(fā)布以來(lái)，Firefly已累計(jì)生成超過(guò)130億張圖像，僅過(guò)去六個(gè)月就生成60億張。
一、Firefly進(jìn)行公開(kāi)測(cè)試，AI視頻最多可生成5秒，視頻擴(kuò)展最多延長(zhǎng)2秒
本次視頻編輯軟件Premiere Pro的重大更新，一是幫助用戶自動(dòng)擴(kuò)展開(kāi)頭片尾，二是模擬相機(jī)進(jìn)行一鍵調(diào)參，三是實(shí)現(xiàn)視頻一鍵重拍。
1. 生成擴(kuò)展：適合微小調(diào)整，視頻最多延長(zhǎng)2秒，音效最多延長(zhǎng)10秒
生成擴(kuò)展由Firefly模型支持，現(xiàn)已在Premiere Pro Beta版本中進(jìn)行測(cè)試。該工具能夠?qū)崿F(xiàn)視頻素材的自動(dòng)擴(kuò)展，填補(bǔ)視頻空白、實(shí)現(xiàn)畫(huà)面平滑過(guò)渡，以及延長(zhǎng)視頻的開(kāi)頭片尾。
延長(zhǎng)視頻，即如果視頻的開(kāi)頭或結(jié)尾略短，生成擴(kuò)展功能可自動(dòng)進(jìn)行素材填充。生成擴(kuò)展功能還可以幫助微調(diào)視頻中景，即它能發(fā)現(xiàn)拍攝過(guò)程中的視線偏移或意外移動(dòng)，并進(jìn)行糾正。
目前，生成擴(kuò)展功能最多支持視頻延長(zhǎng)2秒，以此滿足用戶微調(diào)視頻的需要，一定程度上免去重新拍攝素材的麻煩。生成擴(kuò)展功能的分辨率是720P或1080P分辨率，24幀每秒。
此外，生成擴(kuò)展功能也能用于音頻剪輯，它可以將視頻中的音效或環(huán)境背景音擴(kuò)展最多十秒鐘，但不會(huì)延長(zhǎng)語(yǔ)音對(duì)話或音樂(lè)。
▲新生成擴(kuò)展工具可以填補(bǔ)通常需要完全重新拍攝的素材中的空白（圖源：Adobe）
2. 文生視頻：可仿照攝像機(jī)直接調(diào)參，最多生成5秒視頻
Adobe的文生模型和圖生模型于9月份首次發(fā)布，目前正在Firefly Web應(yīng)用程序中作為有限的公開(kāi)測(cè)試版推出。
文生模型的功能與Runway和OpenAI的Sora等其他視頻生成器類似，用戶只需輸入想生成的視頻的文本描述即可。該文生模型可以模擬真實(shí)電影、3D動(dòng)畫(huà)和定格動(dòng)畫(huà)等多種風(fēng)格來(lái)生成視頻。
此外，用戶可以通過(guò)文生模型，仿照攝像機(jī)調(diào)節(jié)視頻拍攝參數(shù)。用戶可以通過(guò)模擬攝像機(jī)角度、運(yùn)動(dòng)和拍攝距離等，來(lái)進(jìn)一步細(xì)化生成的視頻。
▲通過(guò)相機(jī)控制選項(xiàng)來(lái)調(diào)整生成圖像的示例（圖源：Adobe）
3、圖生視頻：一張圖直接重制視頻，但無(wú)法完全替代重拍
圖生視頻相較于文生視頻，在功能上更進(jìn)一步。圖生視頻允許用戶在文本提示的基礎(chǔ)上，添加參考圖像，以生成更符合想象的視頻。
用戶還可以上傳已有視頻的單幀，一鍵創(chuàng)建完整的特寫(xiě)鏡頭，來(lái)制作視頻花絮。
圖生視頻模型可實(shí)現(xiàn)視頻重拍。用戶可以上傳靜態(tài)圖片來(lái)重新制作視頻，直接對(duì)原視頻中的人物動(dòng)作進(jìn)行操作和修改，實(shí)現(xiàn)視覺(jué)上的再加工。
然而，科技媒體The Verge的測(cè)試表明，這項(xiàng)技術(shù)目前還無(wú)法完全替代重新拍攝，其生成結(jié)果存在瑕疵。例如，測(cè)試中出現(xiàn)了電纜晃動(dòng)和背景移動(dòng)等問(wèn)題，生成的視頻在某些細(xì)節(jié)處理上不夠精確。
▲原始剪輯（視頻來(lái)源：Adobe）
▲使用圖像到視頻工具“重制”鏡頭，注意看黃色電纜搖晃了（視頻來(lái)源：Adobe）
目前，Adobe的文生視頻和圖生視頻，二者生成的視頻時(shí)長(zhǎng)均最多5秒，最高分辨率為720P，幀率為每秒24幀。OpenAI的Sora聲稱可以生成長(zhǎng)達(dá)一分鐘的視頻，并能在保持視覺(jué)質(zhì)量的同時(shí)滿足用戶的提示要求，但其并未向公眾開(kāi)放使用。
▲該模型僅限于生成大約4秒長(zhǎng)的剪輯。幼龍?jiān)趲r漿中爬行的示例（視頻來(lái)源：Adobe）
二、增強(qiáng)圖像、矢量和設(shè)計(jì)模型功能更新，Firefly Services將支持批量創(chuàng)建
自2023年推出以來(lái)，Firefly陸續(xù)被引入PS、Express、Illustrator、3D繪圖軟件Substance 3D中，并支持Creative Cloud應(yīng)用程序中的各種工作流程。
本次更新，Adobe在PS中推出了?cè)碌腁I生成工作區(qū)（測(cè)試版），由Firefly模型支持。它能幫助設(shè)計(jì)師進(jìn)行創(chuàng)意構(gòu)思和迭代，簡(jiǎn)單操作即可生成視覺(jué)效果。
同時(shí)，Adobe更新了Illustrator，并引入最新的Firefly矢量模型（測(cè)試版）。新功能包括生成形狀填充、重新著色和文本到圖案等，設(shè)計(jì)師可以快速生成和優(yōu)化矢量圖形，并控制圖案中元素的密度，靈活調(diào)整設(shè)計(jì)復(fù)雜度，實(shí)現(xiàn)個(gè)性化創(chuàng)作。
此外，Adobe預(yù)覽了一款新功能Project Concept，旨在促進(jìn)團(tuán)隊(duì)協(xié)作中的創(chuàng)意開(kāi)發(fā)。該功能允許多人在同一畫(huà)布上實(shí)時(shí)構(gòu)思和重新混合圖像內(nèi)容。
▲Project Concept示例（圖源：Adobe）
今年3月，Adobe推出了面向企業(yè)的創(chuàng)意和生成API集合Firefly Services。Firefly Services支持企業(yè)自有數(shù)據(jù)對(duì)模型進(jìn)行定制、微調(diào)，同時(shí)可以與PS、Illustrator、Express等Adobe產(chǎn)品結(jié)合使用，簡(jiǎn)化創(chuàng)意流程。
本次產(chǎn)品更新，Firefly Services將支持配音和唇形同步功能，目前這兩個(gè)功能已進(jìn)入測(cè)試階段。用戶可以利用生成式AI將視頻中的口語(yǔ)對(duì)話翻譯成不同語(yǔ)言，同時(shí)確保唇形與原始聲音匹配同步。
另外，Firefly Services還將支持批量創(chuàng)建，簡(jiǎn)化圖像大小調(diào)整、背景刪除等任務(wù)。
迄今為止，已有多個(gè)知名客戶使用了Adobe Firefly Services，包括PepsiCo/Gatorade、IBM、Mattel、IPG Health和德勤等。他們通過(guò)Firefly優(yōu)化工作流程并擴(kuò)展內(nèi)容創(chuàng)建，使創(chuàng)意人員能有更多時(shí)間探索創(chuàng)意愿景。
三、Firefly訓(xùn)練數(shù)據(jù)合法且豐富，支持超過(guò)100種語(yǔ)言文本提示
商業(yè)可用性是AI視頻生成行業(yè)的關(guān)鍵問(wèn)題。此前，Runway公司在訓(xùn)練其AI視頻生成工具Gen-3時(shí)，涉嫌非法使用了大量YouTube視頻和盜版電影，侵犯了內(nèi)容創(chuàng)作者權(quán)益并違反了YouTube使用規(guī)則。
Adobe強(qiáng)調(diào)其AI功能根據(jù)公司制定的AI道德原則開(kāi)發(fā)，強(qiáng)調(diào)問(wèn)責(zé)制、責(zé)任和透明度。Adobe表示其基于AI視頻模型支持的工具是“商業(yè)安全的”。Firefly的訓(xùn)練數(shù)據(jù)來(lái)源于Adobe許可內(nèi)容（如Adobe Stock）和公共領(lǐng)域內(nèi)容，能夠確保生成作品的安全性和合規(guī)性。
Firefly支持超過(guò)100種語(yǔ)言的文本提示。自2019年創(chuàng)立內(nèi)容真實(shí)性計(jì)劃以來(lái)，Adobe廣泛采用內(nèi)容憑證作為數(shù)字內(nèi)容透明度的行業(yè)標(biāo)準(zhǔn)。該內(nèi)容憑證目前已獲得3700多名成員的支持。
內(nèi)容憑證就像數(shù)字內(nèi)容的“營(yíng)養(yǎng)標(biāo)簽”。用戶在Creative Cloud中選擇Firefly支持的功能時(shí)，內(nèi)容憑證將標(biāo)明生成式AI的使用情況。此外，內(nèi)容憑證也會(huì)嵌入用戶使用Firefly創(chuàng)建或編輯的視頻，以披露AI的使用和所有權(quán)。
結(jié)語(yǔ)：Adobe正式入局AI視頻生成，與OpenAI等展開(kāi)競(jìng)爭(zhēng)
從去年3月發(fā)布第一版Firefly，到今年首次公開(kāi)測(cè)試，Adobe在AI視頻生成技術(shù)商業(yè)化應(yīng)用上邁出了重要一步。
現(xiàn)階段，Adobe的圖生視頻模型無(wú)法完全替代重新拍攝，生成結(jié)果仍存在瑕疵。而且相較于宣稱能生成一分鐘視頻的Sora，Adobe的文生視頻和圖生視頻的最大長(zhǎng)度僅為5秒。但是，Adobe的這些工具至少是公開(kāi)可用的。OpenAI的Sora、Meta的Movie Gen和Google的Veo等AI視頻生成工具的內(nèi)容均還不可用。
在有限公開(kāi)測(cè)試階段，Firefly相關(guān)產(chǎn)品免費(fèi)使用，用戶也可前往官網(wǎng)申請(qǐng)加入候補(bǔ)名單。
目前，Adobe尚未宣布任何客戶使用其視頻生成工具。但據(jù)Adobe透露，百事可樂(lè)旗下的運(yùn)動(dòng)飲料品牌佳得樂(lè)將在一個(gè)網(wǎng)站上使用其圖像生成模型，顧客可以在該網(wǎng)站上購(gòu)買定制版瓶子。?cè)蜃畲蟮耐婢吖久捞┮恢痹谑褂肁dobe工具來(lái)幫助設(shè)計(jì)其芭比娃娃系列的包裝。
面對(duì)OpenAI、Runway、Google和Meta等競(jìng)爭(zhēng)對(duì)手，Adobe將未來(lái)押注在使用合法數(shù)據(jù)訓(xùn)練的模型上，以確保其AI生成內(nèi)容可在商業(yè)作品中合法使用。
Firefly視頻模型憑借其使用授權(quán)內(nèi)容的訓(xùn)練數(shù)據(jù)，確保了生成內(nèi)容的版權(quán)合規(guī)性。這一優(yōu)勢(shì)使得生成的內(nèi)容能夠合法應(yīng)用于商業(yè)項(xiàng)目，這對(duì)企業(yè)和品牌而言非常重要。而其他視頻生成模型則因訓(xùn)練數(shù)據(jù)來(lái)源不明或未經(jīng)授權(quán)，頻頻卷入版權(quán)和道德?tīng)?zhēng)議。
來(lái)源：Adobe、The Verge、路透社
