| 從Sora展開，全面解讀AI視頻大模型發展史 | |
| 發布時間:2024-04-05 15:28:08 | 瀏覽次數： | |
Sora，OpenAI的人工智能AI生成式視頻大模型，在2024年2月15日一經發布，就引發了全球關注，硅谷AI視頻論文作者（非Sora）這樣評價：相當好，這是毋庸置疑的No.1。
Sora好在哪里？生成式AI視頻的發展挑戰在哪里？OpenAI的視頻模型一定是正確的路線嗎？所謂的“世界模型”達成共識了嗎？這期視頻，我們通過與硅谷一線AI從業人員的采訪，深度聊聊生成式AI視頻大模型的不同派系發展史，大家的爭議和未來路線。
AI生成視頻這個題我們其實去年就想做了，因為當時跟很多人聊天，包括跟VC投資人聊的時候，發現其實大家對AI視頻模型和ChatGPT這種大語言模型的區別并不是很清楚。但是為啥沒做呢，因為在去年年底，市場中做得最好的也就是runway這家公司旗下的Gen1和Gen2兩種視頻生成視頻以及文字生成視頻的功能，但我們生成出來的效果... 有點一言難盡。
比如說，我們用runway生成的一個視頻，prompt提示詞是”super mario walking in a desert”(超級馬里奧漫步于沙漠中)，結果出來的視頻是這樣的：
怎么看怎么像馬里奧跳躍在月球上。無論是重力還是摩擦力，物理學在這段視頻里好像突然不復存在。
然后我們嘗試了另外一個提示詞，“A group of people walking down a street at night with umbrellas on the windows of stores.”（雨夜的大街上，一群人走在商鋪窗戶檐的傘下）這段提示詞也是一個投資人Garrio Harrison嘗試過的，結果出來的視頻，是這樣的：
你看這空中漂浮的雨傘，是不是很詭異... 但這已經是去年代表著最領先技術的runway了。之后華人創始人Demi Guo創立的Pika Labs火了一陣，被認為比runway效果稍好一些，但依然受制于3-4秒的長度顯示，并且生成的視頻仍然存在視頻理解邏輯、手部構圖等缺陷問題。
所以，在OpenAI發布Sora模型之前，生成式AI視頻模型并沒有像ChatGPT、Midjourney這樣的聊天和文生圖應用一樣引發全球關注，很大原因就是因為生成視頻的技術難度非常高，視頻是二維空間+時間，從靜態到動態，從平面到不同時間片段下的平面顯示出的立體效果，不但需要強大的算法和算力，還需要解決一致性、連貫性、物理合理性、邏輯合理性等等一系列的復雜問題。
所以，生成式視頻大模型這個選題，一直都在我們硅谷101的選題單上，但一直拖著沒做，想等生成式AI視頻模型有一個重大突破的時候，我們再來做這個選題，結果沒想到，這么快，這個時刻，就來了。
Sora的展示，毫無疑問是吊打此前的runway和pika labs的。
首先，最大的突破之一，很直觀的就是：生成視頻長度大大的延長了。之前，runway和pika都只能生成出3-4秒的視頻，太短了，所以之前能出圈的AI視頻作品，就只有一些快節奏的電影預告片，因為其它需要長一些素材的用途根本無法被滿足。
而在runway和pika上，如果需要更長的視頻，你就需要自己不斷提示疊加視頻時長，但我們視頻后期剪輯師Jacob就發現，這會出現一個大問題。
Jacob，硅谷101視頻后期剪輯師：
痛點就是你在不斷往后延長的時候，它后面的視頻會出現變形，就會導致前后視頻畫面的不一致，那這段素材就用不了了。
而Sora最新展示的論文和demo中表示，可以根據提示詞，直接生成1分鐘左右的視頻場景。與此同時，Sora會兼顧視頻中人物場景的變換以及主題的一致性。這讓我們的剪輯師看了之后，也直呼興奮。
Jacob，硅谷101視頻后期剪輯師：
（Sora）其中有一個視頻是一個女孩走在東京的街頭... 對我來說，這個是很厲害的。所以，就算在視頻動態的運動情況下，隨著空間的移動和旋轉，Sora視頻中出現的人物和物體會保持場景一致性的移動。
第三，Sora可以接受視頻，圖像或提示詞作為輸入，模型會根據用戶的輸入來生成視頻，比如，公布出demo中的一朵爆開的云。這意味著，Sora模型可以基于靜態圖像來制作動畫，做到在時間上向前或者向后來擴展視頻。
第四，Sora可以讀取不同的無論是寬屏還是垂直視頻、進行采樣，也可以根據同一個視頻去輸出不同尺寸的視頻，并且保持風格穩定，比如說這個小海龜的樣片。這其實對我們視頻后期的幫助是非常大的，現在Youtube和B站等1920*1080p橫屏視頻，我們需要重新剪成垂直1080*1920的視頻來適配抖音和Tiktok等短視頻平臺，但可以想象，之后也許就能通過Sora一鍵AI轉換，這也是我很期待的功能。
第五，遠距離相干性和時間連貫性更強了。此前，AI生成視頻有個很大的困難，就是時間的連貫性，但Sora能很好的記住視頻中的人和物體，即使被暫時擋住或移出畫面，之后再出現的時候也能按照物理邏輯地讓視頻保持連貫性。比如說Sora公布的這個小狗的視頻，當人們走過它，畫面被完全擋住，再出現它的時候，它也能自然地繼續運動，保持時間和物體的連貫。
第六，Sora模型已經可以簡單地模擬世界狀態的動作。比如說，畫家在畫布上留下新的筆觸，這些筆觸會隨著時間的推移而持續存在，或者一個人吃漢堡的時候會留下漢堡上的咬痕。有比較樂觀的解讀認為，這意味著模型具備了一定的通識能力、能“理解”運動中的物理世界，也能夠預測到畫面的下一步會發生什么。
因此，以上這幾點Sora模型帶來的震撼更新，極大地提高了外界對生成式AI視頻發展的期待和興奮值，雖然Sora也會出現一些邏輯錯誤，比如說貓出現三只爪子，街景中有不符合常規的障礙物，人在跑步機上的方向反了等等，但顯然，比起之前的生成視頻，無輪是runway還是pika還是谷歌的videopoet，Sora都是絕對的領先者，而更重要的是，OpenAI似乎通過Sora想證明，堆算力堆參數的“大力出奇跡”方式也可以適用到生成式視頻上來，并且通過擴散模型和大語言模型的整合，這樣的模型新路線，來形成所謂的“世界模型”的基礎，而這些觀點，也在AI屆引發了極大的爭議和討論。
接下來，我們就來試圖回顧一下生成式AI大模型的技術發展之路，以及試圖解析一下，Sora的模型是怎么運作的，它到底是不是所謂的“世界模型”？
AI生成視頻的早期階段，主要依賴于GAN（生成式對抗網絡）和VAE（變分自編碼器）這兩種模型。但是，這兩種方法生成的視頻內容相對受限，相對的單一和靜態，而且分辨率往往不太行，完全沒辦法進行商用。所以這兩種模型我們就先不講了哈。
之后，AI生成視頻就演變成了兩種技術路線，一種是專門用于視頻領域的擴散模型，一種則是Transformer模型。我們先來說說擴散模型的路線，跑出來的公司就有Runway和Pika Labs等等。
擴散模型的英文是Diffusion Model。很 多人不知道，如今最重要的開源模型Stable Diffusion的原始模型就是由Runway和慕尼黑大學團隊一起發布的，而Stable Diffusion本身也是R unway核心產品—視頻編 輯器Gen-1和Gen-2背后的底層技術基礎。
Gen-1模型在2023年2月發布，允許大家通過輸入文本或圖像，改變原視頻的視覺風格，例如將手機拍攝的現實街景變成賽博世界。而在6月，runway發布Gen-2，更近一步能將用戶輸入的文本提示直接生成為視頻。
擴散模型的原理，大家一聽這個名字“擴散模型”，就能稍微get到：是通過逐步擴散來生成圖像或視頻。為了更好的給大家解釋模型原理，我們邀請到了之前Meta Make-A-Video模型的論文作者之一、目前在亞馬遜AGI團隊從事視頻生成模型的張宋揚博士來給我們做一個解釋。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
之所以最開始這篇論文之所以用擴散這個名字，是源于一個物理現象，就是說比如說我們把墨水滴到一杯水里面去，墨水它會散開，這個東西叫擴散。這個過程本身物理上是不可逆的，但是我們AI可以學習這么一個過程，把這個過程給逆過來。它類比到圖片里面來說，就是一個圖片，它是不斷加噪聲不斷加噪聲，然后它會變成一個類似于馬賽克這樣的一個效果。它是一個純噪聲的一張圖片。然后我們學習怎么把這個噪點變成一張原始的圖片。
我們訓練這么樣的一個模型，直接去一步完成的話，這個可能會很難，它分成了很多步，比如我分成1000步，比如說我加一點點噪聲，它能夠還原出去噪聲后是什么樣子，然后噪聲加得比?較多的時候，我該怎么去用這個模型怎么去預測噪聲？就是它分了很多步，然后逐漸地去把這噪聲慢慢地去掉，它迭代式地把這個噪聲慢慢給去掉。比如說原來是一個水跟墨已經完全混合在一起了，你想辦法怎么去預測它，一步一步它如何再變回之前的那一滴墨水的樣子。就是它是一個擴散的一個逆過程。
張宋揚博士解釋得很形象，擴散模型的核心思想是通過不斷地向原始噪聲引入隨機性，逐步生成逼真的圖像或視頻。在而這個過程分成了四步：
1）初始化：擴散模型開始于一個隨機的噪聲圖像或視頻幀作為初始輸入。
2）擴散過程（也被稱為前向過程forward process）：擴散過程的目標是讓圖片變得不清晰，最后變成完全的噪聲。
3）反向過程（reverse process，又被稱為backward diffusion）：這時候我們會引入“神經網絡”，比如說基于卷積神經網絡（CNN）的UNet結構，在每個時間步預測“要達到現在這一幀模糊的圖像，所添加的噪聲”，從而通過去除這種噪聲來生成下一幀圖像，以此來形成圖像的逼真內容。
4）重復步驟：重復上述步驟直到達到所需的生成圖像或視頻的長度。
以上是 video to video或者是picture to video的生成方式，也是runway Gen1的大概底層技術運行方式。如果是要達到輸入提示詞來達到text to video，那么就要多加幾個步驟。
比如說我們拿谷歌在2022年中旬發布的Imagen模型來舉例：我們的提示詞是a boy is riding on the Rocket，騎著火箭的男孩。這段提示詞會被轉換為tokens（標記）并傳遞給編碼器text encoder。谷歌 IMAGEN模型接著用T5-XXL LLM編碼器將輸入文本編碼為嵌入（embeddings）。這些嵌入代表著我們的文本提示詞，但是以機器可以理解的方式進行編碼。
之后這些“嵌入文本”會被傳遞給一個圖像生成器image generator，這個圖像生成器會生成64x64分辨率的低分辨率圖像。之后，IMAGEN模型利用超分辨率擴散模型，將圖像從64x64升級到256x256，然后再加一層超分辨率擴散模型，最后生成與我們的文本提示緊密結合的 1024x1024 高質量圖像。
簡單總結來說，在這個過程中，擴散模型從隨機噪聲圖像開始，在去噪過程中使用編碼文本來生成高質量圖像。
而生成視頻為什么要比生成圖片困難這么多？
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
它的原理實際上還是一樣的，只不過唯一一個區別就是多了一個時間軸。就是剛剛我們說的圖片，它是一個2D的，它是高度跟寬度。然后視頻它多一個時間軸，它就是一個3D的，它就是高度、寬度還有一個時間。然后它在學習這個擴散的逆過程的過程當中，就是相當于以前是一個2D的逆過程，現在變成一個3D的逆過程，就是這么一個區別。
所以說圖片上的存在的問題，比如說像這些生成的人臉它是不是真實啊？那我們如果圖片存在這樣的問題，我們視頻也一樣會存在這樣的問題。對于視頻來說，它有一些它有些獨特的一些問題，就比如說剛才像你說的這個畫面的主體是不是保持一致的？我覺得目前對于像風景這樣的，其實效果都還可以，然后但是如果涉及到人的話，因為人的這些要求可能會更精細，所以說人的難度會更高，這是一個問題。然后還有一個目前的難點，我覺得也是大家都在努力的一個方向，就是怎么把視頻變得更長。因為目前來說的話，只生成2秒、3秒、4秒這樣的視頻，其實遠遠滿足不了現在的應用場景。
擴散模型比起之前的GAN等模型來說，有三個主要的優點：
第一，穩定性：訓練過程通常更加穩定，不容易陷入模式崩潰或模式塌陷等問題。
第二，生成圖像質量：擴散模型可以生成高質量的圖像或視頻，尤其是在訓練充分的情況下，生成結果通常比較逼真。
第三，無需特定架構：擴散模型不依賴于特定的網絡結構，兼容性好，很多不同類型的神經網絡都可以拿來用。
然而，擴散模型也有兩大主要缺點，包括：
首先，訓練成本高：與一些其他生成模型相比，擴散模型的訓練可能會比較昂貴，因為它需要在不同噪聲程度的情況下學習去燥，需要訓練的時間更久。
其次，生成花費的時間更多。因為生成時需要逐步去燥生成圖像或視頻，而不是一次性地生成整個樣本。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
就是我們其實現在無法生成長的視頻一個很重要原因就是，我們的顯存是有限的。生成一張圖片可能占用一部分的顯存，然后你如果生成16張圖片，就可能差不多把這顯存給占滿了。當你需要生成更多張圖片的時候，你就得想辦法怎么去，既考慮之前已經生成的這些信息，然后再去預測后面該生成什么樣的信息。它首先在模型上面就提了一個更高的要求，當然算力上面也是一個問題，就是獲取過很多年之后，我們的顯存會非常的大，可能我們也就不存在這樣的問題了，也是有可能的，但是就目前來說，當下我們是需要一個更好的一個算法，但是如果有更好硬件可能這個問題就不存在。
所以，這注定了目前的視頻擴散模型本身可能不是最好的算法，雖然runway和PikaLabs等代表公司一直在優化算法。
我們接下來，聊聊另外一個派別：基于Transformer架構的大語言模型生成視頻技術路線。
最后， 谷歌在2023年12月底發布了基于大語言模型的生成式AI視頻模型VideoPoet，這在當時被視為生成視頻領域中，擴散模型之外的另外一種解法和出路。它是這么個原理呢？
大語言模型如何生成視頻？
大語言模型生成視頻是通過理解視頻內容的時間和空間關系來實現的。谷歌的VideoPoet是一個利用大語言模型來生成視頻的例子。這個時候，讓我們再次請出生成式AI科學家張宋揚博士，來給我們做一個生動的解釋。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
然后大語言模型這個東西，原理上完全不一樣，它最一開始是用在文本上面，用在文本上面就是說我預測下一個單詞是什么，就比如說“我愛說實話”，然后最后一個“我愛說實”，然后最后一個字是什么？你猜是什么字？然后可能你給的這些前面的字越多，你可能越容易猜到后面。但是如果你給的字比較少，你可能發揮空間會更多，它是這么樣一個過程。
然后這個思路帶到了視頻當中，那就是我們可以學一個圖片的詞匯，或者說是視頻的詞匯。就是說我們可以把圖片橫著切，比如說橫著切16刀，豎著切16刀，然后把每一個小方塊、小格子當成一個詞，然后把它輸到這個大語言模型當中，讓他們學習。比如說之前你已經有一個很好的一個大語言模型了，然后你去學習怎么大語言模型的這些詞跟這些文本的詞或者視頻的詞進行一個交互，它們之間的進行一個關聯，是一個什么樣的關聯？你去學一些這個東西，然后這樣的話，我們就可以利用這些大語言模型，讓它可以去做一些視頻的任務，或者是文本的一些任務。
簡單來說，基于大語言模型的Videopoet是這樣運作的：
1）輸入和理解：首先Videopoet接收文本，聲音，圖片，深度圖，光流圖，或者有待編輯的視頻作為輸入。
2）視頻和聲音的編碼：因為文本天然就是離散的形式，大語言模型自然而然就要求輸入和輸出必須是離散的特征。然而視頻和聲音是連續量，為了讓大語言模型也能讓圖片，視頻或者聲音作為輸入和輸出，這里Videopoet將視頻和聲音編碼成離散的token。在深度學習中，token是一個非常重要的概念， 它是指一組符號或標識符，用于表示一組數據或信息中的一個特定元素。在Videopoet的例子中，通俗一點可以理解成視頻的單詞和聲音的單詞。
3）模型訓練和內容生成：有了這些Token詞匯，就可以根據用戶給的輸入，像學習文本token那樣，訓練一個Transformer去學習逐個預測視頻的token，模型就會開始生成內容。對于視頻生成，這意味著模型需要創建連貫的幀序列，這些幀不僅在視覺上符合邏輯，還要在時間上保持連續性。
4）優化和微調：生成的視頻可能需要進一步的優化和微調，以確保質量和連貫性。這可能包括調整顏色、光照和幀之間的過渡等。VideoPoet利用深度學習技術來優化生成的視頻，確保它們既符合文本描述，又在視覺上吸引人。
5）輸出：最后，生成的視頻會被輸出，供最終用戶觀看。
但是，大語言模型生成視頻的路線，也是優點和缺點并存的。
先來說說優點：
1）高度理解能力：基于Transformer架構的大語言模型能夠處理和理解大量的數據，包括復雜的文本和圖像信息。這使得模型能具有跨模態的理解和生成能力，能夠很好學到文本和圖片視頻不同模態之間關聯的能力。這使得它們在將文本描述轉換成視頻內容時，能夠生成更準確和相關的輸出。
2）處理長序列數據：由于自注意力機制，Transformer模型特別擅長處理長序列數據，這對于視頻生成尤其重要，因為視頻本質上是長序列的視覺表示。
3）Transformer的可擴展性：通常來說模型越大，擬合的能力就越強。但當模型大到一定程度時，卷積神經網絡性能受模型增大帶來的增益會放緩甚至停止，而Transformer仍能持續增長。Transformer在大語言模型已經證明了這一點，如今在圖片視頻生成這一領域也逐漸嶄露頭角。
再來說說缺點：
1）資源密集型：用大語言模型生成視頻，特別是高質量視頻，需要大量的計算資源，因為用大語言模型的路線是將視頻編碼成token，往往會比一句話甚至一段話的詞匯量要大的多，同時，如果一個一個的去預測，會讓時間的開銷非常大。也就是說，這可能使得Transformer模型的訓練和推理過程變得昂貴和時間消耗大。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
有一個問題我覺得挺本質的，就是transformer它不夠快，這個是很本質的一個問題，因為transformer它一個小方塊一個小方塊地預測，擴散模型直接一張圖就出來了，所以transformer肯定會比較慢的。
陳茜，硅谷101視頻主理人：
太慢了有一個具象的一個數據嗎？就是能慢多少？
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
就比如說我直接出一張圖，diffusion比如出一張圖就是1，它也需要一些迭代過程。然后比如說我用四步，它就是四步去生成出來，咱就是4。現在目前做得好的話，四步我看有做的效果還是不錯的。然后但是你要是用transformer的話，比如說你畫16*16的方格，那就是16*16，那就等于256了，就是那個速度。
4是相當于我做去噪迭代了四次。然后transformer的話，它是相當于我去預測一張圖片，比如說是16*16的話，我就預測256個詞。他們的量綱肯定不一樣，但是他們的復雜度你是可以看出來的。就是diffusion模型，它的復雜度是一個常數集。但是transformer的那個復雜度，它實際上是一個寬度x高度，復雜度會不一樣。所以說從復雜度角度來說，肯定是擴散模型會更優一些。然后具體我覺得這東西可能你如果是圖片越大的話，分辨率越高的話，transformer的問題可能會越大。
Transformer模型的另外一些問題還包括：
2）質量波動：盡管Transformer模型能夠生成創造性的視頻內容，但輸出的質量可能不穩定，特別是對于復雜的或未充分訓練的模型。
3）數據依賴性：Transformer模型的性能在很大程度上取決于訓練數據的質量和多樣性。如果訓練數據有限或有偏差，生成的視頻可能無法準確反映輸入的意圖或在多樣性上存在限制。
4）理解和邏輯限制：雖然Transformer模型在理解文本和圖像內容方面取得了進步，但它們可能仍然難以完全把握復雜的人類情感、幽默或細微的社會文化信號，這可能會影響生成視頻的相關性和吸引力。
5）倫理和偏見問題：自動視頻生成技術可能會無意中復制或放大訓練數據中的偏見，導致倫理問題。
不過說到第五點，我突然想起來最近的這么一個新聞，說谷歌的多模態大模型Gemini中，無論你輸入什么人，出來的都是有色人種，包括美國開國元勛，黑人女性版本的教皇，維京人也是有色人種，生成的Elon Musk也是黑人。
這背后的原因可能是谷歌為了更正Transformer架構中的偏見，給加入了AI道德和安全方面的調整指令，結果調過頭了，出了這個大烏龍。不過這個事情發生在OpenAI發布了Sora之后，確實又讓谷歌被群嘲了一番。
不過，業內人士也指出，以上的這五點問題也不是transformer架構所獨有的，目前何生成模型都可能存在這些問題，只是不同模型在不同方向的優劣勢稍有不同。
所以，到這里總結一下，擴散模型和Transformer模型生成視頻都有不甚令人滿意的地方，那么，身為技術最為前沿的公司OpenAI他們是怎么做的呢？誒，也許你猜到了，這兩模型各有千秋，我把它們結合在一起，會不會1+1>2呢？于是，Sora，也就是擴散模型和Transformer模型的結合。
說實話，目前外界對Sora的細節還是未知的，現在也沒有對公眾開放，連waitinglit都沒有開放，只邀請了業界和設計界的極少數人來使用，產出的視頻也在網上都公開了。對于技術，更多是基于OpenAI給出的效果視頻的猜測和分析。OpenAI在發布Sora當天給出了一個比較模糊的技術解釋，但中間很多技術細節是缺失的。
但我們先從Sora公開的這篇技術解析，來看看OpenAI的擴散+大語言模型技術路線是如何操作的。
Sora在開頭就說得很清楚：OpenAI在可變持續時間、分辨率和寬高比的視頻和圖像上“聯合訓練文本條件擴散模型”（text-conditional diffusion models）。同時，利用對視頻和圖像潛在代碼的時空補丁（spacetime patches）進行操作的Transformer架構。
所以，Sora模型的生成的步驟包括：
第一步：視頻壓縮網絡
在基于大語言模型的視頻生成技術中，我們提到過把視頻編碼成一個一個離散的token，這里Sora也采用了同樣的想法。視頻是一個三維的輸入（兩維空間+一維時間），這里將視頻在三維空間中均分成一個一個小的token，被OpenAI稱為“時空補丁”（spacetime patches）。
第二步：文本理解
因為Sora有OpenAI文生圖模型DALLE3的加持，可以將許多沒有文本標注的視頻自動進行標注，并用于視頻生成的訓練。同時因為有GPT的加持，可以將用戶的輸入擴寫成更加詳細的描述，使得生成的視頻獲得更加貼合用戶的輸入，并且transformer框架能幫助Sora模型更有效地學習和提取特征，獲取和理解大量的細節信息，增強模型對未見過數據的泛化能力。
比如說，你輸入“一個卡通袋鼠在跳disco”，GPT會幫助聯想說，得在迪廳，帶個墨鏡，穿個花襯衫，燈光閃耀，背后還有一堆各種動物，在一起蹦跶，等等等等來發揮聯想能力解釋輸入的prompt。所以，GPT能展開的解釋和細節豐富程度，將會決定Sora生成得有多好。而GPT模型就是OpenAI自家的，不像其它AI視頻startup公司需要調用GPT模型，OpenAI給Sora的GPT架構的調取效率和深廣度，肯定是最高的，這可能也是為什么Sora會在語義理解上做得更好。
第三步：Diffusion Transformer成像
Sora采用了Diffusion和Transformer結合的方式。
之前我們在基于大語言模型的視頻生成技術中提到過Transformer具有較好的可拓展性。意思就是說Transformer的結構會隨著模型的增大，效果會越來越好。這一特性并不是所有模型都具備的。比如當模型大到一定程度時，卷積神經網絡性能受模型增大帶來的增益會放緩甚至停止，而Transformer仍能持續增長。
很多人會注意到，Sora在保持畫面物體的穩定性、一致性、畫面旋轉等等，都表現出穩定的能力，遠超runway，Pika，Stable Video等基于Diffusion模型所呈現的視頻模型。
還記得我們在說擴散模型的時候也說道：視頻生成的挑戰在于生成物體的穩定性一致性。這是因為，雖然Diffusion是視頻生成技術的主流，但之前的工作一直局限在基于卷積神經網絡的結構，并沒有發揮出Diffusion全部潛力，而Sora很巧妙的結合了Diffusion和Transformer這兩者的優勢，讓視頻生成技術獲得了更大的提升。
更深一步說，Sora生成的視頻連續性可能是通過Transformer Self- Attention自注意力機制獲得的。Sora可以將時間離散化，然后通過自注意力機制理解前后時間線的關系。而自注意力機制的原理就是每個時間點和其他所有時間點產生聯系，這是Diffusion Model所不具備的。
目前外界有一些觀點猜測，在我們之前說到的擴散模型的第三步驟中，Sora選擇將U-Net架構替換成了Transformer架構。這讓Diffusion擴散模型作為一個畫師開始逆擴散、畫畫的時候，在消除噪音的過程中，能根據關鍵詞特征值對應的可能性概率，在OpenAI海量的數據庫中，找到更貼切的部分，來進行下筆。
我在采訪另一位AI從業者的時候，他用了另外一個生動的例子解釋這里的區別。他說：“擴散模型預測的是噪音，從某個時間點的畫面，減去預測的噪音，得到的就是最原始沒有噪音的畫面，也就是最終生成的畫面。這里更像是雕塑，就像米開朗基羅說的，他只是遵照上帝的旨意將石料上不應該存在的部分去掉，最終他才從中創造出偉大的雕塑作品。而Transformer通過自注意力機制，理解時間線之間的關聯，讓這尊雕塑從石座上走了下來。”是不是還挺形象的？
最后，Sora的Transformer+Diffusion Model將時空補丁生成圖片，然后圖片再拼接為視頻序列，一段Sora視頻就生成了。
說實話，Transformer加擴散模型的方法論并不是OpenAI獨創的，在OpenAI發布Sora之前，我們在和張宋揚博士今年一月份采訪的時候，他就已經提到說，Transformer加擴散模型的方式已經在行業中開始普遍的被研究了。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
目前又能看到一些把transformer的模型做到跟diffusion結合，然后效果可能也不差，甚至可能論文里面有些說的可能會更好。所以說這個東西我不確定以后模型會怎么發展，我覺得可能是兩者結合的一種方式。就是transformer他們那種，比如說它預測?下一個視頻，有天然的優勢，就是它可以預測變成的一些東西。diffusion雖然質量高，但是diffusion目前很多做法還是生成固定幀數的。怎么把兩個東西結合在一起，是一個后面會研究的一個過程。
所以，這也解釋了為什么OpenAI現在要發布Sora，其實在OpenAI的論壇上，Sora方澄清說，Sora現在并不是一個成熟的產品，所以，它不是已發布的產品，也不公開，沒有等候名單，也沒有預計的發布日期。
外界有分析認為，Sora還不成熟，OpenAI算力也不一定能承受Sora被公開，同時還有公開之后的假新聞安全和道德問題，所以Sora不一定會很快正式發布，但因為transformer加diffusion已經成為了業內普遍嘗試的方向，這個時候，OpenAI需要展示出Sora的能力，來在目前競爭日益白熱化的生成式AI視頻領域中重聲自己行業的領先地位。
而有了OpenAI的驗證之后，我們基本可以確定的是，AI視頻生成方向會轉變到這個新的技術結合。而OpenAI在發表的技術文章中也明確指出，在ChatGPT上的巨量參數“大力出奇跡”的方式，被證明在AI視頻生成上。
OpenAI在文章中說，“我們發現，視頻模型在大規模訓練時表現出許多有趣的涌現功能。這些功能使 Sora 能夠模擬現實世界中人、動物和環境的某些方面。
這說明，Sora和GPT3的時候一樣，出現了“涌現”emergence，而這意味著，與GPT大語言模型一樣，AI視頻也需要更多的參數，更多的GPU算力，更多的資金投入。
Scaling，依然是目前生成式AI的絕招，而這可能也意味著，生成式AI視頻也許最終也會成為大公司的游戲。
張宋揚博士，Meta Make-A-Video模型的論文作者之一、亞馬遜AGI團隊應用科學家：
我覺得可能更直觀的就是相當于你，比如說你一個視頻可能存下來是幾十個GB，然后可能到大語言模型就得大一千倍了，就得上TB了，就是大概是這么個意思，但是我覺得應該是能看到這樣一個趨勢的，就是就雖然現在視頻的參數量只是在billion級。
但是像圖片里面他們之前stable diffusion模型，他們后來出了一個stable diffusion XL，他們也是把模型做大了，然后也帶來了一些比較好的一個效果，也不是說比較好的效果，就是他們能做更真實的那圖片，然后效果也會更明顯一些。我覺得這是一個趨勢，就是未來肯定會把參數量做大的，但是說它帶來的增益會有多少，也取決于你目前的這個模型的結構以及你的數據量，你的數據是什么樣的。
以上是我們對Sora非常初步的分析，再次說明一下，因為Sora非常多技術細節沒有公開，所以我們的很多分析也是從外部視角去做的一個猜測，如果有不準確的地方，歡迎大家來糾錯，指正和探討。
|
|
|
|
| 上一篇:LG新能源重金布局中國，在華追加投資超57億元 下一篇:“飛行汽車”的虛與實 |
貴公網安備 52010302002155號