屬于我們每個(gè)人的虛擬制作

　　by Kirsten Nelson

　　大約一年半前 - 按照現(xiàn)在的科技發(fā)展變化速度相當(dāng)于十來年時(shí)間 - 我站在一個(gè)被 LED 墻和浮動(dòng) LED 天花板包圍的舞臺上。我正在與兩位創(chuàng)意機(jī)構(gòu)的老板談?wù)?“虛擬制作” 這個(gè)相對較新的想法。事實(shí)上，它是如此新，以至于我們站在紐約市第一個(gè)獨(dú)立運(yùn)營的虛擬制作舞臺上。該空間由布魯克林內(nèi)容工作室 The Family 的多才多藝的創(chuàng)意和技術(shù)創(chuàng)新者于 2021 年推出，打開了通向未來的大門。

　　我們四處移動(dòng)相機(jī)，觀察光線和陰影在不斷變化的虛擬背景中如何變化。我們對現(xiàn)場視頻在房間內(nèi)實(shí)時(shí)折射光亮表面的方式感到驚嘆，從而消除了過多的后期制作工作的必要性。一切無生命或有生命的事物都會看到場景的變化，就像在現(xiàn)實(shí)生活中一樣。這比要求表演者想象在綠幕前或動(dòng)作捕捉工作室中拍攝要好得多，在那里他們可能還需要與虛擬龍的替身演員互動(dòng)。

　　有人討論我們?nèi)绾卧谝惶靸?nèi)創(chuàng)造出一年的廣告和社交內(nèi)容。那真是一見鐘情的感覺。但那感覺已經(jīng)是很久以前的事了。從那以后，人工智能開始占據(jù)了更多的創(chuàng)意領(lǐng)域，無數(shù)其他潛在的虛擬制作工作室涌現(xiàn)，編劇和演員紛紛罷工，而最好的新工作前景可能是 “AI 對話工程師”。

　　現(xiàn)在，當(dāng)創(chuàng)意世界真正討論人類和機(jī)器如何協(xié)同工作時(shí)，我們其他人，那些仍在嘗試使用這些閃亮的新工具讓事物發(fā)揮作用的人，需要了解什么呢？

　　為了找到答案，我回到了這一切的開始，并再次與我的朋友 Steve Dabal(The Family 的聯(lián)合創(chuàng)始人兼創(chuàng)意總監(jiān))進(jìn)行了交談。根據(jù)從廣告公司的各種客戶項(xiàng)目、各種創(chuàng)意客戶和獨(dú)立科幻浪漫喜劇制作中獲得的經(jīng)驗(yàn)教訓(xùn)，Dabal 分享了一些見解，以及客戶在預(yù)訂這些面向未來、 AI 驅(qū)動(dòng)的 LED 立方體創(chuàng)意之前應(yīng)該提出的問題。

　　Kirsten Nelson：首先說明一下。我們管這個(gè)東西叫什么，是虛擬制作嗎？它是像 “The Mandalorian"《曼達(dá)洛人秀》中人們使用的 “畫卷” 那樣嗎？

圖片摘自:techchurch.com文章：How ‘The Mandalorian’ and ILM invisibly reinvented film and TV production

　　Steve Dabal：對我來說，虛擬制作是使用虛擬工具執(zhí)行電影制作的過程。當(dāng)提到在 LED 屏幕上拍攝時(shí)，很多人都會使用“虛擬制作”這一流行名稱，盡管這里的革命性技術(shù)是您現(xiàn)在可以使用實(shí)時(shí)動(dòng)畫在虛擬場景中進(jìn)行拍攝。我喜歡說的是 “相機(jī)內(nèi)視覺效果” 這個(gè)詞。這就是您使用 LED 畫卷來產(chǎn)生視覺效果的時(shí)候。它總是與綠屏進(jìn)行比較，因?yàn)榫G幕/藍(lán)幕是類似的視覺效果過程。它只是不是在相機(jī)內(nèi)生成的。

　　憑借真正的相機(jī)內(nèi)視覺效果 - 閃電和背景是被鎖定在實(shí)際的鏡頭腳本文件中的。

　　Kirsten Nelson：是的，因?yàn)榫G屏是后期加上的。

　　Steve Dabal：是的，是后期添加的。但我的意思是，從技術(shù)上講，現(xiàn)在這個(gè)概念還有點(diǎn)模糊，因?yàn)樵趶V播制作中他們也添加了現(xiàn)場后期制作。 這也屬于是相機(jī)內(nèi)視覺效果的一種形式。因?yàn)楫?dāng)演員在布景中走動(dòng)時(shí)，眼睛看到的都是綠色，而在視頻搭建中，圍繞他的是一個(gè)完整的虛擬場景。所以這幾乎是數(shù)字與物理的混合現(xiàn)實(shí)概念，我們只是將它們添加在一起。

　　Kirsten Nelson：啊，混合現(xiàn)實(shí)。 所以這確實(shí)是世界上發(fā)生的所有事情的融合 - 每個(gè)人都對 AR 感到興奮。

　　Steve Dabal：哦，是的。但很少有人知道如何談?wù)撍：芏嗫蛻魰f他們想要 “AR 電影制作”。我們必須問他們這是什么意思。AR 在廣播制作領(lǐng)域的應(yīng)用非常廣泛。比如說前景是 3D 圖形。例如，天氣頻道會添加很多這些有趣的 3D 小動(dòng)態(tài)，比如龍卷風(fēng)出現(xiàn)并在主持人面前移動(dòng)并在演播室周圍旋轉(zhuǎn)。這本質(zhì)上是一種 AR 效果，它使用 3D 跟蹤。

　　但在廣播制作中情況會變得更加復(fù)雜。因?yàn)橛幸粋€(gè)前板，它往往是圖形或動(dòng)畫。然后是背板，即實(shí)景背后的 3D 環(huán)境，可以是 LED 屏幕，也可以是色度幕。所以它被分成三個(gè)平面層。

　　這確實(shí)是 AR 與實(shí)時(shí)圖形與直播的融合。組件就這么多。這太瘋狂了，因?yàn)槟銜耄?ldquo;哇，天氣頻道的小短劇多有趣啊。” 而其背后實(shí)際上是大量的融合。它本質(zhì)上是一個(gè)在被跟蹤的人面前實(shí)時(shí)運(yùn)行的視頻動(dòng)態(tài)。然后你真的想知道，哇，我們是怎么做到的?

　　Kirsten Nelson：客戶對這些技術(shù)使用需求的解有很多層次和解釋需要弄清楚。現(xiàn)在似乎每個(gè)人都在構(gòu)建 “畫卷” 或 “智能舞臺”，并聲稱他們可以為客戶提供這些新的工作流程。人們應(yīng)該問什么問題來確保這些工作室和機(jī)構(gòu)真正知道如何使用這些東西呢？

　　Steve Dabal：房間里的 LED 屏幕可以做任何你能想象到的事情，這有點(diǎn)誘人。但沒有一個(gè)版本的舞臺適合每種類型的制作。不同行業(yè)有非常具體的用例。您必須根據(jù)制作類型更改許多元素。

　　有些舞臺是為廣播制作而建的，整個(gè)系統(tǒng)是圍繞每秒 30 幀的拍攝并使用廣播攝像機(jī)構(gòu)建的。但如果您是一名電影制作人，并且希望使用電影攝影機(jī)實(shí)現(xiàn)每秒 24 幀的速度，那么這實(shí)際上可能是一個(gè)非常重大的變化。

　　有些舞臺是為電影而構(gòu)建的，它們具有跟蹤攝像機(jī)和制作圖形的特定能力。但如果您想運(yùn)行多機(jī)位并執(zhí)行復(fù)雜的 3D 環(huán)境，他們的系統(tǒng)可能還沒有做好準(zhǔn)備。

圖片摘自:https://thefamily.tv/On-L-E-D

　　Kirsten Nelson：你們有一個(gè)很大的優(yōu)勢，因?yàn)槟銈兪且粋€(gè)獨(dú)立工作室，能夠嘗試和制作很多不同類型的作品。現(xiàn)在您基本上已經(jīng)處于研發(fā)實(shí)驗(yàn)和制作的混合模式，您學(xué)到了什么？

　　Steve Dabal：作為一個(gè)較小的工作室，我們很幸運(yùn)，因?yàn)槲覀兇_實(shí)可以做很多研發(fā)實(shí)驗(yàn)工作。一開始，我們花了將近一年的時(shí)間來解決所有問題，將所有內(nèi)容放在一起，做適當(dāng)?shù)墓ぷ髋c調(diào)試，然后嘗各種不同的問題。

　　這是潛在客戶在聯(lián)系工作室時(shí)需要注意的另一件事。一定要問它會如何解決發(fā)現(xiàn)的問題。他們可能不想回答，但你實(shí)際上需要弄清楚他們是否知道他們的技術(shù)是如何出現(xiàn)故障的，以及當(dāng)技術(shù)出現(xiàn)故障時(shí)如何修復(fù)它。

　　我們了解到的一件事是，如果我們戴上變形鏡頭，它就會破壞校準(zhǔn)。很高興知道這一點(diǎn)，因?yàn)楝F(xiàn)在我們只需戴上匹配的球面鏡頭，對其進(jìn)行校準(zhǔn)，然后戴上變形鏡頭即可。我們知道如何在不影響質(zhì)量的情況下解決這些問題。

　　去年夏天我們還了解到，如果我們在夏季最熱的一天消耗過多電力，電網(wǎng)可能會出現(xiàn)問題，導(dǎo)致停電。類似這樣的事情，了解它何時(shí)何地會崩潰，這只能來自殘酷的研發(fā)實(shí)驗(yàn)過程。在您投入任何形式的制作或花錢購買此類技術(shù)應(yīng)用之前，您可能也應(yīng)該這樣做。

　　Kirsten Nelson：這是很重要的一點(diǎn)。這種程度的理解只能來自經(jīng)驗(yàn)。

　　Steve Dabal：但許多新工具的積極之處在于，人們在投入使用之前可以先體驗(yàn)一下它們。我在制作界沒看到太多這樣的例子。通常在電影制作中會有更多的把關(guān)情況，因?yàn)槟阈枰撞季昂脱輪T以及很多東西才能開始。

　　但你可以先進(jìn)入小規(guī)模研發(fā)階段。您可以使用小型顯示器、投影儀甚至綠屏來完成此類工作。并且您可以測試整個(gè)流程。然后你可能會成為一名顧問，因?yàn)槟阋呀?jīng)學(xué)會了所有的工作方式。你不會大規(guī)模地做到這一點(diǎn)，但老實(shí)說，當(dāng)你擴(kuò)大規(guī)模時(shí)，只是硬件和人員的擴(kuò)充，然后你有更大的預(yù)算，所以事情會變得更容易。

　　Kirsten Nelson：顧問咨詢的想法很有趣。也許在創(chuàng)意方面，因?yàn)樵谔摂M制作中可以提前完成很多工作。您認(rèn)為這如何運(yùn)作？

　　Steve Dabal：你幾乎需要一整個(gè)咨詢準(zhǔn)備日來解決問題。目前，電影行業(yè)本身還沒有太多顧問咨詢的先例。但如果人們在準(zhǔn)備時(shí)間內(nèi)弄清楚執(zhí)行情況，這對我來說是有意義的。這甚至可能必須在通常的預(yù)制作之前進(jìn)行 - 特別是如果你必須搭建資產(chǎn)的話。

　　本質(zhì)上，我們建議召開咨詢會議，因?yàn)檫@是一種非常先進(jìn)的工作方式。我的意思是，這一天，一切都如此順利和快速。但你需要提前做這項(xiàng)工作來進(jìn)行咨詢并確保你得到你想要的東西。因?yàn)橥ㄟ^虛擬制作，您花費(fèi)的資金比通常用于視頻制作的資金要多。

圖片摘自:https://thefamily.tv/On-L-E-D

　　Kirsten Nelson：但是你可以在后期省錢。

　　Steve Dabal：沒錯(cuò)。而且你節(jié)省了大量的時(shí)間。

　　Kirsten Nelson：我記得您說過 AI 對話工程師現(xiàn)在是創(chuàng)意工作流程的一部分。特別是在虛擬制作中，在花時(shí)間實(shí)際捕捉內(nèi)容之前，您實(shí)際上可以完全準(zhǔn)備好大量的創(chuàng)意。這對您的生產(chǎn)方面有幫助嗎？

　　Steve Dabal：理想情況下，有人會帶來一份創(chuàng)意簡報(bào)，并且他們還會分享他們已經(jīng)創(chuàng)作的所有藝術(shù)作品。因?yàn)檫@樣我們就離理解他們的想象又近了一大步。即使發(fā)生這種情況，我們工作的很大一部分就是翻譯別人頭腦中的想法。當(dāng)我們必須從頭開始時(shí)，我們會做很多修改。但如果我們能夠通過盡早提供一些人工智能生成的參考點(diǎn)來消除其中一些步驟和一些限制，那將是傳統(tǒng)工作流程的一次很酷的演變。通常是兩個(gè)人一起工作，一個(gè)人提出一堆想法，然后另一個(gè)人做出回應(yīng)和迭代。然后他們最終開始合作。有了這些人工智能工具，感覺有些人將能夠真正加快他們的流程。

　　這正是虛擬制作的關(guān)鍵點(diǎn)。它更像是，“這就是想法。你喜歡它?因?yàn)榈搅四翘欤雌饋砭蜁襁@樣。” 電影很少有這種選擇，除非它是一部大型制作，你有完美的布景渲染，而且它可能看起來和那一模一樣，因?yàn)槟慊撕芏噱X來制作它。但在其他任何事情上，你永遠(yuǎn)無法進(jìn)行一對一的翻譯。這確實(shí)是，“這是布景，它看起來像這樣。你喜歡燈光嗎?你喜歡這些桌子嗎?你喜歡這個(gè)和那個(gè)嗎?然后你實(shí)際上可以用這種方式迭代。然后當(dāng)你那天出現(xiàn)時(shí)，每個(gè)人都會發(fā)現(xiàn)這正是我們在預(yù)制作中談?wù)摰膬?nèi)容。

　　這些都是節(jié)省時(shí)間并通過構(gòu)思過程進(jìn)行構(gòu)建的方法。但如果客戶開始認(rèn)為他們可以用人工智能在內(nèi)部處理這個(gè)問題，那就會變得有趣。尤其是從版權(quán)的角度來看。我的大問題是，現(xiàn)在誰在進(jìn)行策劃?那么那些整個(gè)職業(yè)生涯都知道如何策劃的人呢?公司會讓所有東西看起來都和其他東西一樣嗎?讓故事引起觀眾共鳴的人情味的價(jià)值是什么?

　　關(guān)于敖聯(lián)（Audinate）集團(tuán):

　　敖聯(lián)(Audinate)集團(tuán)有限公司(ASX：AD8)的愿景是開創(chuàng)視聽領(lǐng)域的新未來。敖聯(lián)集團(tuán)屢獲殊榮的 Dante網(wǎng)絡(luò)解決方案是全球領(lǐng)先的解決方案，廣泛應(yīng)用于專業(yè)領(lǐng)域的現(xiàn)場擴(kuò)聲、商業(yè)安裝、廣播電視、公共廣播和錄音等應(yīng)用場所。Dante 摒棄了傳統(tǒng)的模擬電纜，僅用一條以太網(wǎng)線就得以將同步的音頻和視頻信號進(jìn)行遠(yuǎn)距離完美傳輸，且一次可傳輸?shù)蕉鄠€(gè)位置。Dante 技術(shù)平臺為全球數(shù)百家領(lǐng)先的影音行業(yè)制造商的產(chǎn)品提供服務(wù)支持。敖聯(lián)集團(tuán)總部位于澳大利亞，并在美國、英國和中國香港設(shè)有分公司。該公司的普通股在澳大利亞證券交易所(ASX)交易，股票代碼為 AD8。

　　其中Dante 和 Audinate 是敖聯(lián)集團(tuán)有限公司的注冊商標(biāo)。