Wrogowie: sztuczna inteligencja, efekty wizualne i ich ścieżki łączenia

Sztuczna inteligencja wywraca branżę kreatywną do góry nogami i ostatnio wywołała panikę wśród ilustratorów i copywriterów. Ale branża VFX znacznie wyprzedza konkurencję, jeśli chodzi o eksperymentowanie i skuteczne wykorzystywanie sztucznej inteligencji i obrazów generowanych algorytmicznie. Niezależnie od tego, czy wykorzystuje sztuczną inteligencję do symulacji tłumów lub wzrostu roślin, mięśni i mięśni na kreacjach, czy też do ulepszania przechwytywania ruchu, maskowania i nie tylko, istnieje wiele obszarów dojrzałych dla sztucznej inteligencji – i zanim jeszcze dojdziemy do rozwoju deepfake’ów. Dlatego w LBB chcieliśmy dowiedzieć się, jak rzeczy zmieniły się w ciągu ostatnich kilku lat i zbadać, jak sztuczna inteligencja jest naprawdę wykorzystywana w efektach wizualnych.

Jak dokładnie łączy się sztuczna inteligencja i efekty wizualne?

Chociaż wiemy, że branża efektów wizualnych zawsze była wylęgarnią innowacji, a nadejście sztucznej inteligencji rewolucjonizuje sposób tworzenia filmów i programów telewizyjnych, istnieje kilka unikalnych sposobów, w jaki te dwa elementy łączą się, aby stworzyć to, co widzimy na naszych ekranach. Ale najpierw podzielmy się kilkoma.

zamiana tekstu na obraz AI, znana również jako Natural Language Image Synthesis lub NLIS, generuje obrazy z opisów tekstowych. absorpcja ruchuktóre istnieje od dziesięcioleci, ale szybko się zmienia wraz z AI, przechwytując ruch bez potrzeby tagów lub garniturów w danych ruchu o kinowej jakości. symulacje tłumuktóry stał się znacznie bardziej wydajny i realistyczny dzięki wprowadzeniu narzędzi AI, takich jak Golaem Crowd i Miarmy. tekst do modeluktóre mogą tworzyć modele 3D, środowiska, animacje lub całe sceny na podstawie pisemnych opisów. rekonstrukcja twarzy używany głównie do tłumaczenia filmów na różne języki poprzez analizę ruchów twarzy aktorów i modyfikację ich w celu dopasowania ruchów ust do przetłumaczonego dialogu. zamiana tekstu na wideo to kolejny rozwijający się obszar VFX, który wykorzystuje algorytmy sztucznej inteligencji do generowania złożonych animacji i filmów bez potrzeby ręcznej animacji klatka po klatce. Na koniec kontrowersyjny głębokie podróbkiktóre mogłyby być również wykorzystywane zgodnie z prawem, na przykład do tworzenia sobowtórów dla aktorów.

Jednak ta lista nie jest bynajmniej kompletna. Jamie Watson, współzałożyciel i dyrektor kreatywny firmy Heckler, wyjaśnia, jak jedną z ciekawszych prezentacji na niedawnej konferencji programistów Facebooka, która odbyła się w San Jose, była rola sztucznej inteligencji w przywracaniu zdjęć, a następnie filmów. „Szybkość tego procesu była imponująca już kilka lat temu. Usuń szumy, odbuduj zepsute klatki, zwiększ rozdzielczość, dodaj kolor. To było w 2019 roku”. Jamie mówi, że obecnie istnieje kilka aplikacji, które z powodzeniem to robią, co Heckler wykorzystuje również na swoją korzyść w VFX. „Tworzenie matowych obrazów w rozdzielczości 12k+ wymaga poziomu szczegółowości, który jest łatwo osiągalny za pomocą dostępnych nam narzędzi, a także możliwości pozyskiwania zdegradowanych obrazów i umieszczania ich w scenie”.

Dodaje, że Heckler wbudował również generowanie obrazów przez sztuczną inteligencję do przetwarzania tekstu na obraz w swoim potoku konceptualizacji i prezentacji pomysłów. „Nasze obecne narzędzia dostosowują się do nowych przepływów pracy AI” — dodaje Jamie. „Próbujemy wyeliminować ręczny charakter naszej pracy i zautomatyzować ją. Do tej pory mieliśmy mieszane wyniki, ale widzimy tylko poprawę. W tempie, w jakim branża przyjęła sztuczną inteligencję, nie minie dużo czasu, zanim narzędzia zostaną w pełni zintegrowane”.

Chociaż Airbag nie wykorzystuje jeszcze sztucznej inteligencji w efektach wizualnych, reżyser i partner Travis Hogg mówi, że równie dobrze mogliby zacząć od przeczytania tego artykułu. Chociaż nadążanie za rozwojem technicznym w tej dziedzinie i nowatorskimi sposobami ich wdrażania stało się prawie drugą pracą na pełen etat, prawda jest taka, że ​​integracja sztucznej inteligencji bezpośrednio z potokiem oprogramowania zmieni zasady gry w post i produkcję. . „Jeśli poprosisz oprogramowanie Houdini o utworzenie drzewa węzłów lub poprosisz Nuke o rotoskopię„ tego drzewa w rogu ”, będzie to prawdziwa zmiana w naszym codziennym przepływie pracy”, mówi Travis. „Obecnie znajdujemy się w punkcie zwrotnym, ale nie wiemy, jak dalece wpłynie to na wszystkie nasze branże. Jedyną przeszkodą związaną z AI jest brak kontroli nad ostatecznym obrazem. Kiedy masz klientów, którzy oczekują i potrzebują konkretnej, precyzyjnej kontroli nad obrazem, bardzo trudno jest zaufać, że sztuczna inteligencja to zapewni.”

Jednak tym, co Travis uważa za realną opcję, nie jest włączenie technologii sztucznej inteligencji do tworzenia ostatecznego obrazu, ale raczej tworzenie zasobów, które go tworzą. „Na przykład, kiedy teksturujemy budynek 3D, prosimy o obraz ściany z cegły, który pasuje do geometrii 3D. Lub jeśli potrzebujemy burzliwego nocnego nieba na tabliczkę tła. Najważniejsze jest to, że nadal musimy mieć pełną kontrolę nad obrazem, a w tej chwili sztuczna inteligencja nie może tego zapewnić… jeszcze”.

Dla Davida Caseya, dyrektora kreatywnego w firmie Embassy, ​​postęp sztucznej inteligencji jest i będzie nieunikniony, czy to poprzez przyziemne zadania, takie jak rotoskopia, czy bardziej wyrafinowane początkowe koncepcje, a Embassy nie boi się bawić swoimi licznymi iteracjami. „Niedawne włączenie zestawów narzędzi sztucznej inteligencji bezpośrednio do The Foundry’s Nuke otworzyło wiele możliwości dla naszego zespołu kompozytorskiego” — mówi. „Początkowe kompozyty pierwszego przejścia, często określane jako „tymczasowe”, zajmowały trochę czasu na prymitywne prace rotoskopowe i oczyszczające, które teraz można w pewnym stopniu wykonać za pomocą tych narzędzi sztucznej inteligencji.” Dyrektor kreatywny firmy EDISEN, Jay Harwood, zgadza się, że zespół zajmuje się nową technologią. Niedawno wykorzystali deepfake w projekcie, który w przeszłości zajmowałby znacznie więcej czasu i pieniędzy oraz wymagał wielu członków zespołu, co bardzo utrudniało zarządzanie.

Dlaczego przyciąga teraz?

Ale niezależnie od tego, jak na to spojrzeć, wszystko to jest normalne i przychodzi naturalnie wraz z postępem technologicznym, a zwłaszcza nieliniowym. „Społeczność VFX zawsze korzystała z najnowszych technik, ponieważ zawsze staramy się, aby wszystko było szybsze, łatwiejsze i lepsze. Ponieważ istnieje wiele iteracji, aby wprowadzić coś w miejsce kreatywnego kierunku, jeśli jest to fotorealistyczne, abstrakcyjne lub coś bardziej zabawnego, za czym gonimy” – mówi Jay. Jeśli tak, to dlaczego te rozmowy nabierają tempa teraz, gdy wiele narzędzi sztucznej inteligencji lub uczenia maszynowego, które społeczność VFX powszechnie używa obecnie w efektach wizualnych, do maskowania, śledzenia i malowania, już istnieje Liczba lat, choć z ograniczoną użytecznością i niezgrabnymi platformami.

Davis z ambasady uważa, że ​​przemysł znajduje się na rozdrożu. „Sprzęt jest stosunkowo tańszy, modele i zestawy danych zostały udoskonalone i rozszerzone, aby były gotowe do produkcji, a obliczenia o wysokiej wydajności są bardziej dostępne niż kiedykolwiek, ponieważ w ciągu ostatnich trzech lat świat został popchnięty w kierunku przetwarzania zdalnego i opartego na chmurze” powiedział mówi.

Jego zdaniem praktycznie każdy może teraz trenować model na swoim komputerze domowym lub wynająć czas na potężnych systemach przetwarzania w chmurze – to demokratyzacja sztucznej inteligencji i uczenia maszynowego naprawdę stoi za ogromnym zainteresowaniem i wzrostem w ciągu ostatniego półtora roku. pocierać”, jak to ujął David.

Czy zatem społeczność VFX powinna obawiać się przejęcia władzy przez roboty?

Odpowiedź jest skomplikowana. Jay Harwood uważa, że ​​poziomy kontroli w zorientowanej na klienta pracy ze sztuczną inteligencją są tam, gdzie ludzki dotyk jest nadal bardzo potrzebny, ponieważ technologia nie ma elastyczności potrzebnej do mentalności „wszystko jest możliwe”, która kocha świat mediów . Ponadto „klienci z pewnością nie rozumieją, że nie mogą komentować wszystkiego, ale kiedy większość pracy jest wykonywana przez sztuczną inteligencję, istnieje wiele zmiennych, nad którymi nie ma się pełnej kontroli”. technologia jest niesamowita i nadchodzi Jeszcze lepsza w nadchodzących latach, branża powinna mieć pewność, że to nie jest srebrna kula, którą ludzie mogą sądzić.

„W przeszłości produkcje odbywały się na zasadzie 80/20, co oznacza, że ​​pierwsze 80% równa się ostatnim 20%. Teraz, gdy igła się porusza, sztuczna inteligencja pomaga nam osiągnąć ten cel o 80% szybciej, ale ostatnie 20% wciąż wymaga wkładu człowieka, aby dodać ostatnie szlify. To wciąż niesamowite stwierdzenie, czasy się zmieniają i optymistycznie rzecz biorąc, ewolucja sztucznej inteligencji pomoże robić więcej zabawnych rzeczy, umożliwiając większej liczbie artystów posiadanie większej ilości nagrań – i dając im możliwość robienia więcej. Wzięcie odpowiedzialności za opowiadane przez nas historie”.

Jay wyjaśnia, że ​​mimo to niektórzy są zaniepokojeni. „Niektórzy ludzie skontaktowali się z nami po kilku ostatnich artykułach, w których podzielili się swoimi obawami dotyczącymi sztucznej inteligencji” — mówi. „Co ostatecznie sprowadziło się do tego, że martwili się koniecznością posiadania szybszego oprogramowania. A po kilkudziesięcioletniej pracy w tej branży może to być wyczerpujące”.

Równie uspokajające jest przekonanie Davida Caseya, że ​​obawy, że sztuczna inteligencja zastąpi artystę, są bezpodstawne, ponieważ sztuczna inteligencja po prostu nie może nic zrobić bez artysty. „Prawdziwym strachem jest tutaj demokratyzacja umiejętności, w które artyści VFX zainwestowali dużo czasu i pieniędzy” – mówi. „Że przypadkowy John Doe na drodze może uzyskać akceptowalne wyniki. Ale pytam, czy to takie złe? Branża efektów wizualnych stoi przed wyzwaniem związanym z wydajnością. Rozwój streamerów Netflix, Apple i Disney zastał nas teraz ze zbyt dużą ilością pracy i niewystarczającą liczbą artystów. Jeśli sztuczna inteligencja i uczenie maszynowe mogą rozłożyć obciążenie i pozwolić artystom skupić się na ważniejszych zadaniach, to jest wygrana”.

Ważne zadania obejmują, jeśli się zastanawiasz, granice w VFX, gdzie zbiegają się nauka, technologia i rzemiosło. I chociaż sztuczna inteligencja i uczenie maszynowe mogą pomóc w nauce i inżynierii, rzadziej zastąpią sztukę i rzemiosło. Jest to obszar, w którym decyzje podejmowane są na bardzo osobistych, subiektywnych podstawach i są mieszane z emocjami, doświadczeniem i kontekstem. Nie wspominając o próbach i błędach, czymś, w czym ludzie są całkiem dobrzy i czymś, co nie nastąpi w najbliższym czasie. Jim Allen, dyrektor kreatywny VFX w No.8 London, myśli w podobny sposób: „Chociaż niektórzy mogą martwić się, że sztuczna inteligencja odbierze pracę artystom, bardziej prawdopodobne jest, że sztuczna inteligencja rozszerzy ich pracę i pozwoli im się na niej skupić. skoncentruj się na bardziej kreatywnych i wymagających zadaniach. Ostatecznie sztuczna inteligencja może sprawić, że efekty wizualne będą bardziej wydajne, tańsze i oszałamiające wizualnie”.

Prognozy producenta poduszek powietrznych, Nicka Venna, są równie optymistyczne, stawiając na współpracę, a nie na wybór władcy w świecie VFX: „Trudno sobie wyobrazić, że sztuczna inteligencja przejmie kontrolę i będzie w stanie odpowiedzieć z taką samą dokładnością, emocjami i kontekstem, jak zespół ludzkich artystów i będziemy ewoluować i ewoluować wraz z nim, zamiast zostać przez niego przejęty. Znane ostatnie słowa?”