Strumenti AI: animazioni con Midjourney e After Effects di Jeff Foster

Jun 19, 2023

Analisi di una tecnica di animazione utilizzando i rendering Zoom di Mijourney 5.2 e Adobe After Effects

Molto probabilmente hai già visto molte animazioni generate dall'intelligenza artificiale utilizzando vari strumenti come Runway Gen-2 e Kaiber che prendono immagini fisse e animano pochi secondi o dirigono animazioni in stile generativo da testo a video che tendono ad assomigliare a un Viaggio indotto dalla psilocibina. Sebbene siano interessanti e spesso artistici nella loro natura di genere a sé stante, fino ad oggi ho trovato poco uso pratico per qualsiasi tecnologia, specialmente con qualcosa anche lontanamente realistico o fluido nella loro consegna.

Anche se non cerco il realismo estremo come potrei fare nel lavoro con gli effetti visivi, voglio che le mie creazioni fantasy siano fluide e abbiano movimento di qualità ed elementi coinvolgenti che non distraggano dal lavoro complessivo.

Ecco perché la maggior parte dei contenuti prodotti dall'intelligenza artificiale non è sempre pronta all'uso. Spesso è necessario lavorare ulteriormente sugli elementi di un'immagine renderizzata in Photoshop o, se si animano oggetti, in After Effects. Lavoro molto in After Effects quasi ogni giorno e il 95% di esso lavora con contenuti e oggetti 2D che simulano ambienti ed effetti 3D.

È qui che inciampare nella funzionalità di pittura Zoom Out in Midjourney v5.2 porta ad alcune composizioni specifiche. Midjourney è solo un generatore di contenuti, mentre AfterEffects è l'animatore.

Vuoi sapere come utilizzare questa nuova funzionalità in Midjourney su Discord? Questo tutorial video per Midjourney Zoom-Out dal canale YouTube di All About AI ti guida attraverso i passaggi per produrli:

Per questo tipo specifico di animazione che sto cercando di creare, After Effects è necessario per "zoomare" attraverso più livelli renderizzati da Midjourney per rivelare un lungo movimento della traccia.

Quindi, quando è stato annunciato che Midjourney v5.2 consentiva le funzionalità di rendering Zoom-out e Pan-out, ciò ha innescato alcune divertenti sperimentazioni nella mia ricerca di qualcosa di unico.

Ho iniziato con un concetto bizzarro che mi ha sorpreso quando è stato renderizzato per la prima volta, poiché non era qualcosa che avevo suggerito a Midjourney, ma ha comunque dato un risultato delizioso. Dato che era il primo luglio e l'inizio di un fine settimana di 4 giorni (così come il primo giorno del mese), spesso faccio una versione divertente del rituale di dire "coniglio coniglio" sui social media il primo giorno mese con un'immagine da Midjourney. In questo caso ho chiesto “due conigli che mangiano hotdog”, pensando di poter aggiungere dei fuochi d'artificio o qualcosa di colorato nelle interpretazioni successive. L'immagine risultante che vedi qui sotto nel primo fotogramma è uno dei risultati che ho ottenuto e sono rimasto deliziato dalla scelta della composizione (anche se sembra più che stiano mangiando un alieno o un calamaro). 😉

Quando Midjourney v5.2 è stato annunciato giorni dopo, sono tornato su Discord e ho guardato indietro la mia immagine completata alla ricerca di qualcosa con cui provare la nuova funzionalità Zoom-Out. I due render successivi erano sequenziali e mi hanno sorpreso ancora di più! Per prima cosa, lo Zoom-out 1.5x mi ha regalato una bella scena dipinta attorno al rendering iniziale dei miei conigli banchettanti. Poi sono andato ancora 2 volte e non ho cambiato affatto il suggerimento: ho ottenuto altri due conigli. Ho continuato 2x, 2x, 2x, 2x un sacco di volte (13 per l'esattezza) e ho creato questa lunga scena di strada fiancheggiata da conigli. Si stavano davvero moltiplicando e variavano nelle loro caratteristiche, nell'abbigliamento e nell'ambiente. Passavano principalmente dal mangiare al bere, ma la varietà di vestiti e di espressioni facciali era deliziosa!

Dopo aver raccolto tutti questi rendering e averli impilati uno sopra l'altro in sequenza in After Effects, sapevo che dovevo allineare lo zoom in modo tale da utilizzare sempre l'"area focale centrale" della migliore qualità di ogni livello, mentre ingrandivo tra il 400% e il 50% prima di svanire e rivelare il livello sottostante allineato per assumere il controllo dello zoom. Ho utilizzato una maschera sfumata di circa 100 pixel all'interno del bordo di ciascun fotogramma per eliminare gli artefatti e le differenze dei dati dei pixel del bordo da ciascun rendering.

Ho ripetuto il processo attraverso 14 livelli diversi solo per vedere se avrebbe funzionato...