Le clip le plus créatif de l’année a été réalisé par une intelligence artificielle

Faites-moi savoir comment vous pensez que l’IA a fait dans cette interprétation visuelle de la chanson. Après avoir été pris dans l’excitation autour de DALL·E2 (le dernier et le meilleur système d’IA, c’est INSANE), j’ai cherché un moyen d’utiliser une génération d’image similaire pour la synchronisation de la musique. DALL·E2 n’étant pas encore accessible au public, ma recherche m’a conduit vers VQGAN + CLIP (Vector Quantized Generative Adversarial Network and Contrastive Language–Image Pre-training), avant de me fixer plus précisément sur Disco Diffusion V5.2 Turbo.

Si vous ne savez pas ce que ces mots ou acronymes signifient, ne vous inquiétez pas, j’étais tout aussi confus lorsque j’ai commencé à en apprendre davantage sur cette technologie. Je crois que nous arrivons à un tournant où des industries entières sont sur le point de changer en réaction à ce nouveau processus (qui est essentiellement magique !). `

Note importante: Bien que cette IA soit impressionnante, elle nécessitait encore une entrée supplémentaire au-delà des paroles des chansons pour réaliser le clip vidéo que je recherchais. Par exemple, j’ai ajouté des images clés pour le mouvement de la caméra dans tout le monde généré. Ces images clés ont été synchronisées manuellement au rythme par moi. J’ai également spécifié des changements dans le style artistique à différents moments de la chanson. Étant donné que de nombreuses paroles sont assez non spécifiques, même un illustrateur humain aurait du mal à faire des représentations visuelles.

Pour rendre les paroles plus digestes par l’IA, j’ai parfois modifié la phrase pour être plus cohérente, comme préciser un cadre ou une ambiance. C’était la première fois que je travaillais avec DDV5, et je suis très content des résultats ! Il y a eu de nombreuses fois où ma mâchoire est tombée en voyant ce que l’IA a proposé. Je n’ai pas ressenti ce sentiment d’émerveillement de la part de la technologie depuis que j’ai fait l’expérience d’un jeu vidéo HD pour la première fois quand j’étais enfant. Si vous souhaitez en savoir plus sur la façon dont cette vidéo a été réalisée, l’essayer vous-même ou me poser des questions, je publierai une explication plus détaillée sur la façon de démarrer sur Patreon (lien ci-dessous).

La publication est gratuite pour le public, pas besoin de payer. Si vous souhaitez me soutenir et devenir membre, ce serait très apprécié, vous serez également automatiquement inscrit aux mini-jeux de l’écran de fin où vous gagnerez des points sur chaque vidéo et monterez dans le classement. »

Pour suivre DoodleChaos :
Twitter: https://twitter.com/doodlechaos
Discord: https://discord.com/invite/7FCrWAzDY7
Tiktok: https://www.tiktok.com/@doodlechaos
Shorts Channel: https://www.youtube.com/channel/UCMqg…
Instagram
Shorts: https://www.instagram.com/doodlechaos…
Email: contact@doodlechaos.com