Comment créer des vidéos d'IA cinématiques avec les mises à jour de Runway Gen-3

分类:Nouvelles de l'IA 浏览量:828

Dans cette vidéo, je vous montrerai comment utiliser Défilépour créer une magnifique scène générée par l'IA.

Défilé a récemment amélioré son générateur vidéo IA en y ajoutant de nouvelles fonctionnalités telles que les références, le mode chat et la mise en page des croquis.

Ces mises à jour peuvent jouer un rôle majeur dans la création de plans cohérents, réalistes et cinématographiques. Et je suis impatient de vous montrer comment.

Allons-y.

Explorons les dernières fonctionnalités de Runway, à savoir les références et le mode chat, qui sont peut-être encore en version bêta au moment où vous regardez cette vidéo, mais nous utiliserons tous ces clips pour créer une vidéo cohérente avec un style cohérent et notre personnage y sera placé.

Alors, mettons-nous au travail.

Tout d'abord, nous allons commencer par générer notre image. Nous allons cliquer ici. Si vous n'avez pas utilisé Runway depuis un certain temps, l'apparence est un peu différente, car vous pouvez maintenant voir un bouton de mode chat ici, que nous verrons un peu plus tard.

Et vous avez un endroit où vous pouvez télécharger vos images de référence, de sorte que l'incitation à l'image serait beaucoup plus contrôlable.

Je vais commencer par télécharger nos images. Télécharger. J'introduirai notre personnage, qui se trouve ici. Je vais également télécharger notre scène.

Vous pouvez utiliser jusqu'à trois images de référence par génération d'image et cela fonctionne mieux avec les personnages et les scènes. Cependant, vous pouvez être un peu plus créatif et voler, par exemple, l'éclairage d'une image particulière ou son style visuel, etc.

Comme vous pouvez le voir, nos deux images sont téléchargées ici. Pour l'instant, elles ne servent pas de référence. Elles sont simplement téléchargées et si vous voulez les utiliser, vous devez les faire apparaître ici, ce que vous ferez en cliquant sur .

Ou si, disons, ce personnage est vraiment important pour vous et que vous devez y faire référence à maintes reprises, vous pouvez le marquer pour le sauvegarder. Disons que je vais l'appeler Julia.

Elle apparaît ainsi dans l'onglet sauvegardé. Vous n'aurez donc pas besoin de charger cette image à chaque fois.

Ici, c'est l'image 1 et ici, c'est Julia. Je peux l'appeler même si j'écris, disons, @Julia et cela téléchargera son image même si je ne la téléchargerai pas ici parce qu'elle reste dans l'onglet sauvegardé.

Commençons donc par une prise de vue de cette rue et je peux lui donner la commande de me montrer une vue différente de la rue et vous obtiendrez @image1.

De cette façon, vous faites référence à cette image. Et nous pouvons appuyer sur générer.

Et comme vous pouvez le constater, il a réussi à maintenir l'aspect visuel. Mais ces tables sont positionnées de manière quelque peu irrationnelle. Peut-être devrions-nous ajouter plus de contexte.

Montrez-moi une vue en plongée de la rue comme plan d'ensemble.

Et là, on arrive à quelque chose. Mais le positionnement de ces tables n'est pas crédible. En revanche, celui-ci semble tout à fait utilisable.

Je peux peut-être introduire une autre caractéristique ici, à savoir la mise en page des dessins.

Si je souhaite exprimer ma vision et l'aider à créer une vue centrée de la rue, je peux l'aider avec cette icône qui représente une esquisse de mise en page.

Je peux maintenant utiliser l'outil de dessin pour créer une ligne pour la rue et quelques bâtiments avec des fenêtres.

Comme vous pouvez le constater, il s'agit d'une rue de Paris. Vous n'avez pas besoin de compétences avancées en dessin, comme vous pouvez le constater.

Mais vous devriez aussi l'aider avec des étiquettes, car vous dessinez une esquisse de la disposition que, espérons-le, il suivra. Mais vous pouvez l'aider à comprendre ce que vous dessinez à l'aide d'étiquettes.

Je peux cliquer sur "label here" et écrire "road". Ensuite, je peux cliquer sur l'étiquette "bâtiments". Je ferai la même chose ici, bâtiments. Et j'en ferai une autre ici, route.

Cliquez sur "exporter l'esquisse" et nous ferons le prochain tour avec cette aide.

Il n'a pas suivi notre demande, mais je sais probablement où se situe le problème. Je n'ai pas demandé l'image 2 comme référence.

Montrez-moi un angle de vue centré @image2 dans la rue. L'image 1 sert de plan d'ensemble.

Comme vous pouvez le voir, c'est un peu mieux. Nous avons également notre arbre ici. En fait, il y en a plusieurs.

Si je n'aime pas l'un d'entre eux, mais que le cadre est tout à fait approprié, je le laisserai générer une fois de plus et je choisirai le meilleur. Sinon, je choisirai probablement celui-ci.

Et nous continuerons à créer notre scène avec la prochaine prise de vue. Je peux me débarrasser de ce schéma. Je n'en ai plus besoin car je veux placer notre personnage dans ce plan.

Par conséquent, montrez-moi @Julia et il pourra appeler cette image même si elle n'est pas téléchargée ici.

Montrer Julia dans le café de la rue parisienne @image1 génère.

Cette fois-ci, c'est beaucoup plus créatif. Et l'arbre est encore plus visible. En fait, je l'aime bien. C'est pourquoi je l'utiliserai comme plan d'ensemble.

Utilisons-le comme vidéo et comme plan d'ensemble pour une publicité. Générer.

Nous pouvons maintenant revenir à notre onglet "image". Et là, elle boit un café dans une rue de Paris.

Je pense que seule cette image a la bonne taille de son corps, mais je peux m'en accommoder. Je peux faire la même chose qu'avec l'image précédente. Je peux laisser les choses se faire encore une fois et je choisirai la meilleure, mais je pense que cela devrait fonctionner facilement.

Et j'ouvrirai une nouvelle génération en me montrant le côté serré ou pas le portrait mais la vue de détail du côté. Boire un café dans une rue de Paris. Allons-y, générons.

Je pense que le deuxième tour est meilleur. Mais il se peut que des personnes me manquent ici. Je vais donc essayer de les introduire dans la scène. Cependant, cela risque d'être difficile car cette image de référence ne contient pas de personnes.

Personnes marchant en arrière-plan sur le trottoir. Générer des hits.

Et maintenant, vous pouvez voir que c'est la rue que nous voulons, c'est le personnage que nous voulons, et elle boit du café. C'est une sorte de gros plan, ce qui est vraiment génial.

Dans tous les cas, je n'ai fait que peaufiner ce qu'il y a peut-être dedans, mais la cohérence n'est en fait pas un problème car tous les visuels restent dans le même éclairage et le même étalonnage des couleurs. C'est une fonction tout à fait utilisable, je pense.

Et ici, nous avons notre Julia, qui boit du café, et il y a des gens qui marchent derrière elle.

Je vais encore faire un tour avec cette génération. J'aime bien celle-ci. C'est pourquoi je l'utiliserai également comme vidéo à titre de référence.

Femme buvant un café et profitant de l'instant présent. Elle ferme les yeux en buvant. Générer.

Jusqu'à ce moment, je ne savais pas ce qui n'allait pas, mais si vous faites, disons, une publicité, elle ne devrait probablement pas regarder la caméra.

Je l'utiliserai donc à nouveau. Montrez-moi Julia dans le café, elle regarde sur le côté. Voyons comment nous pouvons générer.

Nous pouvons continuer à peaufiner nos scènes avec cette approche. Mais une fois que vous aurez préparé quelque chose comme cela et que vous voudrez l'utiliser, vous pourrez vous servir de cette image générée comme référence.

Je cliquerai ensuite sur l'image pour la référence. Elle est téléchargée ici. Je vais me débarrasser de Julia et de la rue de Paris.

Montrez-moi un gros plan sur les lèvres qui boivent du café dans la tasse blanche. Générer.

Et maintenant, je peux supprimer celui-ci afin de rester organisé.

J'ai déjà probablement deux clips. Je le ferai peut-être tourner plusieurs fois jusqu'à ce que je trouve le meilleur.

J'ai déjà un plan d'image ici qui est un plan d'établissement. Je pourrais bien sûr jouer avec, l'inciter à un mouvement de caméra précis, mais ce n'est pas l'objectif de cette vidéo.

C'est pourquoi je la ferai boire du café dans une tasse. C'est ce que je cherchais.

Je voudrais probablement un gros plan latéral des lèvres et de la rue @image1.

Et pendant ce temps, j'ai une génération assez géniale que je veux. Mais elle porte un pull blanc et je veux qu'elle porte le pull noir qui est comme ici.

Je peux maintenant choisir une image qui sera probablement celle-ci. Et ici, je peux l'utiliser dans le chat.

L'image a été téléchargée dans le chat. Et maintenant, vous pouvez l'inviter à faire des ajustements ou tout autre chose que vous voulez faire avec l'image. Et vous utilisez votre langue maternelle.

Veuillez changer son pull pour une couleur noire et confirmez.

Il s'agit plus ou moins d'une approche ChatGPT pour générer des images. Et maintenant, c'est fait.

Mais vous pouvez continuer à peaufiner la scène pour qu'elle prenne la forme que vous souhaitez.

Voyons ce qu'il en est. Zoomez un peu parce que je pense que c'est trop près. Zoom arrière, mais juste un peu. Je vais donc refaire un tour.

Zoomer davantage. Je veux que tout son corps soit dans l'image.

Et il a fait quelques ajustements. Cependant, elle est placée sur une chaise différente. Mais vous avez probablement compris.

Même si j'utiliserais peut-être cette toute première image parce qu'elle correspond à mon besoin pour la publicité que nous avons mise en place.

Je peux peut-être être encore plus créatif et placer une voiture sur la route. Placez une Ferrari rouge sur la route.

Ce serait évidemment inutilisable. Mais je souhaite simplement vous présenter la manière dont vous pouvez aborder ce type de génération d'images, qui repose sur des sentiments et des itérations.

Il n'est pas nécessaire de trouver l'image exacte dès le départ, mais on peut y arriver. Vous pouvez probablement modifier la scène comme vous le souhaitez, puis utiliser cette image comme référence pour la scène de la rue et faire revenir Julia pour qu'elle soit exactement le personnage que nous voulons.

Vous pouvez également ajouter cette image en tant qu'entrée afin qu'elle soit référencée davantage.

Ajoutez également une Lamborghini jaune devant la voiture rouge. Donnez-lui une casquette de baseball sur la tête.

Mais vous avez probablement compris comment vous pouvez l'utiliser pour répondre à vos besoins.

D'une manière générale, l'utilisation de références dans Runway avec une mise en page esquissée et peut-être un mode chat pour le développement visuel initial est un outil formidable que j'ai, par exemple, utilisé ailleurs, disons dans Midjourney, et que j'ai ensuite continué à faire évoluer dans Runway.

Mais aujourd'hui, vous pouvez le faire directement dans Runway et c'est très puissant.

Comme vous pouvez le voir, nous avons les deux voitures et elle a une casquette.

Comme vous pouvez le constater, toute cette itération, qui est inutilisable, s'est produite au cours de notre session. Vous pouvez donc facilement utiliser cette image comme référence.

Vous pouvez vous en débarrasser et me montrer un très gros plan. Montrez-moi Julia à côté de la voiture jaune @image2.

De cette façon, vous pouvez jouer avec. Créez une scène au fur et à mesure que vos pensées apparaissent dans votre tête et faites preuve de créativité.

Et maintenant, comme vous pouvez le voir, il a fait ce que j'avais demandé.

Mais le côté amusant mis à part, si nous revenons à nos générations d'origine, si vous investissez du temps pour les peaufiner un peu, peut-être pour peaufiner les détails et trouver cette image qui est la meilleure pour une scène particulière, vous la laisserez générer directement dans Runway upscale en 4K.

Et si vous les assemblez, cela peut ressembler à ceci.

FacebookXWhatsAppPinterestLinkedIn