Génération de vidéos par IA : découvrir Sora et Vidu

Dans le paysage en évolution rapide de l’intelligence artificielle, la génération de vidéos à partir de textes se distingue comme une frontière technologique bientôt dépassée. Deux modèles notables dans ce domaine sont Sora d’OpenAI et Vidu, développé par Shengshu Technology en collaboration avec l’Université de Tsinghua.

OpenAI Sora

Sora est capable de créer des vidéos de haute fidélité jusqu’à une minute à partir de simples descriptions textuelles. Cet outil d’OpenAI est dit destiné à des applications allant de l’éducation à l’entrepreneuriat créatif. Il intègre des techniques avancées pour améliorer la composition des vidéos et permet des personnalisations flexibles selon les ratios et les résolutions souhaitées, tout en bénéficiant de la capacité d’étendre les vidéos de manière créative.

Sora n’est pas encore disponible pour le grand public. OpenAI a opté pour une approche prudente, partageant le modèle avec des testeurs de sécurité tiers et des créateurs de contenu pour peaufiner l’outil et minimiser les risques d’abus potentiels, tels que la création de deepfakes photoréalistes.

Vidu

D’autre part, Vidu se distingue par sa capacité à intégrer des éléments culturels chinois dans ses productions, offrant ainsi une résonance plus profonde avec les utilisateurs locaux. Utilisant une architecture U-ViT qui combine des modèles de diffusion et des transformateurs, Vidu produit des contenus visuels réalistes et dynamiques, marquant une avancée notable pour la technologie chinoise dans le domaine de l’IA.

Perspectives et défis

Tandis que ces technologies offrent des possibilités étendues pour la narration, elles présentent également des défis significatifs. Les questions de sécurité, d’éthique, et de gestion des droits d’auteur sont au cœur des préoccupations, surtout avec la capacité de ces modèles à produire des contenus qui semblent de plus en plus réels.

Créer un prompt efficace

Les prompts doivent être aussi détaillés que possible. Cela doit inclure des descriptions spécifiques des personnages, des actions, des environnements, et des objets. Par exemple, au lieu de dire simplement « un chien dans un parc », il faut préciser « un golden retriever courant joyeusement à travers un parc ensoleillé avec des enfants jouant en arrière-plan ». Il faut ajouter des informations sur l’ambiance ou le ton de la scène pour aider le modèle à capturer l’atmosphère souhaitée. Par exemple, « une rue animée de Tokyo la nuit, éclairée par des néons multicolores et remplie de passants portant des parapluies lumineux ».

Instructions

Décrire les mouvements de caméra peut enrichir la dynamique de la vidéo. Utiliser des termes comme « la caméra suit », « zoom sur », ou « vue aérienne de » est utile pour spécifier comment la scène doit être visualisée. Par exemple, « la caméra suit un cycliste traversant un pont au coucher du soleil ». Autre point, mentionner les interactions entre les personnages ou les changements dans l’environnement. Cela peut inclure des dialogues, des interactions physiques, ou des événements météorologiques. Par exemple, « un homme et une femme discutant à une table de café en plein air alors qu’il commence à pleuvoir doucement ». Si cela a sa pertinence, il faut indiquer le moment de la journée ou la durée pendant laquelle les événements se déroulent. Cela aide à ajuster l’éclairage et l’atmosphère générale de la vidéo. Par exemple, « une scène de marché matinal, avec des vendeurs préparant leurs étals à l’aube ».

Pour les scènes impliquant des personnages, il faudra décrire les émotions ou les expressions faciales pour que le modèle puisse générer des réactions réalistes. Par exemple, « un petit garçon ouvre un cadeau, son visage s’illumine de surprise et de joie ».

En suivant ces directives, chacun.e pourra formuler des prompts qui sont non seulement clairs et descriptifs mais aussi inspirants pour le modèle d’IA, permettant la création de vidéos qui sont visuellement riches.