Sora de OpenAI : pour remplacer certaines séquences tournées avec des drones ?
Vous en avez sans doute entendu parler ces derniers jours, et vous avez peut-être visionné l’une des vidéos de démonstration : Sora est un outil d’intelligence artificielle surprenant. Ce n’est évidemment le même Sora que la méthode de gestion du risque utilisée par la réglementation européenne appliquée aux drones (Specific Operations Risk Assessment). Il semble que le Sora d’OpenAI soit lié au mot japonais qui signifie « Ciel ».
Le principe ? Sora crée de courtes vidéos à partir d’une phrase. Des services semblables existaient déjà, comme Runway, mais sans pousser aussi loin l’impression de réalisme.
Ce qui change par rapport aux autres outils ?
OpenAI, le créateur de ChatGPT et de Sora, explique sa technologie ainsi : « Sora est un modèle de diffusion qui génère une vidéo en commençant par une séquence qui ressemble à du bruit statique, et la transforme progressivement en supprimant le bruit en plusieurs étapes.
Sora est capable de générer des vidéos entières en même temps ou d’étendre les vidéos générées pour les rendre plus longues. En donnant au modèle une vision de plusieurs images à la fois, nous avons résolu un problème difficile consistant à garantir qu’un sujet reste le même même lorsqu’il est temporairement hors de vue ».
Et en clair ?
C’est une question de consistance des images entre elles. Pour que les vidéos soient réalistes, y compris celles qui semblent réalisées en CGI, il faut que chaque image corresponde à la suivante pour éviter les apparitions et disparitions d’objets, de personnes, d’animaux.
C’est le challenge que semble avoir relevé OpenAI. « Semble » puisque pour le moment l’outil n’est disponible que pour quelques testeurs. Mais il devrait être proposé à tous bientôt… Et, aussi, parce qu’OpenAI indique que sa technologie n’est pas encore totalement satisfaisante.
Mais alors…
Allons-nous encore réussir à distinguer des images créées par une intelligence artificielle de celles réellement filmées ? A en voir les démos d’OpenAI, ce sera difficile, même en connaissant les techniques et les faiblesses des outils comme Sora (que l’on voit parfois dans les démos).
Qui sera titulaire des droits sur ces images ? Si des éléments de vidéos réelles apparaissent dans les images AI, leurs auteurs pourront-ils faire valoir leurs droits ? Pourra-t-on éviter de voir apparaitre des vidéos qui présentent des situations et des discours totalement inventés et détournés dans un but malveillant ?
Ce qu’en dit OpenAI n’est pas rassurant :
« Nous mobiliserons les décideurs politiques, les éducateurs et les artistes du monde entier pour comprendre leurs préoccupations et identifier des cas d’utilisation positifs de cette nouvelle technologie.
Malgré des recherches et des tests approfondis, nous ne pouvons pas prédire toutes les manières bénéfiques dont les gens utiliseront notre technologie, ni toutes les manières dont ils en abuseront. C’est pourquoi nous pensons que l’apprentissage de l’utilisation réelle est un élément essentiel de la création et de la diffusion de systèmes d’IA de plus en plus sûrs au fil du temps ».
Une sélection de vidéo d’exemples de Sora…
Elles sont toutes issues de la page de présentation de Sora sur le site d’OpenAI. Vous avez sans doute déjà vu certaines d’entre elles, j’ai simplement regroupé celles qui pourraient avoir été filmées depuis un drone. Si elles montraient la réalité, s’entend. Les prises de vues d’illustration en drone vont-elles disparaitre avec Sora ? Allez savoir…
Source : OpenAI
Drone view of waves
Prompt: Drone view of waves crashing against the rugged cliffs along Big Sur’s garay point beach. The crashing blue waters create white-tipped waves, while the golden light of the setting sun illuminates the rocky shore. A small island with a lighthouse sits in the distance, and green shrubbery covers the cliff’s edge. The steep drop from the road down to the beach is a dramatic feat, with the cliff’s edges jutting out over the sea. This is a view that captures the raw beauty of the coast and the rugged landscape of the Pacific Coast Highway.
Amalfi Coast
Prompt: A drone camera circles around a beautiful historic church built on a rocky outcropping along the Amalfi Coast, the view showcases historic and magnificent architectural details and tiered pathways and patios, waves are seen crashing against the rocks below as the view overlooks the horizon of the coastal waters and hilly landscapes of the Amalfi Coast Italy, several distant people are seen walking and enjoying vistas on patios of the dramatic ocean views, the warm glow of the afternoon sun creates a magical and romantic feeling to the scene, the view is stunning captured with beautiful photography.
Santorini
Prompt: Aerial view of Santorini during the blue hour, showcasing the stunning architecture of white Cycladic buildings with blue domes. The caldera views are breathtaking, and the lighting creates a beautiful, serene atmosphere.
Tiltshift construction site
Prompt: Tiltshift of a construction site filled with workers, equipment, and heavy machinery.
California during Gold Rush
Prompt: Historical footage of California during the gold rush.
SUV in the dust
Prompt: The camera follows behind a white vintage SUV with a black roof rack as it speeds up a steep dirt road surrounded by pine trees on a steep mountain slope, dust kicks up from it’s tires, the sunlight shines on the SUV as it speeds along the dirt road, casting a warm glow over the scene. The dirt road curves gently into the distance, with no other cars or vehicles in sight. The trees on either side of the road are redwoods, with patches of greenery scattered throughout. The car is seen from the rear following the curve with ease, making it seem as if it is on a rugged drive through the rugged terrain. The dirt road itself is surrounded by steep hills and mountains, with a clear blue sky above with wispy clouds.
Tokyo in the snow
Prompt: Beautiful, snowy Tokyo city is bustling. The camera moves through the bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes.
Flock of paper airplanes
Prompt: A flock of paper airplanes flutters through a dense jungle, weaving around trees as if they were migrating birds.
NYC Aquarium
Prompt: New York City submerged like Atlantis. Fish, whales, sea turtles and sharks swim through the streets of New York.
