Photogrammétrie : modélisez en 3D à partir d’une vidéo filmée en drone, facilement et gratuitement (avec Luma AI)

L’application pour smartphones et tablettes Luma AI permet de vous passer de complexes outils de photogrammétrie pour modéliser des sujets en 3D !

C’est une excellente nouvelle pour ceux qui n’ont aucune envie de passer du temps à comprendre comment utiliser et optimiser les techniques de photogrammétrie et leurs outils, ni de payer pour obtenir un résultat puisque l’application est gratuite… 

Et pour les professionnels ? Luma AI pour mobiles est un outil destiné au loisir et à la découverte, il n’a pas vocation à remplacer des systèmes professionnels comme Pix4D, Metashape, 3DF Zephyr, RealityCapture, Autodesk, Meshroom, pour ne citer qu’eux.

Une vidéo

Le principe de Luma AI

L’application Luma AI utilise une vidéo pour modéliser un objet, un bâtiment, une personne. Pour éviter les incompréhensions : Luma AI, l’application sur mobiles, est différente de Luma AI, le webservice sur navigateurs web qui a pour but de créer des séquences vidéos à partir de prompts (textes) ou de photos. 

Pour construire un modèle 3D, Luma AI extrait des photos de la vidéo. Il s’appuie sur les NeRF (Neural Radiance Fields ou encore champs de rayonnement neuronaux) pour effectuer une reconstruction en 3D à partir des photos 2D à l’aide d’une méthode de deep learning – d’intelligence artificielle pour faire simple. 

En pratique ?

Pour modéliser un sujet avec Luma AI, la première étape consiste à réaliser une vidéo de cet objet. Plus on le voit sous tous ses angles, mieux c’est ! Si votre drone dispose d’une fonction de verrouillage sur une cible, comme par exemple Spotlight sur les drones de DJI, la réalisation d’une telle vidéo est simplissime. Vous verrouillez la cible, et vous faites évoluer le drone autour : depuis le bas jusqu’au-dessus. 

Les principales recommandations ? 

C’est de piloter doucement pour éviter les flous de mouvement et de veiller à capturer des vues tout autour du bâtiment, à différentes hauteurs.

Peu importe que la vidéo ne soit pas intéressante ni agréable à regarder : ce n’est qu’un support qui sert à l’extraction automatique de photos. 

Pour shooter un bâtiment, vous pouvez débuter à hauteur du sol, puis tourner autour dans une spirale ascendante. Pas besoin de vue « nadir » (à la verticale), Luma AI se débrouille avec une inclinaison de la caméra à 45° seulement.

Vous pouvez insister sur certains détails pour mieux les modéliser : Luma IA se débrouille assez bien – parfois mieux que d’autres logiciels – avec des croix, des girouettes, des clochers, etc.

Pour réaliser la modélisation

Téléchargez cette vidéo vers votre smartphone ou votre tablette. La fonction Quicktransfer sur certains appareils de DJI est parfaite pour cela pour passer du drone vers le smartphone en profitant d’une haute définition !

Téléchargez l’application Luma AI, ici sur iOS, là sur Android. Créez un compte. Touchez l’icône Create, puis Upload. Touchez la vidéo tournée en drone. Dans Title, indiquez le nom de votre création. Vous pouvez toucher l’icône Private si vous préférez que votre modélisation reste privée. Enfin, touchez Create et… attendez.

La modélisation uploade d’abord la vidéo vers les serveurs de Luma AI, puis lance le traitement dans le Cloud. Il passe par des étapes successives : Queue (le traitement n’a pas encore débuté, c’est souvent l’étape la plus longue), Preprocessing, Training NeRF, Rendering Video et Generating Meshes. La vitesse de la modélisation dépend de la taille de votre vidéo et surtout de la charge des serveurs de Luma AI. On obtient parfois le résultat en quelques minutes, parfois en plusieurs heures.

Et ensuite ?

Touchez la vignette de votre modélisation. Luma AI montre une animation en commençant par des nuages de points complétés par une texture, en animation.

Le résultat est généralement suffisamment réussi pour qu’on confonde cette animation avec la vidéo d’origine. Mais il s’agit bien de 3D ! Pour preuve : vous pouvez toucher l’écran pour interrompre l’animation et vous donner le contrôle de la modélisation ! A vous de faire pivoter la scène à volonté…

Une pression simple lance une rotation sur la cible de la vidéo. Avec deux doigts, vous pouvez effectuer un déplacement latéral ou vertical. En pinçant avec deux doigts, vous pouvez zoomer et dézoomer. Sympa, non ?

Les autres possibilités de Luma AI ?

Touchez l’icône de partage en bas à droite de l’écran. Cela vous permet de copier le lien vers un outil de visualisation en ligne, parfait pour que tout le monde puisse accéder à votre création (même si elle est en mode privé). Le résultat est vraiment intéressant sur un grand écran. Voici un exemple de résultat.

Faites monter le bandeau de bas d’écran. La fonction Share Magic Reveal permet de créer une petite vidéo qui sera placée dans la galerie de votre mobile. Vous pouvez aussi télécharger la cible modélisée en 3D et texturée en .OBJ et en .GLB. Cela vous permet de la visualiser sur un ordi avec un navigateur web, par exemple avec Online 3D Viewer ou Sketchfab. 

Une autre fonction amusante : AR View permet de visualiser la cible modélisée en 3D en réalité augmentée. Avec votre mobile, pointez sur une surface et déplacez-le lentement. Il va automatiquement afficher l’objet 3D en surimpression à l’écran. Tournez le mobile autour de la cible, éloignez-vous, rapprochez-vous, zoomez en pinçant avec deux doigts…

Si vous touchez l’icône cube en bas à gauche de l’écran, vous pouvez visualiser le modèle 3D sans décor, sur fond blanc. 

Aller plus loin !

Connectez-vous sur la version web de Luma AI avec l’email et le mot de passe que vous utilisez sur la version mobile. Ensuite, ouvrez le lien de partage de la modélisation de l’une de vos scènes 3D, de préférence sur un ordi. En haut à droite de l’écran, cliquez sur Reshoot.

Le visualiseur d’objet 3D s’enrichit d’une interface pour réaliser vos propres séquences d’animations vidéo. Cercles, oscillations, trajectoires créées à partir de points de passage et d’orientation de la caméra, vidéos en paysage et portrait, ou carrées, jusqu’en 1080p/60, importation de trajectoires, gestion de la focale, durée, etc.

Une fois votre trajectoire tracée, cliquer sur Overview permet de la modifier point de passage par point de passage en corrigeant roll, pitch et yaw.  Vous pouvez même sauvegarder vos trajectoires pour les réutiliser sur une autre modélisation : parfait par exemple pour produire des séquences vidéos semblables mais réalisées à plusieurs saisons ! Bref, un outil puissant dont Luma AI fait étonnamment peu la promotion… 

A vous de jouer !

Un exemple (touchez ou cliquez pour vous déplacer dans le modèle 3D)

Un autre exemple (touchez ou cliquez pour vous déplacer dans le modèle 3D)

Encore un autre exemple (touchez ou cliquez pour vous déplacer dans le modèle 3D)

Un dernier exemple (touchez ou cliquez pour vous déplacer dans le modèle 3D)