Suivi de visages, dynamiques et multiples, évitement d’obstacles…
La vidéo ci-dessous montre une application concrète de travaux menés conjointement par une équipe de chercheurs appartenant à plusieurs universités et sociétés privées : l’ETH de Zurich et embotech (spin-off de l’ETH) en Suisse, le MIT et la TU Delft aux Etats-Unis. Vous connaissez les fonctions « smile » des téléphones mobiles qui détectent un sourire pour déclencher une prise de vue. Vous connaissez les fonctions de suivi de personnes et d’objets évoluées comme l’ActiveTrack de DJI, ou un peu moins efficaces comme le suivi de visage du Dobby de Zerotech. Ce n’était qu’une mise en bouche. Les recherches menées par l’équipe permettront d’aller plus loin encore dans les fonctions de suivi de personnes avec des caméras volantes !
Analyses et prédictions
Les outils logiciels des chercheurs permettent d’automatiser des vols destinés à des prises de vues de personnes, en pointant la caméra vers leur visage. Les techniques utilisées permettent de gérer le vol du drone en établissant profil 3D du sujet, de manière à être capable de se positionner devant, sur le côté. Les recherches permettent de gérer plusieurs sujets simultanément en éloignant le drone pour profiter d’un plus grand angle et conserver toutes les cibles dans le champ de la caméra. Le suivi tient compte du mouvement des personnes…
La dernière séquence de la vidéo
C’est la plus impressionnante : elle montre que le drone est capable de suivre un sujet parmi d’autres, en s’appuyant sur des outils prédictifs pour gérer les pertes momentanées du suivi, par exemple lorsqu’un visage passe derrière un autre. Elle fait aussi la démonstration de fonctions d’anticollision, toujours avec l’aide de la caméra (qui filme en très grand angle) ! Cette séquence est un véritable cauchemar pour les algorithmes de suivi de visage… La machine utilisée n’est pas un appareil de dernière génération, mais un simple Bebop, avec l’aide du SDK mis à disposition par Parrot . Vous voulez en savoir plus ? L’équipe a publié un énorme document sur le sujet, disponible (mais pas gratuitement) sur le site de l’IEEE, ici.
Impressionnant !
Le truc qui me bluff le plus, c’est que c’est uniquement la caméra qui sert pour la detection. Par besoin d ‘une armée de capteurs et autre. Très prometteur 🙂
Je suis dubitatif.
1/ J’ai l’impression qu’il pointe plus les casques que les visages, qui sont des éléments plus discriminant
2/ Dernière séquence, comment évite’t’il la personne qui vient de l’arrière (à env 2:37, 2:45)? Ils ont l’air d’être dans une pièce spécifique. Je veux bien que ce soit du grand angle, c’est carrément du 360
3/ qu’est ce qu’il se passe avec le suivit multiple si les personnes échangent leur place (ça n’arrive pas dans la vidéo)
et le tout avec simplement une caméra 2D? Sacré algo là tout de même, un bebop a une telle puissance de calcul embarqué? (/humour)
Je souris derrière mon écran car vos propos me ramène à près de 25 ans en arrière. C’est une techno dont le principe et les applications existent depuis très longtemps (avant les années 90) et est très largement utilisé dans différentes armées et service de sécurité gouvernementaux du monde. On réinvente un peu beaucoup l’eau froide.
Ce type de technologie est appelé le video tracking avec ou sans multi target. En français, on le retrouve sous la terminologie trajectographie vidéo. Le multi target ou multi cible c’est ce dont il est question dans l’article. C’était entre autre utilisé pour de la trajectographie de sous munitions ou le suivi du plusieurs cibles par un système d’armes. Un expert de longue date de la chose est la société OCTEC qui était basée en UK à Southampton, il existe encore des choses à leur sujet via Google. En France dans ces années là, il y avait Sagem et SFIM qui proposaient des solutions aussi dans le début des années 90 mais c’était moins évolué que les solutions d’OCTEC. Avant d’utiliser des calculateurs à base de microprocesseurs les cartes fonctionnaient en analogique pour vous dire que ces techniques sont réellement anciennes. Par contre à ma connaissance, il n’y a jamais eu de multi-cible en analogique.
Pour vous situer les produits, il s’agissait par exemple des ADEPT 20 ou 30 produits par OCTEC. C’était des cartes à base de 68030 et d’un bus VME. Pour les dimensions c’était de l’ordre d’une feuille A4
Les techniques de calcul en numérique était l’analyse statistique du contraste sur le signal vidéo composite. Le capteur pouvait être une camera CCD ou un Imager (terme utilisé pour désigner une caméra thermique) souvent couplés ensemble pour de nombreuses applications militaires. Ensuite un joli filtre de Kalman et connectique de la tourelle 2 axes derrière. Rien de secret dans tous ça sauf les applis qui en ont été faite. Ca marchait très bien, j’ai même fait du tracking d’oiseau et de lapin pour démontrer à des interlocuteurs dubitatifs qu’il n’y avait pas d’algo de prévision de trajectoire correspondant à des mouvement parfaitement défini et que la taille ou la forme de la cible n’a pas grande importance. Déjà à l’époque on savait faire une poursuite même si pendant un instant la cible accrochée était masquée par quelque chose. Exemple un avion, helico à basse altitude qui passe derrière un bâtiment (du au champ de vision du capteur vidéo). Idem avec un zodiac derrière un rocher qui sort de l’eau, etc… Pour avoir le Z donc la distance entre le capteur et la cible il était parfois associé un laser. Bien entendu les capteurs (ccd ou ir) ainsi que le laser étaient montés sur la tourelle ou était fixé le système d’arme(s) ou un autre système de mesure comme un radar par exemple.
Donc rien de prometteur juste une mise à disponibilité dans le monde civile de techno qui existent depuis longtemps dans des univers plus discret. Aujourd’hui OCTEC n’existe plus en temps que tel mais existe toujours au travers d’une autre société…
Pour la petite histoire dans la première partie des années 90, une société française en charge de la retransmission vidéo d’une grosse balade à vélo autour de la France avait été contactée par Octec pour installer à bord d’un hélico dans une nacelle girostabilisé une caméra qui aurait permis de suivre telle ou telle coureur de cette balade bien française du mois de juillet avec une image parfaitement stabilisé, le projet n’a pas aboutit.
En ce qui concerne les objets volant, de nombreux missiles et depuis longtemps sont équipés de ces technos pour réaliser des frappes dites chirurgicales. L’opérateur via la réception hertzienne ou filaire (par exemple missile filoguidé) du signal vidéo peut désigner une cible ou plusieurs cibles et permettre au missiles et de ses soumissions selon le cas de terminer sa mission de manière plus précise qu’avec sa centrale inertielle et son GPS
Donc voilà pourquoi je souris, on refait du neuf avec du vieux. En espérant qu’une réelle techno nouvelle débouche de cela.
Il n’y a pas que du traitement vidéo embarqué mais de la localisation par motion capture.. (caméras rapides accrochées au plafonds dans les coins) C’est ce qui permet de réaliser les évitements.
@ le proto: Donc si c’est effectivement le cas, ça limite grandement le champ d’application. Car comme je le disais plus haut ça fait longtemps que la poursuite d’une cible ou plusieurs cibles qui sont masquées durant un instant par un objet dans le champ de vision d’un unique capteur CCD ou IR existe depuis très longtemps.
PATRICK…ne leur en dit pas trop. Tu vas les décevoir…La technologie dite drone est d’application militaire à la base. Et elle ne date vraiment pas d’aujourd’hui. Bien évidemment tous ces projets classés Secret Défense découlent toujours d’une application civile dite de recherche souvent dans un cadre universitaire…Si si ces fameux projets qui n’aboutissent pas (enfin pas pour tout le monde).
Imaginez simplement que ce que vous voyez évoluer maintenant, ces très beaux « joujou » à hélices qui vous font tant saliver sont vos futures geôliers de demain. Personne ne le croirait et en plus par d’innocentes applications grand public, le bobo du coin va contribuer au développement de cette fameuse technologie…Tous les bétas testeurs de ces applications, c’est sur hélico micro qu’on les trouve, mais pas que…Là, j’éxagère volontairement Fred, ça me fait plaisir de faire de la pub à ton fan club !?
Vous ne pensez tout de même pas que les grands investisseurs comme IBM ou autres dépensent autant d’argent dans des petites firmes chinoises de drones civils pour le plaisir de l’innovation dite technologique. Ces scientifiques de l’ombre savent parfaitement que pour tester et fiabiliser une technologie en milieu fermé, ça prend une bonne dizaine d’année voire pratiquement 20 ans minimum…A l’inverse en milieu dit ouvert, en 5 ans, on a déjà des résultats quasi concrets…
Débouchant parfois, comme le dit PATRICK, sur d’autres découvertes technologiques inattendues. Gain de temps et bien sûr d’argent.
Je sais, c’est un beau roman, c’est une belle histoire…disait le poète Fugain… Mais à l’heure de l’implant cérébral qui fait retrouver la vue ou l’ouie à l’humain, l’ignorance, elle, n’a toujours aucune parole !
@ Planchon TV: Presque OK avec toi
C’est aussi l’autre sens: de la R&D militaires (pas forcément du ministère mais sous contrat) vers le monde civile. Et effectivement aussi dans l’autre ça arrive.
Je pense à l’ONERA qui jouent un grand rôle y compris sur les drones et dans cette R&D Et il ne faut pas oublier l’existence des applications dual. Dommage que la communication de l’ONERA n’est que très rarement reprise par la presse , se rendre ici puisque c’est de la communication pour tous: http://www.onera.fr. Tout cela n’a rien de confidentiel, c’est l’organisation qui est comme cela. Et beaucoup de ces marchés sont dans le BOAMP, donc on ne peut plus officiel et public.
Les applis ne sont pas pas nécessairement « sous » secret défense, diamant, rubis, confidentiel défense
Et pour en revenir au drone, il faut rendre hommage à CacSystème (www.aviationsmilitaires.net/v2/base/view/Model/1295.html) qui était près de Blois et qui a été une des premières PME française à avoir été dans le « lead » du marché opérationnel militaire.
Et comme tu le dis, excellent travail de Fred que je suis depuis de nombreuses années à qui il faut aussi rendre hommage pour sa contribution au monde du drone car il tient bon et ce n’est pas facile je pense de garder la motivation aussi longtemps.
Pour les durées de dev. les 20 ans y sont effectivement bien souvent. J’ai en tête, notre très cher Rafale. Entre l’élaboration de son analyse du besoin et sa première vente en dehors de la France, il y a eu bien plus de 20 ans 😉
@Patrick
Si il y’a 25 ans, c’est forcement en arrière, personnes n’est allés encore 25 ans en avant.
Humour …
Pas de problème pour l’humour 😉