Une dimension supplémentaire

Interactions homme-machine (IHM 1)

« Les interactions homme-machine (IHM) définissent les moyens et outils mis en œuvre afin qu’un humain puisse contrôler et communiquer avec une machine. Les ingénieurs en ce domaine étudient la façon dont les humains interagissent avec les ordinateurs ou entre eux à l’aide d’ordinateurs, ainsi que la façon de concevoir des systèmes qui soient ergonomiques, efficaces, faciles à utiliser ou plus généralement adaptés à leur contexte d’utilisation. » ( https://fr.wikipedia.org/wiki/Interactions_homme-machine)

Intel Labs vient d’annoncer que son application ACAT (Assistive Context-Aware Toolkit) était désormais disponible en open source. Ce logiciel, initialement développé pour assister l’astrophysicien Stephen Hawking, pourra donc dorénavant être accessible à un grand nombre de personnes atteintes de handicaps. Je ne doute pas que la communauté de développeurs du Libre saura s’approprier un tel outil pour le faire évoluer en apportant toujours plus de confort à ses utilisateurs.

 

 

L’assistance aux personnes atteintes de handicaps est probablement l’application la plus remarquable de l’utilisation d’interfaces homme machine. Mais ces systèmes,  utilisant des périphériques innovants de capture et d’interaction, pénètrent de nombreux autres domaines que ce soit dans le but d’améliorer l’ergonomie des systèmes ou d’interagir avec certains environnements.

Le head tracking associé à une application de visualisation de modèle 3D est une expérience  assez intéressante d’interaction. L’utilisation conjointe d’un logiciel tel que Meshlab avec un outil tel que Camera Mouse permet de faire évoluer l’orientation d’un objet 3D selon la position d’un observateur devant son écran.

 

Camera Mouse est une application libre développée au Boston College . Son utilisation, très simple, ne nécessite qu’une webcam et un système d’exploitation Windows (XP, Vista, Win 7, 8 ou 10).

 

 

Après l’avoir téléchargé depuis la page d’accueil du logiciel ( http://www.cameramouse.org/ )  et installé, on pourra tester son bon fonctionnement. Au lancement du logiciel, ce dernier attendra de votre part de préciser sur l’image de la webcam, un point caractéristique de votre visage (un oeil en particulier, un détail de votre paire de lunettes si vous en portez, etc..). Ce sont les mouvements de votre tête qui piloteront ensuite les déplacements du curseur à l’écran (la « reprise en main » de la souris pouvant à tout moment être maîtrisée).

Il est préférable, après cet essai, de fermer le logiciel Camera Mouse avant de lancer Meshlab (pour un utilisateur novice, certaines commandes à la souris risquant d’être compliquées à gérer ! :) .

 

Sirene

C’est un modèle au format .obj que nous avons ici chargé dans Meshlab. Il s’agit d’une sculpture en bois d’une façade de la ville de Bayeux modélisée à l’aide de PhotoScan.

 

Sirene2

Le point de vue du modèle 3D peut être modifié à la souris dans Meshlab. Mais c’est par le déplacement de notre tête devant l’écran que nous prendrons le contrôle de l’orientation du modèle après un nouveau lancement de Camera Mouse. Un clic gauche à la souris sur le centre du modèle (appui qu’il faudra maintenir) permettra de maîtriser la rotation.

L’animation qui suit présente une succession de points de vue différents de notre modèle. Elle simule une rotation générée par le déplacement d’une tête trackée par le logiciel  Camera Mouse .

 

Sirene3

A suivre…

L’effet Pulfrich: Acte 2 !

Expérimentez la vision en relief avec votre écran traditionnel grâce à l’effet Pulfrich !:)…
Il n’est pas nécessaire de disposer d’un écran 3D pour plonger dans la troisième dimension. Il suffit d’une simple paire de lunettes de soleil quelque peu adaptée pour s’immerger dans les profondeurs des superbes scènes d’animation qui suivent et que nous devons à dono.
Une précédente page ( http://www.surrealites.com/?p=1117 ) avait déjà été consacrée à l’effet Pulfrich sur ce site. Quelques explications du phénomène ainsi que les conseils pour réaliser ses propres lunettes 3D (de très haute technologie ! ;) y avaient été données. Une consultation de cette page est donc fortement recommandée ! :)
Pour percevoir correctement le relief dans les deux animations qui suivent, c’est la vision de l’oeil droit qui doit ici être filtrée. Si vous ne l’avez pas encore fait, il convient donc d’ôter le « verre » gauche de votre paire de lunettes de soleil ! :). Un basculement en mode « plein écran » est fortement recommandé ! :)



« Une ptite maison qui tourne »


Hommage en 3D à Hayao Miyazaki
 

Le sens de défilement, parfois inversé dans cette dernière vidéo, nécessiterait de retourner ponctuellement ces lunettes. Mais Cette dernière animation inspirée par celles de Miyazaki est pour moi l’occasion de remercier Rémi, qui, par un très sympathique message, m’a apporté une information très intéressante à propos de la série « Rémi sans famille« . Ce dessin animé japonais, adapté du roman français « Sans famille » d’Hector Malot, qui a été diffusé à la télévision à la fin des années 1970, avait été conçu en exploitant l’effet Pulfrich. Cette particularité est peu connue, les chaines de télévisions françaises n’en ayant pas fait mention (contrairement aux chaines japonaises) , ni à cette époque ni même lors des rediffusions suivantes. Aujourd’hui, l’intégrale ( 51 épisodes! ) est commercialisée sous la forme d’un coffret collector. La réalisation en 3D, curieusement, n’y est toujours pas évoquée, mais c’est une occasion pour les nostalgiques avertis de redécouvrir cette série… en relief ! ;)

Modélisation 3d par photogrammétrie avec PhotoScan…

Pour cet article, 37 captures photographiques d’une statuette ont été réalisées et chargées dans PhotoScan ( http://www.agisoft.com/ ).

 

Photogrammetrie02

La première étape de traitement (nommée alignement ) va permettre au logiciel de détecter des points d’intérêts,

rechercher des correspondances entre les images et déterminer les différents angles de prises de vues.

 

Photogrammetrie03

Les processus suivants (la génération d’un nuage de points dense, puis son maillage et enfin la création de la texture)

vont finaliser la création du modèle 3d qui pourra ensuite être sauvegardé sous différents formats ( Wavefront OBJ, Stanford PLY,… )

 

Les copies d’écran qui suivent présentent le modèle importé dans Blender ( https://www.blender.org/ ) …

Photogrammetrie04

Photogrammetrie05

Photogrammetrie00

… qui, depuis sa version 2.75, propose de nouvelles fonctionnalités dites « multi-view« . Une caméra stéréoscopique est, en effet, maintenant intégrée et le logiciel autorise dorénavant une visualisation en relief (présentée en mode anaglyphe dans les deux captures qui suivent ).

Photogrammetrie06

Photogrammetrie07

Expériences graphiques en 3 dimensions

Des innovations sont-elles envisageables dans le graphisme des images 3D ?

Certains filtrages appliqués simultanément sur les deux images d’un couple stéréoscopique permettent de conserver une bonne perception du relief. Cette méthode ouvre la voie à des formes graphiques « non-conventionnelles » d’images en relief.

Les traitements effectués ici ont été réalisés à l’aide de certains filtres de G’MIC appliqués sur les deux photographies d’une capture stéréoscopique.

Les deux anaglyphes ci-dessous (le premier en couleur et le second en noir et blanc) présentent des montages effectués à l’aide des deux photographies initiales.

Anaglyphe-20510-Couleur

Anaglyphe-20510

 

 

Tandis que les suivants présentent différents filtrages appliqués sur les photographies:

Anaglyphe-20510-GMIC-MakeSwigglyMake squiggly

 

Anaglyphe-20510-GMIC--MarbleMarble

 

Anaglyphe-20510-GMIC-PaintingPainting

 

Anaglyphe-20510-GMIC-RodiliusRodilius

 

Traitements graphiques d’un couple stéréoscopique

Paris-dgs2be-inkscape

 

Cette page présente de manière détaillée les différentes étapes qui ont permis d’obtenir le couple stéréoscopique présenté ci-dessus. Un certain nombre de filtres proposés par Gimp (http://www.gimp.org) ont été appliqués sur tout ou parties des images. Du texte a également été intégré en mettant en oeuvre diverses techniques.

 

Paris-dg
Le couple stéréoscopique original (L’Hôtel de ville de Paris)

 

  • Des effets différenciés ont d’abord été appliqués sur le décor et la statue en définissant des zones de sélection.

Paris-selection

Le filtrage effectué sur la statue est une sorte de « solarisation » :
Filtre > Flou gaussien sélectif
Calque > Couleurs > Courbe

graph11

Ce réglage donne au métal un aspect lustré, proche de l’inox. Les paramètres de la courbe auront été sauvegardés pour retrouver les mêmes réglages pour les deux images.

Pour passer maintenant à la zone extérieure à la statue, il suffit de sélectionner dans le menu : Sélection > Inverser
On appliquera au décor un traitement très différents:
Filtre > Flou gaussien sélectif
Calque > Couleurs > Auto > Extensions de couleurs …

Paris-dgs2

  • L’étape suivante a consisté en l’ajout d’un bandeau de texte vertical dans la partie gauche de l’image. L’effet de transparence bleutée des lettres est obtenu par une inversion du fond.

Paris-dgs2b

  • Intégration des halos lumineux : Afin de donner une certaine épaisseur à cet effet, 2 modèles d’éblouissements ont été superposés en décalant leurs centres d’une image à l’autre.

Filtres > Effets de lumière > Effet d’éblouissement
Filtres > Effets de lumière > Eblouissement graduel (Classic)

Paris-dgs2be

  • Pour le texte « Une dimension supplémentaire », il a été fait appel au logiciel Inkscape (http://www.inkscape.org), un autre outil libre de dessin, mais vectoriel, cette fois, et qui autorise ainsi diverses transformations telles que le suivi de chemins pour les textes, les rotations, etc… Inkscape permet le travail sur calques et l’export d’images au format bitmap tout en conservant les couches alpha. C’est, de plus, un outil très puissant pour convertir des images bitmap en images vectorielles au format SVG (Scalable Vector Graphics).

Lancer Inkscape
Calque > Ajouter un calque > En-dessous du calque courant
Fichier > importer pour charger en fond d’écran l’image créée avec Gimp
Sur la couche de travail, tracer un cercle puis saisir séparément le texte.
Sélectionner simultanément ces 2 éléments grâce à la touche Shift, puis sélectionner dans le menu : Texte > Mettre suivant un chemin. Cette fonction va « enrouler » le texte autour du cercle.

Paris-inkscape0

L’onglet « Rotation » de la fonction : Objet > Transformer …. permettra de préciser une valeur d’angle afin d’amener le texte à la position désirée (une valeur négative fera tourner le texte dans le sens des aiguilles d’une montre). On pourra toujours modifier la taille du texte, la police employée,… grâce au bouton : « Voir et sélectionner une police,…« , et modifier la couleur des éléments en sélectionnant un autre bouton du menu : » Editer le style des objets,…« . La 4ème valeur des couleurs après les valeurs RVB est le canal alpha (255=visible, 0=totalement transparent).
Après avoir préparé notre texte, on pourra supprimer le calque supportant l’image chargée en fond depuis la fenêtre des calques : Calque > Calques …. On pourra ensuite revenir au menu général d’Inkscape pour enregistrer l’image : Exporter en bitmap .
Depuis Gimp, il nous restera alors qu’à charger cette nouvelle image, Fichier > Ouvrir comme un calque dans chacune des images de notre couple. Après avoir positionné le calque sur une première image, on reproduira l’opération sur la deuxième en décalant latéralement son implantation afin d’ajuster la position du texte dans la profondeur de l’image (on pourra s’aider de règles horizontales pour caler correctement le texte entre les 2 images).

Paris-dgs2be-inkscape