XjARToolkit - How should it work (end user example)
-
Step 1: any user can create a content (mostly small pictures, vidéo, text or sound file created with its cellphone or computer)
Step 2-3: he send/upload/send his file to a networked database while at the same time associating it to a visual sign (through a picture of the sign or through a code of it)
Step 3: the signs themselves can have different status, being used alone or creating a pattern.
Step 4: any user could access to any of the AR content through the camera observation of the signs. Access would ideally be possible through cellephones, pda, laptops, portable game stations, origami-like computers, etc. (only possible through laptops today which doesn't make so much sense)
We must also stress the point that the visual signs for the camera can be used alone, in groups (to create new and bigger signs) or as patterns. This can lead to the creation of visual simple products that could surround the AR application and be "AR-Ready" products bringing all the network, media & interaction possibilities to traditional static supports.
These products could be paper, post-it, wallpaper, stamps, books, t-shirts or fabrics for clothes, badges, stickers, etc.
Posted by patrick keller at 16:16
Démonstrateur pour nouvelles fonctionnalités soft AR
Un peu déconnecté du projet général, mais pourrait être un exemple d'une installation simple en cours de première année pour démontrer/tester différentes fonctionnalités du logiciel AR redéveloppé par l'EPFL (filtres) et fabric (extensions VRML et tangible interfaces).
A des phrases décrivant des actions s'associe les actions elles-mêmes dans l'espace réel ou augmenté/hybride.
Pour rappel des objetcifs liés au logiciel lui-même, on cherche: un meilleur affichage des objets 3d (plus de noeuds VRML supportés, gestion des événements 3d et des événements caméras), étendre le soft vers un déclancheur d'actions dans l'espace physique et de l'*event tracking*, y ajouter des possibilités de tracking simple.
-
Posted by patrick keller at 10:23
ARToolkit + openVRML Software Redesign = XjARToolkit
Within this project and our collaboration with EPFL's Signal Processing Institute, we are working with an open source Augmented Reality software named ARToolkit combined with openVRML. The STI laboratory is developing a signal processing project (camera vision) within the frame of this open source AR project so to improve its performances and give a context to their vision development.
We target that the use of the software within the frame of this project will be mainly on mobile devices (cellphones, portable game stations, pda, tiny laptops, origami-like computers, etc.) even if it is not possible nowadays.
As interaction designers, we emit some reserves about several aspects in the design of this open source combined software (rendering and behaviors):
__it is based on an outdated VRML open source 3d engine (openVRML, not updated anymore) which dramatically limits how you can interact with the 3d and how it is rendered.
__you can only play with static information (static 3d in this case) and you are in a way either too far away of it on a small screen (the 3d object is too small, no details) or too close (you see a fragment of the object).
__the marker (AR sign) should always be fully viewed.
__it has no interaction capacity and is clearly limited to visualization. It therefore doesn't take into account the potential of interaction with the *camera signs* (the software knows where the camera is when it looks at a "camera sign") or even with the added 3d.
-
Sketch of ARToolkit & openVRML's interaction tree (red part) on top of XjARToolkit (see below) planed interaction tree:
We propose to add some features and to provide a redesigned version of this combined software that will be labeled XjARToolkit (see the scenario to redesign the open software):
__we will work with Xj3D as a 3D engine (open source as well). This is a more actual open source real-time 3d format. This 3d engine covers VRML as well as X3D and it has already much more functionalities implemented than openVRML. This will open the capabilities of 3d interaction. Xj3D is also still in development and is targeting to have a player for cellphones as well in the future.
Xj3D is java based.
__As Xj3D is java based, we will connect it to jARToolkit which is a java binding of ARToolkit.
__We will integrate the work of David Marimon (EPFL, Signal Processing Institute) to have a better stability of the 3d integration and a better vision tracking treatment. This will enable us to have interaction with the relative position/orientation of the camera compared to the tracker/sign.
__We will extend the toolkit with another open source software (Rhizoreality) so to connect it to network potential (dynamic content, multi-user, etc.) and to open interaction possibilities with other devices or objects (like television, lights, remote controls, etc.)
Note that we don't target a specific AR application, rather an array of applications some of which being new ways of using such software (no AR in fact, just interaction with camera and their relative positions in relation to AR signs, opening up the fuctions to a kind of spatial interface software). In this sense, the new extended toolkit should allow to produce plentyful of different contents and behaviors in a playful way. In some cases, the content should be created by any end-user (like an sms or mms application) while in other, it could become professional and task specific applications.
XjARToolkit should become a framework for that.
-
Sketch of XjARToolkit's (as a Rhizoreality.mu client) extended interaction & behaviors tree:
Note that this "Interaction tree" should have in the end a relation with the "Tree of AR signs".
Posted by patrick keller at 9:35
Summer sketches & possible scenarios for october 05 - june 06
-
-
Tatiana, Adrien et Bram (les assistants de l'Ecal pour le projet) avaient lancé l'idée de travailler avec le corps et ses différentes postures comme signes potentiels lors du premier *workshop*.
En prolongement direct de cette idée, travailler simplement avec les mains et définir par exemple le cadre du signe sur un t-shirt (pour rappel, chaque signe reconnu par la caméra et le logiciel d'AR --Augmented Reality-- doit être inclus dans un cadre carré). La combinaison de ce t-shirt contenant le "cadre" avec des signes réalisés par les mains devant une caméra pourrait permettre de créer le premier t-shirt servant de télécommande...
Ceci pourrait être mis en parralèle avec le développement d'un projet "pins", basés sur le langage graphique développé par Tatiana et qui permettrait là aussi de customiser des vêtements (vêtement *souvenirs de chez soi* pour longs voyages...).
-
-
-
Développer l'/les objet/s caméras vers des morceaux d'espace ou des micro-spatialités. Réduire la matière au profit de la stimulation d'une perception. Signe ou icône d'espace pouvant cumuler différentes fonctions (illumination, spatialité, etc.)
-
Développer une ligne de *caméras abat-jour*? En allusion directe à tous les types de systèmes d'éclairage qu'on peut trouver dans des environnements intérieurs (suspendu, sur pied, au mur, sur table, de chevet, etc.).
-
Associer ces différentes approches (papier peint, langage graphique, objets caméras-spatiaux-lumineux, caméras domestiques, objets 2d-3d, ...) dans la constitution de micro-spatialités (ici, cela évoque probablement un peu trop une situation de type *living room*).
-
-
Poser la question suivante (soulevée par Alexis Georgacopoulos lors de notre dernière réunion): celle de l'affectation générale de l'espace sur lequel nous travaillons. Initialement, nous voulions travailler sur l'espace urbain public, à l'extérieur ou habrité (type wi-fi zone). Le workshop *Chambre d'hôtel* nous a ramené à l'intérieur, pour l'instant dans un espace de type domestique (et donc plus tellement public).
Posted by patrick keller at 16:46
Mobility / Environment, Work Interface_02
Quelques éléments supplémentaires suite à la piste de l'ordinateur et sa mobilité liée aux conditions de travails "saines".
-
Un des principaux défauts ergonomiques de l'ordinateur portable et que son écran est fixé au clavier. Un élément sera toujours privilégié au détriment de l’autre, c’est à dire que si la personne va régler son écran de manière correcte et confortable (pas de reflet, bonne position de la tête etc.) le clavier sera automatiquement mal placé et ceci du à l’écran fixé au clavier qui ne permet aucune flexibilité. L’ergonomie harmonieuse recherchée est donc automatiquement altérée.
-
Je propose donc ici un ordinateur portable mais en 2 pièces, clavier, écran et souris séparés afin d’avoir un maximum de flexibilité pour obtenir l’environnement de travail idéal en tout lieu et en toute circonstance.
L’idée serait d’inclure dans chaque élément de cet ordinateur portable "2 pièces" plusieurs petites caméras dans le but d’analyser la position de chaque élément par apport à l’autre.
Tant que chaque élément n’est pas en position idéale pour une ergonomie "de travail saine", l’ordinateur émettra un son dans le même style que l’assistance très oppressante des voitures (oubli d’éteindre les phares, les détecteurs pour pouvoir reculer etc.)
__________________________________________
-
Au niveau du comportement, comme déjà mentionné précédemment, la relation de l’homme à la technologie devient de plus en plus “personnelle”.
-
*C’est à dire que dès que nous n’avons plus accès à notre email, ou dès que nous n’avons plus notre téléphone portable, il en provient un sentiment de pertes (à tous les niveaux, identité, informative, habitude).
De plus en plus de personnes avoue que le téléphone, au même titre que les Ipod, font partie d’eux-mêmes. L’outil, l’instrument devient une partie de moi même. L’outil rempli une fonction précise (musique, téléphone) que l’être humain s’approprie personnellement pour élargir son propre univers, voir une extension de son propre corps.
-
*Et cela s’applique parfaitement à l’ordinateur portable qui élargit de manière conséquente nos possibilités.
-
En mouvement, nous nous baladons à travers beaucoup d’endroits différents (arrêt de bus, gare, train, avion etc.) Mais selon le lieu et le temps à disposition, on ne fera pas nécessairement les mêmes actions face à l’ordinateur car il propose une multitude de fonctions que le téléphone ou le lecteur mp3 ne proposent pas / pas encore.
Il faut donc faire des choix et s’organiser en fonction.
Il faudrait donc proposer une interface selon l’endroit où l’on se trouve et le temps dont nous disposons. Une forme d’assistance (comme décrit précédemment avec le son) et proposer différents mode d’utilisation de l’ordinateur. Peut être proposer un mode "travail" (mail, vidéo, musique seraient désactivé afin de ne pas déranger la personne dans son travail), un mode "Internet" et un mode "détente" par exemple.
Posted by |BRAM| at 9:38
Mobility / Environment, Work Interface
Suite au travail sur la chambre d'hôtel, je propose ici quelques pistes directement liées à l'ordinateur et sa mobilité.
Ceci implique plusieurs éléments:
-
Ergonomie de travail
* l'environnement de travail (toutes surfaces peut devenir environnement de travail (tablette du train, table d'un bar etc.)
* le confort de travail (le fait de changer constamment de lieu, d'environnement et la nécessité de s'adapter peuvent "nuire" à une pratique de travail "saine").
-
Comportement de l'individu
* besoin de se connecter au web (principalement pour les mails)
* manière de travailler (mais peut on encore réellement parler de travail productif étant donné que la personne reste rarement dans cette configuration une journée entière).
* l'ordinateur vient s'ajouter à la masse d'information à traiter (téléphone, journaux, publicité, environnement sonore, attentif à l'environnement externe etc.)
-
Technologie
* miniaturisation
* sans fils (WiFi, Blutooth etc.)
-
Tout est lié au phénomène d'adaptation:
Tout espace, tout objet peut désormais être utilisé pour se constituer un environnement de travail, un bloc de béton dans la rue suffit pour s'improviser un "lieu de travail".
Ceci provoque, en partie, un phénomène d'inconfort de travail qui engendre des douleurs chroniques du à la mauvaise tenue, stress, mauvaises vue etc.
-
Des études très sérieuses ont été réalisé à ce sujet par l'université de Cornell, "Ergonomics Web" mais elles se rapportent plus à un contexte d'un lieu de travail "stable", c'est à dire d'un bureau dédié au travail, avec un ordinateur "non mobile"/"immobile" --> "Safety And Conmfort Guide" pdf.
Mais je trouve intéressant de reprendre cette étude pour l'emmener vers une situation beaucoup plus chaotique et instable comme les ordinateurs portables que les gens utilisent pour travailler n'importe quand, où que ce soit et en toutes circonstances.
Il est intéressant de noter que la plupart des gens travaillent ainsi dans l'espoir d'être beaucoup plus productif alors que finalement c'est peut être l'inverse qui se produit --> interview de Denis Ettighoffer de l'institut Eurotechnopolis spécialiste de l'impact des technologies.
Posted by |BRAM| at 15:32
Scenario 2
-
Download the scenario 2, a4 size (128k): View image
Posted by patrick keller at 15:52
PATTERNS
Voici quelques premières pistes de recherches pour un papier peint intégrant des éléments fonctionnant comme des marqueurs. Il s'agit d'esquisses qui ne sont pas forcément à réaliser telles quelles mais dont on pourra peut-être s'inspirer pour la suite du projet.
Tout d'abord, j'ai fait quelques essais de patterns simples avec des carrés noirs :
Dans l'exemple suivant, l'idée est d'avoir des même motifs qui se répètent d'une façon apparemment destructurée, certains fonctionnant comme marques, et d'autres pas, car ils sont cachés :
Dans le motif précédent, le "tapis de Sierpinski", une fractale dans laquelle un carré est censé se répeter à l'infini, on pourrait imaginer remplacer le plus petit carré visible par un autre motif qui fonctionnerait comme marque :
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Dans les exemples de patterns suivants, j'ai essayé de jouer avec des changements de couleurs ou de formes :
Quand un carré se transforme en rond, jusqu'à quel étape de sa mutation est-il encore efficace en tant que marque ?
Le fait d'intégrer les marqueurs dans un processus de mutation formelle permet de ne pas faire du carré noir l'élément de base du pattern. Je pense qu'il est pas mal que ce carré noir, assez lourd visuellement, se "perde" au milieu d'autres formes. De plus, en le mêlant à d'autres formes, on ne comprend pas d'emblée que seul le carré est efficace, ce qui laisse au spectateur le soin de le découvrir lui-même. Ici le carré noir est mis au même niveau qu'une autre forme, un rond, qui ne fonctionne pas comme marque.
Ceci s'applique également aux couleurs. Au lieu de n'avoir que des motifs noirs, on peut imaginer intégrer d'autres couleurs au papier peint :
Dans l'exemple suivant, le degradé de couleur reprend l'idée du processus de mutation de forme : on ne sait pas jusqu'à quelle étape de son changement de couleur la marque sera encore fonctionnelle.
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Dans les exemples suivants, j'ai essayé de trouver une alternative au marqueur basique "carré noir agrémenté d'un motif blanc" en essayant de faire de la marque elle-même un motif à part entière. Dans le motif suivant, par exemple, on voit un carré, sur lequel se trouve un nuage. Les deux éléments sont clairement dissociables :
Les éléments que j'ai utilisés pour créer les patterns ci-dessous fonctionnent chacun comme un seul et unique signe, et non comme deux motifs superposés. Ici on ne percoit plus vraiment le carré noir mais plutôt une sorte de chevron à quatre côté dont on peut varier la taille ou la couleur de l'orifice et qui fonctionnera par là même comme autant de marqueurs différents :
Posted by tatiana at 12:53
fabric | ch - technological input & links to our tools
Date: Fri, 15 Jul 2005 18:16:34 +0200
To: david.marimon@epfl.ch
From: Christian | Babski
Subject: Proposition - premières réflections
Cc: patrick keller
Hi David,
This last days, I had a look to existing tools on augmented reality (AR). It includes:
ARToolkit (version EPFL)
jARToolkit (java binding of ARToolkit via native code)
DART (pointed out by you)
About the tools you are using, it seems that your application is based on ARToolkit, on the top of which you have added your own functions for filtering and enhanced pattern tracking.
From this point of view, your work can be easily integrated to other pattern tracking systems like jARToolkit or DART in order to mix your results with these particular tools.
The main reason that pushes me to consider this option is that ARToolkit in its last version is a bit obsolete: it is based on libVRML, which has been developped/migrated to openVRML.
As we plan to enhance functionalities to 3D objects linked to tracked patterns, it implies that we should work and try to extend libVRML... extensions that can be considered as lost, as this library is not anymore up to date and is a bit abandonned by the community. Moreover, it seems that this library has some problems for compiling under .NET environment.
If we want to keep a more up to date version of the libVRML library, we will need to establish a link between ARToolkit and openVRML by compiling it under .NET (it seems possible with openVRML) or not (keep on working with VC++ 6.0 if needed). The main idea here is that extensions we can work on in the frame of this project can be useful and proposed as possible official extensions to openVRML: it makes possible to participate to an open source project during our collaboration. Moreover, the ARToolkit version linked to openVRML can be of some interests for the open source community (I do not think that this work was already made).
In the other hand, by considering jARToolkit and/or DART that both work correctly according to some tests I have made, it can bring us to consider the use of some other libraries for displaying AR final results. It can be possible to link with Xj3D viewer for example or use particular functionalities proposed by Director. Moreover, the use of JAVA (jARToolkit + Xj3D) or Director (DART) give us the ability to use some other tools we have already developped at fabric like our multi-user system rhizoreality. This tool can be integrated to Max/MSP, proposes functionalities like multiple view (CAVE-like system), collaborative work etc... it was used within several projects and exhibitions these last years.
So if my first impressions are corrects, your actual research results are developped above ARToolkit. It can be adapted to JAVA and/or Lingo in order to avoid being constrained by libVRML. It can allow us to take benefit of some other open source projects like Xj3D and it gives a chance for us to make a possible interesting contribution to them as well.
The link ARToolkit<->openVRML as well as code adaptation (to JAVA or Lingo) of your researches can be ensured on your side (by you or a student). Then, whatever the version of the final software will be used, the same research results can be shown. On our side, we can focus on the development of new tools (Xj3D+jARToolkit, rhizoreality, Max/MSP, etc...), both contributors taking advantage one from each other.
This reflection is just a set of proposals we can discuss about next week during a meeting. I do not made a precise evaluation of all technologies I have mentionned in this mail yet, so everything stays open for the moment.
Christian.
-
-
Download the scenario for AR Software development, a4 size (140k): View image
Posted by patrick keller at 17:31
| Comments (2)
Représentation 3D des 2 pistes
Quelques propositions simples en 3D de la pièce:
Ici, l'environnement avec des objets autonomes, avec par exemple, les "cloches" inclues à l'objet même.
Ce dernier pourrait finalement être mis un peu n'importe où, il fonctionnerait.
L'évolution s'oriente à présent vers quelque chose de plus "global", plus sur la pièce en elle même que sur les objets autonomes, ceci afin d'obtenir une architecture beaucoup plus "dérangeante" où les points de repères sont beaucoup moins évidents.
Cette impression déstabilisante se trouve renforcé par nos "cloches", évoquant un simple abat jour, pouraient très bien abriter une caméra, un micro, une lumière, une projection ou encore du son.
La plupart proviennent du plafond et l'on ne connaît pas la fonction précise de chaque cloche.
Pour le jeu, il serait intéressant qu'il sollicite plusieurs éléments au cours de l'action, comme par exemple les différentes projections: la projection globale du jeu sur le mur et les projections secondaire à côté de la surface de jeu afin d'indiquer des informations relatif à celui.ci. Le son pourrait également être utilisé selon l'emplacement du joueur ainsi qu'une lumière en fonction du niveau de jeu, de la difficulté etc. afin d'instaurer un climat de tension par exemple.
D'autres cloches seraient plutôt des objets pour un service unique au lieu comme celle-ci. Des objets cloches avec caméra et écran qui feraient office de détection d'information sur un des murs.
En effet, cette façade aurait un papier peint avec des informations pratiques uniquement visible à l'aide d'un de ces objets mobiles.
Nous voyons ici un exemple de l'information globale disponible.
Ici une proposition d'un détail du papier peint pour ce mur.
Et quelques tests réels avec le logiciel AR Toolkit version EPFL
Posted by |BRAM| at 1:49
| Comments (1)
Propositions de Cloches
Toujours dans une perspective d'intervention dans un espace (chambre d'hôtel) et dans laquelle nous utilisons la R.M., voilà une proposition dans laquelle toutes les cloches seraient suspendues, on trouve 4 types de cloches:
-camera
-projecteur
-haut-parleurs
-luminaire
Les cloches sont évidemment déclinables:suspension, mural & s/pieds
Concernant la matière, une analogie au "miroirs" de surveillance pourrait être intéressant. dans le cas de camera, nos cloches ne sont pas si éloignée que ça....de plus la brillance peux apporter un effet visuel intéressant et favorise la diffusion de la lumière...
A l'image des lunettes d'astrologie... un écran est monté directement à l'arrière d'une cloche...
Des versions plus simples et autonomes sont envisageables.
Jeu, informations, etc...
Posted by adrien.rovero at 17:29
U are the mark
Recherches par rapport aux lits et fauteuils qui seraient autonomes. La personne qui l'utilise devient alors la marque. dépendant des positions, une action ou un visuel s'enclenche.
Nous avions évoqué la possibilité de réaliser des modes d'emplois sur les diverses positions...
Posted by adrien.rovero at 16:54
Work in progress - Workshop 13-17.06.05
Le workshop gravite essentiellement autour de la prise en main et la proposition de projets autour du/pour le logiciel de réalité augmentée développé par l'EPFL. Il fait également suite à une première période de "brainstorming" où différentes questions ou projets et scénarios ont été évoqués (voir la section References & Start du blog).
Le choix a été fait les les trois assistants du projet de travailler autour de la thématique de la chambre d'hôtel.
Réalisation d'une maquette représentant le lieu, la chambre.
La pièce regroupant plusieurs fonctions différentes.
-
2 MURS DISTINCT
-
A gauche, le mur serait une tapisserie créée avec des signes reconnaissables par un téléphone mobile et qui donnerait des indications pratiques en rapport avec l'hôtel (menu du jour, numéro d'urgence) et le lieu (horaires bus, musée etc.)
A droite, une projection pour tout ce qui concerne les loisirs et les événements au sein de la chambre (jeux, cinéma, animation, ambiance etc.)
CAMERAS
-
Chaque objet de la chambre (lit, aire de jeux, bureau) est filmé par une caméra pendu à un câble, filmant depuis le haut.
La forme de l'objet montre la couverture de la surface que peut analyser la caméra.
EXEMPLE DE JEUX
-
Dans la pièce se trouve une petite aire de jeux créé avec des signes modulables, selon l'emplacement de ces signes, le jeu serait différent. Ici le jeu est un puzzle.
Chaque face du cube possède une pièce du puzzle que l'on ne voit que avec la réalité augmentée sur la projection.
Les jeux ne sont donc utilisables qu'avec la projection sur le mur.
SYSTEME "ON/OFF"
-
Ici, une table et un objet à pour effet de créer un signe précis détectable pour la caméra. Par exemple, si rien n'est sur la table, rien ne se produira. Si quelqu'un intervient en posant un objet sur cette table, elle va agir sur l'environnement ou/et provoquer une action.
-
Posted by |BRAM| at 12:51
Workshop's result: 'AR' Chambre d'hôtel
Concernant le projet de chambre d'hôtel sur lequel nous avions travaillé durant le workshop de juin, je voulais apporter une ou deux précision concernant le tapis de jeu et le papier peint.
Le tapis de jeu, destiné principalement aux enfants, est composé de 16 éléments modulables qui permettent de créer plusieures surfaces de jeu différentes. Chacune d'entre elle fait office de marqueur et permet de "générer" un jeu différent (le puzzle par exemple), auquel on joue à l'aide de six gros dés dont les faces sont également dotées de marqueurs :
Concernant la tapisserie, nous avons esquissé quelques pistes/idées. Tout d'abord un papier peint blanc sur lequel se trouve des motifs que l'on peut soi-même colorier afin d'en faire des marqueurs. Des petites marques (traitillés ou points) sont là pour aider l'utilisateur à dessiner des carrés réguliers autour du motif choisi :
Nous avons imaginé d'autres exemples de papiers peints où les marqueurs sont, cette fois, integrés à l'ensemble.
Dans l'exemple ci-dessus, les marqueurs sont placée parmi une série de lignes.
L'idée, avec ce papier peint, était d'avoir une série d'informations relatives à l'hôtel (menu du jour, prix des chambres, sortie de secours, etc...) que l'on peut voir apparaître à l'aide de son téléphone portable. On peut très bien imaginer aussi que certains voyageurs viennent intervenir directement sur le mur à l'aide de stylos afin d'y laisser des messages.
Dans l'exemple suivant, les marqueurs sont également integrés à la tapisserie mais se perdent un peu dans l'abondance des autres motifs. D'ailleurs certains marqueurs ne fonctionnent pas car ils sont cachés par les illustrations :
Posted by tatiana at 10:05
New demonstrator version available
New version downloadable from
http://itswww.epfl.ch/~marimon/software.php (Binaries & source code)
with a menu at the beginning to choose the output window type:
320x240
640x480
640x480 fullscreen
Hope you enjoy it!
David
Posted by david.marimon at 12:52
| Comments (1)
Pistes avant l'été
------- Forwarded message -------
From: "patrick keller"
To: mail.at.adrienrovero.com, tatianarihs.at.hotmail.fr, bram.at.francobelgedesign.com
Subject: Meet
Date: Mon, 27 Jun 2005 19:59:08 +0200
Hello,
je propose de se voir encore deux fois avant la pause "été":
__le mardi 5 juillet à 17h
__le mardi 12 juillet à 13h
La fin de la période de 3 mois doit être aux alentours du 18 juillet. D'ici là je propose de poursuivre les pistes dont nous avons parlé le vendredi en fin de semaine bloc et d'essayer d'obtenir des "résultats" (sketches uniquement) pour celles-ci avant l'été.
On avait évoqué:
Adrien:
_Travailler sur une table (?) ou autre objet de la chambre et pousser la logique et la particularité de celle-ci plus loin. Réfléchir aux usages spécifiques possibles, aux usages imprévus aussi. Au lien éventuel qu'il pourrait aussi y avoir avec des images. Ou alors travailler sur le kit Camera-Abat-jour, sa (ses) taille(s), etc. Voir aussi la remarque plus bas sur les cloches à son.
_Travailler avec Tatiana sur le langage graphique et son extrusion éventuelle (ou non suite aux tests) vers la 3d
Tatiana:
_Développer un vocabulaire graphique (pour le projet) qui pourrait ensuite se décliner en motifs, papiers peints, tapis, marqueurs, signalétiques, etc.
_Voir avec Adien pour le développement vers la 3d de ce langage graphique 2d. Voir avec Bram pour un papier peint avec son contenu AR.
Bram:
_Développer différents contenus pour le "tapis de jeu" et ses "dés". Voir même pour le tapis lui-même
_Développer des contenus et exemples pour le papier peint d'information (plutôt textuel selon vos explications). Voir avec Tatiana, même sur la base du papier de la semaine bloc (faire alors un montage 1:1 dans la grande salle Cinéma et faire capture d'écrans, montages, ...).
_Continuer à officer en tant que "chef blog"
Et je rappelle pour tous: blogger des réfs ou des commentaires persos (on verra pour les sketches à blogger en fonction de ce qu'on aura). Faites des montages, maquettes (y compris 1:1), sketches, etc.
Comme langage visuel final, je trouve intéressant de travailler avec des simulation 1:1 (maquettes 1:1) car on est dans une espèce de fiction qui se veut rèelle.
Sinon, de façon générale, les commentaires qui ont été fait le 17 juin restent valables je pense, mais j'ajouterai encore deux choses:
_A mon avis, il manquait dans la chambre un ou deux éléments "importés" (valise, ...) avec lesquels ont peu aussi jouer. Ils peuvent donner l'idée que la chambre est incomplète si non occupée. Que ces pièces doivent être présentes pour "faire la chambre".
_La chambre était presque trop normale: on invente pas vraiment de nouveaux usages (même déviants façon Dunne & Raby) et les objets continuent à ressembler à ce qu'ils ont toujours été (lit, table, chaise, etc). L'abat jour à caméra commence lui à dessiner une esthétique un peu déviante et va contre la miniaturisation, ce qui est intéressant dans le contexte actuel (surveillance, effacement des caméras, etc.)
L'esthétique de la chambre elle même pourrait commencer à devenir plus
intéressante avec une multiplication de ce type d'objets.
Je pense ici aussi aux "cloches à son" (je n'ai pas d'exemple à vous mailer malheureusement). Ce sont des espèces de demi-sphères en général transparentes, qui orientent le son dans une direction. La chose étrange est qu'elles sont souvent suspendues en l'air, orientée vers le bas et on entend le son uniquement lorsqu'on est juste en dessous et pas du tout si on est 1m à côté. Un peu comme des abats-jour, mais pour le son (cf pour qqchose d'approchant, les parasols à son des bourroulec).
A noter aussi: on va filmer en continu des objets et ce qu'il se passe sur ces objets, cela peut-il apporter qqchose aux objets eux-mêmes? Transformer leur fonction?
On peut aussi penser que des caméras ou captures diverses (son, image, mouvement, ...), couplées à des objets (chaise, lit, table, papier peint, ...) ne servent pas un projet AR mais des fonctions nouvelles.
Posted by patrick keller at 11:14
Workshop 13-17 juin 2005
Premières pistes et traitements en rapport avec l'utilisation du logiciel "Mixed Reality".
Pour cette semaine de Workshop, nous nous somme fixé comme point de départ un lieu.
Dans notre cas, l'hôtel nous paraissait intéressant car cet un endroit de convergence pour les voyageurs, aussi bien touristique que professionnel. Ces endroits sont, de manière générale très impersonnels et le plus souvent neutre (une chambre possède un lit une télé et une salle de bain, c'est tout).
Nous avons donc effectué dans un premier temps notre recherche en rapport avec ce lieu tout en laissant le champs libre à des pistes moins évidentes en rapport à ce lieu.
Le journal
Volonté de modifier l'interface de base (Webcam et ordinateur) au profit d'un objet spécialement dédié pour la réalité mixte).
L'idée serai ici d'avoir 2 écrans plus ou moins grands accroché entre eux en forme de journal que l'on tien devant soi, la camera est incluse dans l'objet.
On pourrait confronter des personnes dans un lieu et ceci grâce à cet objet. Se cacher derrière ce "journal" tout en observant l'autre, ce dernier pouvant aussi voir/obtenir des informations sur la personne qui l' observe.
Objets réels
Implications d'objets réels/physique provoquant un signe détectable pour la caméra.
Exemple: sur une table noir on pose une tasse à café, le logiciel interprète cet élément comme un signe (cercle blanc sur carré noir). L'idée serai d'avoir un forme d'interrupteur on/off:
Dès que le logiciel détecte une forme, elle interagit sur l'environnement.
Tapisserie, papier peint
Le signe/code devient un objet graphique en soi, fait partie du décor
Possibilité d'interagir sur les signes avec un stylo, crayons.
Cubes
Objets en cube avec des signes sur plusieurs facettes.
Ces cubes assemblés entre eux pourraient à leur tour provoquer un autre signe détectable par la caméra.
Posted by |BRAM| at 10:18
brainstorming 23 mai 2005
On a commencé par parler de la tendance au nomadisme impliquée par certaines nouvelles technologies, en se demandant si finalement l'idée-même d'avoir une maison n'était pas à remettre en question car finalement les vrais nomades ne sont-ils pas ceux qui transportent également leur logement. On a ensuite essayé de réfléchir alors à ce qui, dans une société comme la notre, pourrait remplacer nos maisons, appartements, etc....Nous avons alors imaginé des trains, voitures ou autres moyens de transports qui deviendraient en même temps des lieus de vies, disposant de tous le matériel nécessaires pour, par exemple, cuisiner ou dormir. Bon là, on a commencé à sentir que l'on s'éloignait un peu du sujet initial ou du moins, qu'il s'agissait d'être un peu plus pragmatique. Et c'est là que nous avons eu l'idée du :
_KIT PERSONNEL VIRTUEL / BOITE DE SOUVENIR VIRTUEL :
l'idée de cette boîte nous est plus ou moins venue en nous posant la question suivante : "comment s'approprier un lieu de passage ?". En effet, si nous sommes de moins en moins à la maison, de plus en plus mobiles, "sur la route", il est toujours rassurant d'avoir avec soi des éléments nous rappelant notre quotidien.
Le "kit personnel virtuel" serait une boite remplie de souvenirs personnels (donc différente pour chacun). Il s'agirait de commencer par la remplir en répondant à un très long questionnaire (sur ses goûts, ses habitudes, etc), puis on pourrait y ajouter des images, des films, de la musique (tout ça bien sûr sous forme de fichiers informatiques). En poussant un peu le truc et en imaginant une technologie hyperavancée, on avait pensé aussi qu'on pourrait y ajouter des odeurs ou alors que d'une manière ou d'une autre il
serait possible de faire intervenir le toucher ( avec différentes matières, etc). Dans l'idéal il s'agirait de faire intervenir tous les sens.
En essayant de rester dans ce qui semble plus concrétement réalisable, ce kit serait rempli de ces fichiers informatiques auquel il serait possible d'accéder, de manière aléatoire ou non. Un peu à la manière d'un ipod.
Imaginons que j'entre certaines données sur ma destination, mon humeur, mes envies.Eh bien la machine saurait les analyser et générer certains de mes trucs préférés, genre une chanson, un poster (car oui, elle serait munie d'une mini imprimante) au moment où j'en ai besoin ou envie. Genre je suis triste, dans une chambre d'hotel glauque dans un pays qui me fait peur, elle m'imprime mon poster préféré, je l'accroche au mur et je me sens beaucoup mieux. Bien sûr l'idée est à développer et tout n'est sûrement pas très clair.
Nous avons ensuite un peu discuté ensuite de cette "tendance" qui est de se réapproprier d'anciens objets d'une manière un peu absurde . Par exemple, le combiné téléphonique qu'on rajoute sur un natel ou encore ce truc de pouvoir envoyer des sms à un numéro qui les retranscrit ensuite sur une carte postale et les envoie à un destinataire. On a pensé qu'il serait peut-être intéressant de creuser cette piste et de trouver d'autres formes d'applications de cette espèce de fausse nostalgie.
La troisième idée était de se questionner sur les nouveaux nouveaux codes régissant la communication qu'impliquent certaines nouvelles technologies comme le natel et ses sms ou l'ordinateur et ses chats. Certains malentendus / quiproquos peuvent facilement avoir lieu car nous ne sommes pas encore vraiment habitués à communiquer de cette manière-là et que certaines "conventions" ne sont pas encore bien définies. Nous avions pensé effectuer une ou deux séances de travail par sms ou par chat, tout en étant dans la même pièce pour voir quelle nouvelle sorte de dynamique que cela pourrait créer.
La discussion s'est tournée ensuite vers l'idée de ultifonctionnalité des objets. Comment dans un natel ou une voiture, on intègre de plus en plus de fonctions dans l'idée d'un "tout-en-un", rendant ainsi désuets certains autres objets.
Nous avons terminé notre reflexion en pensant à la technologie qu'est en train de développer David, nous avons imaginé un monde oû tous le monde serait muni de lunettes permettant de voir des éléments de réalité mixte et oû il serait possible de programmer celles-ci afin de remplacer certains éléments de la "réalité" (c'est-à-dire du monde tel qu'on le voit sans les lunettes) afin d'en voir d'autres. Au milieu d'une foule par exemple, on pourrait choisir de voir des arbres au lieu des gens, et on se retrouverait soudainement en fôret en arborant les fameuses lunettes. Munis d'un casque sur les oreilles qui transformerait le son de la foule en un bruit de fine brise dans les arbres, l'expérience serait totale. Bon mais une fois encore, on s'éloigne un peu de ce qui est réalisable.
Il s'agit bien de pistes dont certaines apparaissent un peu boiteuses, car difficilement applicables mais néanmoins, je l'espère, intéressantes.
Tatiana
Posted by |BRAM| at 14:45
1st brainstorming
lundi 9 mai 2005
idée, concept, thème
1er brainstorming entre Adrien, Bram, Tatiana et Patrick
- Le livre virtuel (voir projet EPFL)
Rem: Beaucoup de choses ont été faites autour de cette question. En tant que tel, la problématique du livre me semble un peu déconnectée de la thématique générale de la Mobilité ou des environnements variables. Mais le livre fait également partie des objets que l'on déplace avec soi: un livre particulier pourrait-il être développé (et qui soit léger! )), en relation à un contexte et à d'autres objets "transportables"?
Ceci dit, on travaille un peu sur cette question durant le semestre avec les 2CV: développer un projet avec tout ce que l'on trouve potentiellement dans son "sac personnel", tout les petits objets que l'on balade presque en permanence avec soi. Durant le workshop de juin, cette question pourrait être abordée.
-
- La ville et son surplus d'informations (pub, info, panneau,lumières,écran etc.) --> séléction, censure, épuration
Rem: idem, là aussi beaucoup de projets ont été développés dont un laboratoire du MIT qui travaille (ou travaillait) exclusivement sur ces questions. On arrive avec plusieurs trains de retard. Voir les travaux de Steve Mann sur la sousveillance et la surveillance. Assez geek, techno et cyberpunk (cf. et sa page perso). Il avait développé des systèmes de "wearabale computer" et de réalité mixte dont le but était d'effacer toute la publicité présente dans son champ visuel.
Mais c'est certain que lorsqu'on travaille avec ce genre de technlogie (réalité augmentée), on pense toujours à ajouter. Enlever et soustraire est aussi possible...
-
- Communication Virtuelle au sens propre du terme --> chat, discussion préfabriquée, lieu fictif etc.
que je lie à
- Redéfinir, rendre visible/palpable le flux d'information invisible --> ligne web, ligne téléphonique, télé, etc. (idée à redéfinir, un peu abstrait quand même)
Rem: peut-être que nous pourrons lancer une piste entre fabric et vous trois autour de ces questions. A discuter lors de notre prochain rendez-vous.
-
- Objets Mobiles, redonner une fonction au endroit selon les objets utilisé (ex. une cabine pour un telephone portable)
Rem: cette piste me paraît très intéressante. J'y vois à la fois un côté absurde (faire ressurgir des formes anciennes), innovant et permettant de développer des possibilités de customisation fonctionnelle de lieu. Mais il faudrait revisiter ces environnements. Les penser transportables ou que l'on puisse se les envoyer par la poste... Je pense par exemple aux cartons de la poste totalement plats à l'achat et qui peuvent ensuite se déployer en assez grands volumes.
Voir par exemple ici le projet Pokia ou l'auteur nous dit qu'il n'en peut plus de voir les gens parler tout seul dans la rue (téléphone mobile utilisé avec une oreillette) et qu'il réintroduit le vieux combiné pour que l'activité "téléphoner" soit lisible pour les autres.
Ou encore un projet un peu absurde d'une étudiante du RCA, Ingrid Hora: petit article dans Frame Jan/fev 2005 et une image online (cf link)...
-
- Utilisation Simultané des Médias --> sollicitations de plusieurs médias et sens en même temps, changement du comportement etc.
A voir comment vous entendez ça. Quel sens donnez-vous ici au mot média? journaux imprimés + télévisés + radio + etc. ou images, sons, texte etc?
Cela peut se connecter à d'autres suggestions à mon avis: le livre télévision? la valise journal, le laptop livre... etc. on peut penser ajouter à des objets des contenus "virtuels" renvoyant à des contenus "médias" (journal, livre, télévision, vidéo, film). Cela restera fictionnel toutefois car les outils développés par l'EPFL ne supporte pas encore des "mappings vidéos" et du contenu dynamique.
-
- Clonage Virtuelle de l'intélect afin de pouvoir réaliser plusieurs choses à la fois
Là je crois qu'il faut vous adresser au docteur Frankenstein! ;)
-
-
Réf livres:
__ Distortions & Ghost flat de Philippe Rahm, présentent d'autres façon d'envisager l'espace (ils sont chez payot en ce moment)
__ Esthétique relationnelle de Nicolas Bourriaud (directeur Palais de Tokyo)
Posted by |BRAM| at 14:10
1rst comment
Quelques "concepts" généraux et autres remarques relatives au projet
Je pense qu'il faut se concentrer autour de quelques mots/concepts et usagers clés (comme Findeli nous l'a suggéré en partie mercredi p.ex), il faudra ausssi à terme que nous nous concentrions sur une situation relativement précise:
-
_Penser à la Mobilité ou aux Nomades urbains (on a p.ex. croisé mercredi Heiz qui revenait de 2 semaines et demi de conférences à droite et à gauche), moi je reviens de 10 jours de travail entre Istanbul, Paris, Orléans puis Paris à nouveau et je repars bientôt en Italie): on se déplace avec une valise, un bag pour laptop, des livres, des cds, des écouteurs, un bag à l'épaule, un téléphone. On se fait livrer des commandes directement dans les hôtels où l'on sait qu'on va se trouver (du matériel, des livres). On pourrait repenser/améliorer ce type de contexte, en lien avec des lieux croisés par ce type de nomades: qu'est-ce qui doit aller avec lui/être transportable, qu'est-ce qui va dans des lieux fixes (chambres d'hôtel, lieux de travail, etc) ou les objets (valises, tables, etc), qu'est-ce qu'on peut se faire livrer/envoyer?
Je pense toutefois qu'il faut se concentrer sur une mobilité réduite (on évoquait Lausanne - Zürich) liée à des activités (travailler, étudier, se distraire, ...) et des lieux (places, hôtels, chambres d'amis, trains, expos, clubs, ...). Cela nous permettra aussi éventuellement de réaliser certains projets in-situ, ou tout au moins de faire des montages images.
-
_Micro-urbanités et Variabilité: une densité de relations et d'expériences/informations que l'on déplace et balade en permanence avec soi, dans une micro-spatialité. En partie matérielle (objets) et immatérielle (des données, des logiciels, des réseaux). La variabilité indique la faculté de modifier la fonction d'un lieu, simplement en y ajoutant un objet (je transforme une table de café en bureau en y posant mon laptop par exemple, pour un durée de temps limitée). Je peux également déployer un univers visuel qui m'est dédié autour de ce lieu avec de la réalité mixte/augmentée par exemple...
-
_Micro-utopies: l'approche que nous avons, celle de la création liée à des recherches scientifiques, connecte notre démarche à celle des modernes (qui s'appuyaient eux sur des techniques -industrialisation, machines, production, .... Findeli parlait hier de recherche "technology driven", terme que je rejette car la technologie en soi et pour soi n'est pas ce qui nous intéresse ici).
Mais pour revenir aux modernes, ils pensaient pouvoir révolutionner l'ensemble de la société autour d'idées sommes toutes assez simples, cela n'est pas notre cas...: nous pensons à des situations et à un environnement complexes. Nous tenons compte de la diversité des expériences. Les utopies peuvent et doivent s'exprimer, mais elles sont opératoires de façon plus subtile et nuancée (voir par exemple le livre sur l'esthétique relationnelle cf. plus bas), elles sont souvent contradictoires.
-
_Crossovers: nous pensons ici bien sûr aux crossovers entre discplines (c'est ce que nous testons aussi dans le projet) et comment celles-ci doivent aujourd'hui se combiner autour de problématiques transversales (et donc de la création d'artefacts nouveaux), mais aussi aux crossovers de situations ou de lieux (situations privées en superpositions à environnements publics, etc).
-
Commentaire général additionnel: il est quasi évident que l'on va arriver à un moment où l'on devra complètement resserer la problématique car on ne peut pas tout traiter évidemment. Mais pour l'instant il s'agit d'"embrasser" le problème!
Posted by |BRAM| at 12:50
Scenario 1
-
Download the scenario 1, a4 size (97k): View image
Posted by patrick keller at 15:07
