La realitat augmentada (RA) és el terme que es fa servir per definir una visió directa o indirecta d'un entorn físic en el món real, els elements del qual es combinen amb elements virtuals per a la creació d'una realitat mixta a temps real.
Consisteix en un conjunt de dispositius que afegeixen informació virtual a la informació física ja existent. Aquesta és la principal diferència amb la realitat virtual, ja que no substitueix la realitat física, sinó que afegeix un entorn fictici (per exemple, dades informàtiques) al món real. Amb l'ajuda de la tecnologia (per exemple, afegint la visió per ordinador i el reconeixement d'objectes) la informació del món real que envolta l'usuari es converteix en interactiva i manipulable. La informació digital sobre l'entorn i els objectes pot ser superposada al món real. A tall d'exemple, podem entrar dins d'un llibre i formar part de la història que ens explica; també podem visualitzar imatges que prenen vida o entorns canviants.
El 1994 Paul Milgram i Fumio Kishino defineixen la realitat augmentada com una zona intermèdia en un espai fictici i continu que uneix el món real i el món virtual.
Més tard, el 1997 Ronald Azuma va definir el sistema de realitat augmentada com aquell que:
Així doncs, podem entendre la realitat augmentada com una fusió en temps real del món virtual i el món real. Recentment, el terme realitat augmentada s'ha difós àmpliament a causa del creixent interès del públic en general.
La història de la Realitat Augmentada, inicialment, va de bracet de la història de la Realitat Virtual, no podent diferenciar ambdues línies temporals fins als inicis de la dècada dels noranta.
Abans dels cinquanta, podem parlar d'exemples artístics de realitat virtual. Així, el dramaturg francès Antonin Artaud considerava que el món de la il·lusió i el món real havien de ser el mateix, tot argumentant que el públic d'una obra de teatre havia de suspendre la seva incredulitat i havia de percebre l'obra com una realitat.
Tanmateix, no és fins a la dècada dels seixanta quan realment comencen a aparèixer els primers models que barregen l'ús de la tecnologia amb els sentits humans. Així, el 1957 (malgrat que la patent és de 1960), Morton Heilig inventa una màscara molt semblant als visors VR que coneixem en l'actualitat, però sense gaire èxit. El 1962, el senyor Morton patenta la màquina Sensorama, una màquina mecànica amb una pantalla de color estereoscòpica, ventiladors, emissors d'olors, sistema de so estèreo i una cadira giratòria que permetia a l'usuari simular un viatge en motocicleta pels carrers de Nova York, vivint les mateixes sensacions que un viatge real: les vistes de la ciutat, el vent a la cara, l'olor a benzina i l'olor de pizza dels bars, etc., eren recreats per la màquina.
El 1968, el nord-americà Ivan Sutherland, conegut per ser el pare dels gràfics per ordinador, va crear el primer casc de realitat augmentada (Head-Mounted Display), anomenat L'espasa de Dàmocles. Aquest dispositiu fou dissenyat per ensenyar els pilots novells d'helicòpter a aterrar en la foscor, però pesava tant que necessitava aguantar-se del sostre per poder ser utilitzat. D'aquest fet rau l'origen del seu nom: l'espasa de Dàmocles penjava d'un únic pèl de crinera de cavall i simbolitzava el perill que s'instal·la a aquells que ostenten un gran poder.
L'any 1975, el nord-americà Myron Krueger va dissenyar un laboratori de realitat augmentada (que ell anomenava realitat artificial) anomenat Videoplace a la Universitat de Connecticut, que responia als moviments i les accions de l'usuari, tot monitoritzant, mitjançant siluetes de colors, les accions dels usuaris en una pantalla.
Durant els anys vuitanta continua la recerca sobre noves formes d'interacció entre humans i ordinadors. Empreses privades, com Atari o VPL Research, universitats, com la Universitat d'Illinois, o fins i tot a l'àmbit militar, com la NASA, aconsegueixen alguns avenços importants en aquesta àrea.
A principis dels noranta, Thomas P. Caudell i David W. Mizell, membres de Boeing, defineixen la realitat augmentada de la següent manera: "Aquesta tecnologia s'utilitza per "augmentar" el camp del visió de l'usuari amb la informació necessària per a la tasca actual i, per això, ens referim a aquesta tecnologia com "realitat augmentada". A l'article d'aquests investigadors es presentava el disseny i prototipatge d'un casc de realitat virtual que ajudava els obrers de Boeing en el seu procés de fabricació i muntatge en superposar objectes reals amb d'altres objectes virtuals amb la intenció que aquests poguessin practicar i evitar, així, possibles errors i despeses innecessàries. Més tard, Steven Feiner, Blair MacIntyre i Dorée Seligmann, presenten el projecte KARMA (Knowledge-based Augmented Reality for Maintenance Assistance), un sistema de proves basat en tasques de manteniment i reparació. Paral·lelament, Louis Rosenberg, membre de la Força Aèria dels Estats Units crea un sistema de realitat augmentada anomenat Virtual Fixtures.
A mitjans dels noranta, s'utilitza la realitat augmentada per buscar residus espacials (Mike Abertnathy i altres, 1993), per dur a terme entrenaments de vehicles de combat (Loral Western Development Laboratories, 1993) o per detectar situacions reals en què l'usuari podia observar el món real juntament amb informació generada per ordinador en forma de missatges (NaviCam, Jun Rekimoto, 1994-1995). A més, l'any 1994, l'australiana Julie Marin porta a terme la primera obra de teatre que utilitza la realitat augmentada, Dancing in cyberspace, on els actors i actrius interactuaven amb objectes virtuals.
Fins al moment, la recerca sobre la realitat augmentada quedava portes endins als departaments d'investigació de les grans empreses o les millors universitats. Tanmateix, a finals de la dècada dels noranta, amb l'aparició dels telèfons mòbils intel·ligents i l'eina de programari ARToolKit, del japonès Hirokazu Kato (1999), per a la creació d'aplicacions de realitat augmentada, aquesta tecnologia comença a ser accessible per a un sector més ampli de la població.
A principis dels 2000 apareixen noves creacions amb realitat augmentada, com Archeoguide (Vassiliols Vlahakis i altres), el primer navegador de RA (Real-World Wide Web Browser) o el joc ARQuake (Bruce H. Thomas i altres). Posteriorment, Siemens llança al mercat el seu telèfon mòbil Siemens SX1 amb el joc Mozzies (o Mosquito Hunt), en el qual es veien mosquits sobreposats al vídeo en directe que s'observava des de la càmera del dispositiu (millor joc mòbil de l'any 2003), es desenvolupa el primer sistema que permetia el reconeixement de diferents marcadors en 3D que proporcionaven una representació gràfica apropiada de la informació i les dades en temps real (Mathias Möhring, 2004) i s'inicia el projecte MARA (Mobile Augmented Reality Applications, de Nokia, 2006) on es fan servir per primer cop sensors de moviment, una brúixola i el senyal GPS per a determinar l'acceleració, la direcció i la localització, tot identificant els diferents objectes que apareixen a la pantalla del dispositiu mòbil.
A finals dels 2000, apareix Wikitude World Browser (Mobilizy, 2008), una aplicació, que combina senyals GPS amb entrades de la Viquipèdia, superposant informació en temps real a través de la càmera del dispositiu mòbil i que, posteriorment, fou actualitzada a Layar (SPRXmobile, 2009). D'altra banda, Microsoft presenta el seu Project Natal a la Electronic Entertainment Expo (E3) per a la consola Xbox, una barra que disposava de reconeixement facial, de veu i dels moviments, que permetia a l'usuari controlar el dispositiu mitjançant la seva veu i el seu propi cos, sense necessitat de disposar de cap comandament. Poc després, amb la col·laboració de PrimeSense, el projecte es millora i passa a ser conegut amb el nom de Kinect (2010).
Apple, pel seu compte, llança a l'abril de 2010 el seu dispositiu iPad, un ordinador en forma de tauleta que té una gran acceptació per part del públic. Aquest dispositiu, que al llarg de l'any va incorporant noves prestacions, com connexió WIFI o navegació GPS, permet crear aplicacions de realitat augmentada d'una manera realment eficient.
A partir d'aquí, grans empreses tecnològiques van iniciant projectes per treballar amb la realitat augmentada (i virtual), tot oferint aplicacions i nous dispositius. Així, Google presenta els seu projecte Glass (2012) o el seu projecte Tango (2014), PrimeSense (adquirida per Apple l'any 2013) presenta el seu dispositiu Capri (2012) o Facebook adquireix l'empresa Oculus VR (2014), investigant llavors sobre l'Oculus Rift, i Microsfot anuncia el seu projecte HoloLens (2015).L'any 2016 apareix el primer joc de realitat augmentada que enganxa a milions de persones arreu del món: Pokémon GO, de l'empresa japonesa Nintendo, i disponible tant per a dispositius mòbils que funcionaven amb Android com a per a dispositius iOS. El joc consisteix a capturar criatures virtuals que els jugadors poden descobrir en el seu entorn, l'existència de gimnasos on l'usuari pot combatre amb altres usuaris per mitjà de les seves pròpies criatures pokémon i el descobriment de noves recompenses i objectes col·leccionables ubicats en determinats punts de la zona.
Per poder crear qualsevol situació de realitat augmentada cal dur a terme un procés de tractament de la informació. Aquest procés es defineix com a seqüència de 4 accions genèriques.
Per dur a terme la realitat augmentada calen uns dispositius que continguin el maquinari i el programari adequat per realitzar les tasques. Segons la interacció d'aquests dispositius amb l'usuari, es diferencien dos grans grups. Adherits al cos (Headset o ulleres de RA) o bé dispositius no adherits al cos, mitjançant la pantalla d'una tauleta o d'un smartphone.
Els dispositius de RA adherits al cos, consten d'un "headset" i un sistema de display per a mostrar a l'usuari la informació virtual que s'afegeix a la real, són molt similars a les ulleres de realitat virtual. És un aparell generador d'imatges, que fa les tasques relacionades amb el procés, entre elles la d'afegir la informació en forma de dades a la del món real. En el cas del Headset s'ubica en forma de casc amb unes ulleres adjuntes. La capacitat de les noves tecnologies de poder contenir més maquinari en espais molt reduïts ha fet que els cascs hagin anat desapareixent en alguns casos per deixar pas a uns dispositius que són més semblants a les ulleres convencionals. Grans companyies com Microsoft o Amazonhan entrat al sector produint productes propis. Els sistemes de RA moderns, perquè han de realitzar totes les tasques, utilitzen una o més de les següents tecnologies: càmeres digitals, sensors òptics, acceleròmetres, GPS i/o RFID, entre d'altres. El maquinari de processament i de captació de so, com micròfons i altaveus podria ser inclòs als sistemes de RA.
Els dos principals sistemes de “displays” utilitzats són la pantalla òptica transparent (Optical See-through Display) com per exemple en les ulleres de RA i la pantalla que combina imatges (Video-mixed Display) com per exemple les aplicacions de RA en tauletes o smartphones. Tant a un com l'altre s'empren imatges virtuals que es mostren a l'usuari barrejades amb la realitat o projectades directament a la pantalla en temps real. Les aplicacions de RA no adherides al cos, solen anar més associades a la formació, a l'educació o bé a aplicacions pràctiques d'utilitat quotidiana. El seu cost i la dificultat d'implementació són més baixos en general.
El concepte neix l'any 2012 de la companyia Google, el concepte principal recau en poder incloure totes les possibilitats de la RA en dispositius més petits que es puguin comercialitzar i que siguin fàcilment portables per l'usuari. Hi ha dos grans aspectes a tenir en compte a l'hora de valorar la utilització d'ulleres de RA.
És un dispositiu personal de visualització. Aquest dispositiu projecta una pantalla directament a la retina de l'usuari. Aquest veu en alta resolució, contrast i lluminositat el que sembla una pantalla que flota en l'espai. Aquesta tecnología està essent investigada pel laboratori de tecnologia en interficie amb el cos humà de la Universitat de Washington. Amb aquesta tecnologia s'intenta aconseguir la millor integració de les imatges projectades amb la visió humana del món real.
Per a fusions coherents d'imatges del món real, obtingudes amb càmeres i imatges virtuals en 3D, les imatges virtuals han d'atribuir-se a llocs del món real. Aquest món real ha de ser situat a partir d'imatges de la càmera, en un sistema de coordenades. Aquest procés s'anomena registre d'imatges i utilitza diferents mètodes de visió per ordinador, la seva majoria relacionats amb el seguiment de vídeo. Molts mètodes de visió per ordinador de l'RA s'hereten de manera similar als dels mètodes d'odometria visual. Generalment els mètodes consten de dues parts: la primera etapa es pot utilitzar la detecció de cantonades, la detecció de Blob i de vores, de llindar i de mètodes de processament d'imatges; en la segona etapa, el sistema de coordenades del món real és restaurat a partir de les dades obtingudes en la primera etapa. Alguns mètodes assumeixen els objectes coneguts amb la geometria 3D, o marcadors fiduciaris, presents en l'escena i fan ús d'aquestes dades.
Una de les tasques més importants en qualsevol sistema de realitat augmentada és la de recollir i capturar l'escena del món real que es desitja augmentar. Generalment es fa servir una càmera de vídeo. Sol ser de dimensions reduïdes i sol anar integrada al dispositiu.
Un cop capturada l'escena el procés d'identificació consisteix a esbrinar quin escenari físic real es vol augmentar amb informació digital. Aquest procés es duu a terme a través de dues tècniques: utilitzant marcadors o sense utilitzar-los.
Estan basats en el reconeixement dels coneguts “Markers” (marcadors). Aquests marcadors estan basats en formes quadrades o rectangulars amb patrons asimètrics al seu interior. Mitjançant el processat podem col·locar al marcador el nostre objecte i calcular la seva forma calculant la distància. Habitualment la localització del marcador dins de l'escena captada per la càmera sol tenir un elevat cost computacional. Un cop trobat es procedeix al reconeixement de la seva geometria en l'espai per establir els paràmetres necessaris per a la posterior representació de l'objecte virtual.
Estan basats en el reconeixement d'objectes. El seu sistema és bastant més complex que el “Marker Tracking”, ja que mitjançant el programari ha d'identificar l'objecte en el món real, per exemple: cotxes, cares, mans, etc. D'altres tècniques com la comparació amb imatges poden reduir el cost de procés quan es disposa d'una base de dades per a tal finalitat. També ens trobem amb casos d'identificació sense marcador en els casos en què aquesta es fa tenint en compte les dades que ens arriben d'altres dispositius com ara GPS o acceleròmetres generalment.
Processat. Després de la captura i identificació de l'escena cal combinar la informació del món real amb la del món virtual. Podem barrejar imatges 3D o 2D amb la realitat. Hem de tenir en compte que aquestes imatges virtuals se superposen a les reals, de manera que no podrem veure què hi ha al darrere si no és que la superfície de visualitzat sigui translúcida (see-through) o les imatges virtuals puguin transparentar.
Visualització.
Últim procés del sistema de realitat augmentada, reproducció de l'escena real amb la informació virtual. La representació dels objectes virtuals integrats en l'espai “real” no resulta trivial; depèn d'haver realitzat un correcte reconeixement de l'entorn amb l'anàlisi de la imatge captada, sobretot quan es representen objectes amb volum. Afegint-hi el fet que en les aplicacions per a dispositius mòbils l'enquadrament tendeix a canviar, mínimament en el millor dels casos, la necessitat d'un refresc de la imatge en concordança afegeix un cost computacional afegit als processos anteriors.
Hi ha llibreries destinades a fer-nos més fàcil la programació d'aplicacions de Realitat Augmentada que inclouen el codi necessari per fer el registre. La majoria estan basades en el reconeixement de patrons, tot i que també n'hi ha algunes de destinades al Markerless Tracing o al desenvolupament d'aplicacions que facin la identificació mitjançant GPS.
Algunes d'aquestes llibreries a més a més inclouen interfícies gràfiques que ens faciliten molt la programació d'aplicacions de Realitat Augmentada.
El Designer's Augmented Reality Toolkit (DART) és un sistema de programació creat per l'Augmented Environments Lab, al Georgia Institute of Technology. Aquest sistema proporciona un conjunt d'eines als dissenyadors per tal d'ajudar-los a visualitzar el conjunt d'objectes reals i virtuals. Aquestes eines són extensions per al Macromedia Director (eina per crear jocs, simulacions i aplicacions multimèdia) que permeten coordinar objectes en 3D, video, so i informació de seguiment d'objectes de Realitat Augmentada.
Principalment es podrien dividir en dos grans grups segons el suport on es reprodueix la imatge, o segons com interacciona el dispositiu amb el visualitzador.
Dins d'aquest grup es troben aquells dispositius que presenten el vídeo capturat en temps real per la càmera del dispositiu unit a l'augment virtual en pantalla. D'aquesta manera l'usuari visualitza “el món real” que hi veuria amb la càmera del seu dispositiu mòbil fusionat a la informació digital. Actualment és el sistema que està tenint més repercussió donada la seva fàcil integració als telèfons intel·ligents actuals així com en videoconsoles de videojocs d'última generació.
Són dispositius en forma de pantalla semitransparent o visor que afegeixen la informació virtual a l'escena real que estem visualitzant a través del vidre d'aquest dispositiu. Avui dia no es troba tan integrat comercialment en la mateixa magnitud que els dispositius de mescla d'imatges. Sí que ho trobem en aplicacions militars, hologràfiques o professionals concretes. Probablement en el futur veiem desplegada aquesta tècnica comercialment.
Fins ara, la pantalla instal·lada al cap (Head-Mounted Display, HMD) era la tecnologia dominant pel que feia a sistemes de visualització de realitat augmentada. Aquest dispositiu mostra tant les imatges del món real on ens trobem, com objectes virtuals sobre la vista actual de l'usuari. Els HMD són dispositius òptics que permeten a l'usuari veure el món físic a través de la lent i superposar la informació gràfica en els ulls de l'usuari.
El dispositiu manual amb realitat augmentada compta amb un dispositiu informàtic que incorpora una pantalla que cap a la mà de l'usuari. Totes les solucions avui dia, empren tècniques de superposició sobre el video amb la informació gràfica.
Inicialment els dispositius de mà empraven sensors de seguiment tals com brúixoles digitals i GPS que afegien marcadors al video.
El display de mà està sent el primer èxit comercial de les tecnologies de Realitat Augmentada. Els seus principals avantatges són el caràcter portàtil dels dispositius de mà i la possibilitat de ser fàcilment implantada en telèfons amb càmera.
La realitat augmentada espacial (SAR) fa ús de projectors digitals per a mostrar informació gràfica sobre els objectes físics. A diferència del que passa amb els visualitzadors de cap o mòbils (la integració del gràfic en l'escena està limitada al camp visual), la reproducció de l'augment virtual en l'entorn físic, integra l'usuari en l'entorn de treball. Pel fet que la visualització no està associada únicament a un usuari, en permet l'ús a grups, podent-hi interaccionar simultàniament coordinant el treball entre ells. Les Tecnologies SAR tenen diversos avantatges sobre el tradicional display col·locat en el cap i sobre dispositius de mà; l'usuari no està obligat a dur l'equip damunt ni a sotmetre's al desgast de la pantalla davant els ulls. El display espacial no està limitat per la resolució de la pantalla, que sí que afecta els dispositius anteriors. Un sistema de projecció permet incorporar més projectors per a ampliar l'àrea de visualització. Els dispositius portàtils tenen una petita finestra al món per a representar la informació virtual, en canvi en un sistema SAR pots mostrar més superfícies virtuals alhora en un entorn interior. És una eina útil per al disseny, ja que ens permet visualitzar una realitat que és tangible de forma passiva.
A priori els sistemes SAR però, es troben més lluny d'una implantació quotidiana com és el cas dels sistemes de pantalla en mà, donat que requereixen un sistema de projectors que òbviament no resulten igual de portables ara com ara i les tecnologies que farien això possible (projectors portàtils) no es troben igual d'implantats en el mercat.
Per altra banda sí que hi ha múltiples casos d'ús de tecnologies SAR en instal·lacions tecnològico-artístiques que solen il·lustrar futures aplicacions de la realitat augmentada en la nostra societat.
La realitat augmentada ofereix infinitat de noves possibilitats d'interacció que fan que estigui present en molts i diversos àmbits com són l'arquitectura, l'entreteniment, l'educació, l'art, la medicina o les comunitats virtuals.
L'educació ha d'anar canviant per poder adaptar-se a la societat actual on les Tecnologies de la Informació i la Comunicació (TIC) tenen una gran importància. La RA té un gran potencial educatiu, des de l'educació primària fins a altres àmbits educatius.
El ús de la RA en l'àmbit educatiu té un gran nombre de possibilitats, ja que l'alumne es fa més protagonista del seu propi procés d'ensenyament-aprenentatge. A més, ens dona l'oportunitat de crear un feedback entre alumne i professor.
Les primeres aplicacions de RA a l'aula van ser els Codis QR que amb l'ajuda d'un dispositiu mòbil amb càmera es podia llegir la informació oculta de cada codi (semblant a un codi de barres).
L'escola, com a institució educativa, té un paper central en els reptes que incorpora la tecnologia a la societat actual. En aquest sentit, veiem l'impacte que tenen les diferents eines dins la nostra vida quotidiana. La incorporació de l'RA a l'aula és viable, ja que només ens cal disposar d'un ordinador, una webcam, una impressora i programari específic (que pot ser gratuït). Un dels programaris específics gratuïts que es pot utilitzar és el BuildAR, que s'executa amb el sistema operatiu Windows (XP, Vista, Windows 7). Per utilitzar-lo cal disposar d'una webcam connectada a l'ordinador i d'una impressora (per tal d'imprimir els marcadors). Si fem referència a l'obtenció de models virtuals en 3D pel nostre projecte, podem utilitzar la galeria Thefree3dmodels (que també és gratuïta) o Artist-3d. A més a més, Google també ens n'ofereix una altra: Google 3D Wharehouse (encara que no són compatibles amb la versió gratuïta de BuildAR).
Aquesta eina es considera molt atractiva pels estudiants, des del punt de vista que els motiva, i poden aprendre a un ritme propi. En aquest sentit, pot presentar informació de forma simultània, que té a veure amb elements diferenciats, com poden ser: animacions en 3D, imatges, vídeos, etc. Alguns projectes poden tenir a veure amb el coneixement dels planetes, del cos humà, etc.
Una altra aplicació mòbil de Realitat Aumgentada s'anomena Plickers, és una eina totalment gratuïta vàlida per a Android i Iphone que permet realitzar preguntes de tipus test als alumnes d'una manera molt senzilla, fàcil, dinàmica i motivadora. El major avantatge que té aquesta app és que no es necessita un dispositiu mòbil per a cada alumne, només amb el dispositiu del professor es pot executar l'activitat.
La investigació en el camp de la RA busca l'aplicació d'imatges generades per ordinador a vídeo en temps real com una forma d'ampliar la percepció que tenim del món real. Aquesta inclou l'ús de pantalles col·locades en el cap (head-mounted display, HMD), un monitor virtual de retina per a millorar la visualització, i la construcció d'ambients controlats a partir de sensors.
Conèixer la ubicació real i exacta de l'usuari esdevé clau, sobretot en les aplicacions que així ho requereixin: un dels reptes més important que es té a l'hora de desenvolupar projectes de Realitat Augmentada és la coordinació entre els elements visuals i els objectes reals, ja que un petit error d'orientació pot provocar un desajust perceptible entre els objectes virtuals i físics. En zones molt àmplies els sensors d'orientació usen magnetòmetres, inclinòmetres, sensors inercials... que poden la seva funció interferida greument per camps magnètics, i per tant s'ha d'intentar reduir al màxim aquest efecte. Seria interessant que una aplicació de Realitat Augmentada pogués localitzar elements naturals (com arbres o roques) que no haguessin estat catalogats prèviament, sense que el sistema hagués de tenir un coneixement previ del territori.
Com repte a llarg termini és possible suggerir el disseny d'aplicacions en els quals la realitat augmentada anés una mica més enllà, el que podem cridar "realitat augmentada retroalimentada", això és, que l'error de posició/orientació sigui corregit amidant les desviacions entre les mesures dels sensors i les del món real.
En el futur podríem trobar aplicacions d'aquest estil:
A Wiki Commons hi ha contingut multimèdia relatiu a: Realitat augmentada |
This article uses material from the Wikipedia Català article Realitat augmentada, which is released under the Creative Commons Attribution-ShareAlike 3.0 license ("CC BY-SA 3.0"); additional terms may apply (view authors). El contingut està disponible sota la llicència CC BY-SA 4.0 si no s'indica el contrari. Images, videos and audio are available under their respective licenses.
®Wikipedia is a registered trademark of the Wiki Foundation, Inc. Wiki Català (DUHOCTRUNGQUOC.VN) is an independent company and has no affiliation with Wiki Foundation.