Con más de 500 máscaras en exposición y un espacio limitado para acompañar cada pieza con información, el MAPI buscaba una alternativa que permitiera a los visitantes conocer el nombre, los datos y el contexto de aquello que estaban observando, incluso cuando no contaran con un guía.
La respuesta fue incorporar una nueva funcionalidad a la aplicación móvil que ya tenía el museo: el visitante puede enfocar una máscara con la cámara de su celular, identificarla y acceder en tiempo real a información sobre la pieza.
“Lo que hace es brindarle la posibilidad al usuario que no tiene un guía de enfocar la máscara con el celular y recibir esa información en tiempo real”, explicó Golubei.
La propuesta se integra a un proceso de incorporación de tecnología que el MAPI viene desarrollando desde hace algunos años y que incluye experiencias vinculadas al metaverso, una aplicación móvil y herramientas de accesibilidad, como audioguías e información disponible en español, inglés y portugués.
Inteligencia artificial para reconocer más de 500 máscaras
Para desarrollar el reconocimiento de las piezas, Golubei utilizó CLIP, un modelo de inteligencia artificial capaz de transformar las imágenes en representaciones numéricas que luego pueden compararse.
“Cuando la gente se imagina la inteligencia artificial comparando imágenes, piensa que se compara píxel por píxel, como lo haríamos nosotros a ojo. En este caso, la herramienta transforma la foto en un vector numérico”, explicó.
Esos vectores se comparan para determinar qué imágenes presentan una mayor similitud y, de esa manera, identificar la máscara fotografiada por el visitante.
Sin embargo, disponer de la tecnología era solamente el punto de partida. El mayor desafío estuvo en adaptarla a una colección concreta de cientos de piezas.
El proceso implicó fotografiar las máscaras, catalogar las imágenes, descartar aquellas que no servían y generar registros desde diferentes ángulos y bajo distintas condiciones de iluminación. A partir de ese material fue posible mejorar progresivamente el desempeño del sistema.
Actualmente, cuando un visitante fotografía una máscara, la funcionalidad presenta la coincidencia que considera más probable junto con otras cuatro alternativas. Según Golubei, la pieza correcta se encuentra entre esas cinco opciones en aproximadamente el 90 % de los casos.
Todo eso se consiguió en base a entrenar la herramienta. Ese fue el mayor desafío.
Cuando el usuario no hace lo que imaginaba el desarrollador
Las pruebas en el museo incorporaron otra variable al proyecto: el comportamiento real de las personas. Las primeras evaluaciones se realizaron desde una computadora, utilizando imágenes para simular el funcionamiento. Luego llegaron las pruebas en las salas del MAPI y con diferentes dispositivos, tanto iOS como Android. Pero fue al poner la funcionalidad en manos de los visitantes cuando aparecieron situaciones que no habían sido previstas.
La interfaz mostraba un recuadro para orientar al usuario al momento de fotografiar la máscara. Parecía natural que la pieza se colocara dentro de ese espacio y que la fotografía se tomara de frente. Los visitantes hicieron otra cosa.
“Muchas veces lo que para uno es intuitivo no lo es. La gente no se preocupa por estar enfrente de la máscara y saca la foto desde distintos ángulos”, contó.
La observación llevó a incorporar nuevas fotografías a la base de referencia y a preparar la herramienta para reconocer las piezas en condiciones diferentes a las inicialmente previstas. También se trabajó en explicar mejor su funcionamiento dentro de la propia aplicación.
La experiencia dejó un aprendizaje que Golubei resume desde la perspectiva de quien desarrolla un producto: “La culpa no es de quien la usa, sino de nosotros por no prever ese uso”.
Así, las pruebas no funcionaron únicamente como una instancia de validación final, sino que se convirtieron en parte del propio proceso de desarrollo: observar cómo las personas utilizan una tecnología permitió modificarla y mejorarla.
Un uso inesperado
Las pruebas también revelaron un comportamiento que no estaba contemplado originalmente. Algunos visitantes, especialmente niños, comenzaron a utilizar la cámara para fotografiarse entre ellos en lugar de apuntar a las piezas.
El sistema hacía exactamente aquello para lo que había sido diseñado: convertía la imagen en una representación numérica y buscaba dentro de su base de datos la máscara con mayor similitud. Como la base contiene únicamente máscaras, al fotografiar una persona encontraba aquella que presentaba una mayor coincidencia.
Lo que comenzó como un uso imprevisto terminó transformándose en una posibilidad lúdica: descubrir con qué máscara de la colección existe una mayor similitud.
La IA como una herramienta y no como un fin
El proyecto también permitió llevar la inteligencia artificial a un caso de uso concreto. Golubei reconoce que inicialmente era escéptico sobre su utilización, mientras que actualmente forma parte de distintas tareas de su día a día, desde programar hasta organizarse.
En el caso del MAPI, destaca que la decisión de utilizarla estuvo vinculada directamente con el problema que debían solucionar.
Siempre digo que la inteligencia artificial no es un fin en sí mismo, es una herramienta más. Si el problema que se presenta la inteligencia artificial lo resuelve, está bueno usarla.
En este caso, la tecnología permitía plantear una experiencia diferente para el visitante y, al mismo tiempo, daba respuesta a una limitación concreta del museo.
De las aulas a un proyecto real
El primer acercamiento de Golubei a la inteligencia artificial se produjo durante su formación en Ingeniería en Sistemas.
“El primer acercamiento que tuve con la inteligencia artificial fue en Machine Learning, una materia de la facultad. Asimismo, los primeros proyectos que hice con ayuda de IA también los hice en ORT y de ahí fue escalando”, recordó.
La experiencia del MAPI le permitió trasladar conocimientos adquiridos durante su formación a un escenario concreto: partir de un problema, evaluar qué tecnología podía resolverlo, desarrollar una solución y ponerla a prueba con usuarios reales.
Golubei considera que este tipo de herramientas también puede abrir nuevas posibilidades para los espacios culturales uruguayos. Aunque existen experiencias similares en museos de otros países, entiende que su incorporación a nivel local todavía tiene camino por recorrer.
Conocé más sobre Ingeniería en Sistemas