Este extraño juego te hace imitar caras y, de alguna manera, está haciendo avanzar la IA

Tabla de enlaces

• Resumen y I. Introducción
• II. Trabajos relacionados
• III. Recolección de datos gamificados y Fer interpretables
• IV. Metodología
• V. Resultados
• VI. Discusión y conclusión, declaración de impacto ético y referencias

Abstracto

El entrenamiento de modelos de reconocimiento de emociones faciales requiere grandes conjuntos de datos y costosos procesos de anotación. Para aliviar este problema, desarrollamos un método gamificado para adquirir datos anotados de emociones faciales sin un esfuerzo explícito de etiquetado por parte de los humanos. El juego, al que llamamos Facegame, desafía a los jugadores a imitar una imagen mostrada de un rostro que retrata una emoción básica particular. Cada ronda jugada por el jugador crea nuevos datos que consisten en un conjunto de rasgos faciales y puntos de referencia, ya anotados con la etiqueta de emoción de la expresión facial objetivo. Este enfoque crea de manera efectiva un proceso de entrenamiento de aprendizaje automático sólido, sostenible y continuo. Evaluamos Facegame con un experimento que reveló varias contribuciones al campo de la computación afectiva. Primero, el enfoque de recopilación de datos gamificados nos permitió acceder a una rica variación de expresiones faciales de cada emoción básica debido a las variaciones naturales en las expresiones faciales de los jugadores y sus habilidades expresivas. Informamos una precisión mejorada cuando los datos recopilados se utilizaron para enriquecer conjuntos de datos de emociones faciales bien conocidos en la naturaleza y se usaron consecutivamente para entrenar modelos de reconocimiento de emociones faciales. En segundo lugar, el método de prescripción de lenguaje natural utilizado por Facegame constituye un enfoque novedoso para la interpretación explicativa que se puede aplicar a cualquier modelo de reconocimiento de emociones faciales. Por último, observamos mejoras significativas en la percepción de emociones faciales y las habilidades de expresión de los jugadores a través del juego repetido.

Términos del índice : computación afectiva, reconocimiento de emociones faciales, gamificación, inteligencia artificial explicable, aprendizaje automático interpretable

I. INTRODUCCIÓN

Las expresiones faciales son fundamentales para la comunicación humana no verbal, ya que proporcionan un medio para transmitir información sobre el estado emocional [1], así como las intenciones conductuales [2] del individuo. Las emociones son componentes fundamentales de la interacción social [3], y la capacidad de expresar y percibir emociones es un activo invaluable para construir conexiones sociales. El santo grial de la computación afectiva es dotar a los sistemas informáticos de la capacidad de percibir y expresar emociones, y poder formar vínculos sociales con usuarios humanos [4]. Hasta hace muy poco, esta capacidad se consideraba exclusiva de los humanos. Sin embargo, especialmente con los recientes avances en Inteligencia Artificial (IA), se han realizado muchos estudios que se centran en el reconocimiento automático de emociones [5].

El enfoque común para entrenar modelos de aprendizaje automático para el reconocimiento de emociones faciales (FER) es el aprendizaje supervisado, que requiere grandes conjuntos de datos [6]. En concreto, los modelos FER profundos se enfrentan a la falta de datos suficientes para el entrenamiento [7]. Recopilar y conservar conjuntos de datos tan grandes es una tarea costosa y que requiere mucho tiempo, ya que es necesario el etiquetado por parte de anotadores humanos [8]. Esto supone un obstáculo para lograr mejoras significativas en el rendimiento de la investigación sobre reconocimiento de emociones.

Otro desafío importante radica en la explicabilidad e interpretabilidad de los modelos de reconocimiento de emociones. Los estudios evalúan principalmente los modelos de reconocimiento de emociones utilizando matrices de precisión y confusión; sin embargo, estas métricas a menudo no son suficientes para informar la utilidad de los modelos para los humanos. Los modelos interpretables deben proporcionar explicaciones que sean lo suficientemente simples para que sus usuarios las entiendan y se brinden en un lenguaje que sea significativo para ellos [9]. La explicabilidad de los modelos de reconocimiento de emociones se ha abordado muy pocas veces en la literatura. Los enfoques para lograr la explicabilidad se limitan a métodos agnósticos del modelo que explican el resultado del modelo en función de las entradas y métodos transparentes al modelo (por ejemplo, [10], [11]) que resaltan la activación en diferentes capas de redes neuronales artificiales [12]. Sin embargo, ninguno de los enfoques proporciona necesariamente explicaciones amigables para los humanos que sean interpretables por sus usuarios.

Los desafíos que implica la recopilación y la curaduría de cantidades excesivas de datos etiquetados para entrenar modelos FER y generar explicaciones interpretables a partir de dichos modelos requieren métodos heterodoxos. En este estudio, proponemos un enfoque de gamificación para la recopilación de datos anotados sobre emociones faciales. El juego propuesto, que se llama Facegame, incorpora un método para proporcionar prescripciones en lenguaje natural como retroalimentación a los jugadores, que sirve efectivamente como un medio para lograr una explicabilidad interpretable. En resumen, nuestras contribuciones al campo de la computación afectiva son las siguientes:

• Presentamos un enfoque de gamificación para recopilar rápidamente datos anotados sobre emociones faciales que son ricos en variedad de expresiones faciales, de manera económica y con poco esfuerzo.

• Proponemos un nuevo enfoque para la explicabilidad interpretable traduciendo las características faciales intermediarias en prescripciones en lenguaje natural y proporcionándolas como una explicación para las clasificaciones de emociones proporcionadas por cualquier modelo FER.

• El enfoque de gamificación presentado conduce a mejoras significativas en la percepción de las emociones faciales y en las habilidades de expresión de los jugadores.

El resto de este artículo está estructurado de la siguiente manera. La Sección II ofrece una revisión de la literatura sobre reconocimiento de emociones, IA explicable y recopilación de datos gamificados. La Sección III describe las principales contribuciones. La Sección IV presenta los detalles de nuestro estudio experimental. La Sección V revela los resultados de nuestros experimentos. Finalmente, la Sección VI ofrece un análisis de las implicaciones teóricas y prácticas de nuestras contribuciones y concluye el artículo.