这款奇怪的游戏让你模仿面孔——它在某种程度上推动了人工智能的发展

链接表

• 摘要和引言
• II.相关工作
• 三、游戏化数据收集和可解释的 Fer
• 四、方法论
• V. 结果
• VI. 讨论和结论、伦理影响声明和参考文献

抽象的

训练面部情绪识别模型需要大量数据和昂贵的注释过程。为了缓解这个问题，我们开发了一种游戏化方法来获取带注释的面部情绪数据，而无需人类进行明确的标记。我们将这款游戏命名为 Facegame，要求玩家模仿显示的面部图像，该图像描绘了特定的基本情绪。玩家玩的每一轮游戏都会产生新的数据，这些数据由一组面部特征和标志组成，这些特征和标志已经用目标面部表情的情绪标签进行了注释。这种方法有效地创建了一个强大、可持续和连续的机器学习训练过程。我们通过一项实验评估了 Facegame，该实验揭示了情感计算领域的几项贡献。首先，由于玩家的面部表情和表达能力存在自然变化，游戏化数据收集方法使我们能够访问每种基本情绪的丰富面部表情变化。我们报告称，当收集的数据用于丰富众所周知的自然面部情绪数据集并连续用于训练面部情绪识别模型时，准确率有所提高。其次，Facegame 使用的自然语言处方方法构成了一种可解释性的新方法，可应用于任何面部情绪识别模型。最后，我们通过反复玩游戏观察到玩家面部情绪感知和表达技巧的显著提高。

索引词——情感计算、面部情绪识别、游戏化、可解释的人工智能、可解释的机器学习

一、引言

面部表情对于人类的非语言交流至关重要，因为它们提供了一种传达有关情绪状态 [1] 以及个人行为意图 [2] 的信息的手段。情绪是社交互动的基本组成部分 [3]，表达和感知情绪的能力是建立社会联系的宝贵资产。情感计算的终极目标是赋予计算机系统感知和表达情绪的能力，并能够与人类用户建立社会联系 [4]。直到最近，这种能力才被认为是人类独有的。然而，尤其是随着人工智能 (AI) 的最新进展，许多研究已经专注于情绪的自动识别 [5]。

训练面部情绪识别 (FER) 机器学习模型的常用方法是监督学习，这需要大量数据 [6]。具体而言，深度 FER 模型面临的挑战是缺乏足够的训练数据 [7]。收集和管理如此大的数据集是一项昂贵且耗时的工作，因为需要人工标注 [8]。这对实现情绪识别研究的显著性能提升构成了障碍。

另一个主要挑战在于情绪识别模型的可解释性和可解释性。研究大多使用准确度和混淆矩阵来评估情绪识别模型；然而，这些指标往往不足以报告模型对人类的效用。可解释的模型应该提供足够简单的解释，以便用户理解，并以对他们有意义的语言给出 [9]。情绪识别模型的可解释性在文献中很少得到解决。实现可解释性的方法仅限于基于输入解释模型输出的模型不可知论方法，以及强调人工神经网络不同层激活的模型透明方法（例如 [10]、[11]）[12]。然而，这两种方法都不一定能提供用户可解释的人性化解释。

收集和管理大量标记数据以训练 FER 模型以及从这些模型中得出可解释的解释方面的挑战需要采用非正统方法。在本研究中，我们提出了一种游戏化方法来收集带注释的面部情绪数据。我们提出的游戏名为 Facegame，它体现了一种向玩家提供自然语言处方作为反馈的方法，有效地作为一种实现可解释性的方法。总之，我们对情感计算领域的贡献如下：

• 我们提出了一种游戏化方法，以低成本、低努力的方式快速收集富含各种面部表情的注释面部情绪数据。

• 我们提出了一种可解释性的新方法，即将中间面部特征转换为自然语言处方，并将其作为任何 FER 模型提供的情绪分类的解释。

• 所提出的游戏化方法可显著提高玩家的面部情绪感知和表达技巧。

本文的其余部分结构如下。第二部分对情绪识别、可解释的人工智能和游戏化数据收集进行了文献综述。第三部分描述了核心贡献。第四部分介绍了我们实验研究的细节。第五部分披露了我们实验的结果。最后，第六部分讨论了我们贡献的理论和实践意义，并总结了本文。