この奇妙なゲームでは顔を真似ることになるが、どうやら AI は進化しているようだ

リンク一覧

• 要約とI. はじめに
• II. 関連研究
• III. ゲーム化されたデータ収集と解釈可能なFer
• IV. 方法論
• V. 結果
• VI. 議論と結論、倫理的影響に関する声明および参考文献

抽象的な

顔の感情認識モデルのトレーニングには、大量のデータとコストのかかる注釈付けプロセスが必要です。この問題を軽減するために、人間による明示的なラベル付け作業なしで注釈付きの顔の感情データを取得するゲーミフィケーションされた方法を開発しました。Facegame と名付けたこのゲームでは、特定の基本感情を表す顔の画像を真似するようにプレイヤーに挑戦します。プレイヤーがプレイするラウンドごとに、対象の顔の表情の感情ラベルがすでに注釈付けされた顔の特徴とランドマークのセットで構成される新しいデータが作成されます。このようなアプローチにより、堅牢で持続可能で継続的な機械学習トレーニング プロセスが効果的に作成されます。私たちは Facegame を、感情コンピューティングの分野へのいくつかの貢献を明らかにした実験で評価しました。まず、ゲーミフィケーションされたデータ収集アプローチにより、プレイヤーの顔の表情と表現能力の自然な変化により、各基本感情の豊富な表情のバリエーションにアクセスできました。収集したデータを使用して、よく知られている実際の顔の感情データセットを充実させ、その後、顔の感情認識モデルのトレーニングに使用すると、精度が向上したことを報告します。第二に、Facegame で使用されている自然言語による処方方法は、解釈可能な説明可能性を実現する新しいアプローチであり、あらゆる顔の感情認識モデルに適用できます。最後に、ゲームを繰り返しプレイすることで、プレイヤーの顔の感情認識と表現スキルが大幅に向上することがわかりました。

索引用語— 感情コンピューティング、顔の感情認識、ゲーミフィケーション、説明可能な AI、解釈可能な機械学習

1. はじめに

顔の表情は、個人の感情状態 [1] や行動意図 [2] に関する情報を伝える手段となるため、非言語的な人間のコミュニケーションには欠かせません。感情は社会的相互作用の基本的な要素であり [3]、感情を表現し認識する能力は社会的つながりを構築するための貴重な資産です。感情コンピューティングの究極の目標は、感情を認識および表現し、人間のユーザーと社会的つながりを形成できる能力をコンピューターシステムに与えることです [4]。ごく最近まで、この能力は人間に特有のものと考えられていました。しかし、特に最近の人工知能 (AI) の進歩により、感情の自動認識に焦点を当てた研究が数多く行われています [5]。

顔の感情認識（FER）のための機械学習モデルを訓練する一般的なアプローチは教師あり学習であり、大量のデータを必要とする[6]。特に、深層FERモデルは訓練に十分なデータがないことが課題となっている[7]。このような大規模なデータセットの収集とキュレーションには、人間の注釈者によるラベル付けが必要であるため、コストと時間のかかる作業である[8]。これは、感情認識研究における大幅なパフォーマンス向上の達成を妨げている。

もう一つの大きな課題は、感情認識モデルの説明可能性と解釈可能性にあります。研究では主に精度行列と混同行列を使用して感情認識モデルを評価していますが、これらの指標は人間にとってのモデルの有用性を報告するには不十分な場合がよくあります。解釈可能なモデルは、ユーザーが理解できるほど単純で、ユーザーにとって意味のある言語で説明を提供する必要があります [9]。感情認識モデルの説明可能性は、文献ではほとんど取り上げられていません。説明可能性を実現するためのアプローチは、入力に基づいてモデルの出力を説明するモデルに依存しない方法と、人工ニューラルネットワークのさまざまなレイヤーでの活性化を強調するモデル透過的な方法（例：[10]、[11]）に限定されています [12]。ただし、どちらのアプローチも、必ずしもユーザーが解釈できる人間に優しい説明を提供しません。

FER モデルのトレーニング用にラベル付けされた大量のデータを収集して整理し、そのようなモデルから解釈可能な説明を得るという課題には、異端の手法が必要です。本研究では、注釈付きの顔の感情データを収集するためのゲーミフィケーション アプローチを提案します。提案されたゲームは Facegame と名付けられ、プレイヤーへのフィードバックとして自然言語の処方箋を提供する手法を具体化しており、解釈可能な説明可能性を実現する手段として効果的に機能します。要約すると、感情コンピューティング分野への私たちの貢献は次のとおりです。

• 低コスト、低労力で、多様な表情が豊富な注釈付きの顔感情データを迅速に収集するためのゲーミフィケーションアプローチを紹介します。

• 中間的な顔の特徴を自然言語の規定に変換し、それを任意の FER モデルによって提供される感情分類の説明として提供することで、解釈可能な説明可能性を実現する新しいアプローチを提案します。

• 提示されたゲーミフィケーションのアプローチにより、プレイヤーの顔の感情認識と表現スキルが大幅に向上します。

この論文の残りの部分は、次のように構成されています。セクション II では、感情認識、説明可能な AI、ゲーム化されたデータ収集に関する文献レビューを提供します。セクション III では、中核となる貢献について説明します。セクション IV では、実験研究の詳細を示します。セクション V では、実験の結果を公開します。最後に、セクション VI では、貢献の理論的および実用的な意味について説明し、論文を締めくくります。