SATO Wataru Laboratory
機械学習に基づく耳熱画像による感情センシング
(Tang & Sato: Sensors)
非接触で証明環境に依存せず，自律神経系の活動を反映する皮膚温変化を検出するサーモグラフィは，感情センシングに有用と期待されている．
最近のサーモグラフィ研究から，耳の温度と感情的活性度評価の間に線形関係が示された．
しかし，耳の温度変化が主観的感情と非線形に関連する可能性やそのメカニズムは未検証である．
この課題を検討するため，参加者が感情喚起フィルムを視聴中の耳熱画像と活性度評定を含むデータセットを再分析した．
線形回帰分析と2種類の非線形機械学習モデル（ランダムフォレストモデルとResNet-50畳み込みニューラルネットワーク）を適用した．
実際の活性度評定とモデル予測値の平均二乗誤差および相関係数を用いたモデル評価により，どちらの機械学習モデルも線形回帰を上回り，ResNet-50モデルがランダムフォレストモデルを上回ることが示された．
勾配重み付けクラス活性化マッピング法とシャープレイ値を用いたResNet-50モデルの解釈により，特定の耳領域における温度変化と主観的活性度評定の間に非線形な関連性が明らかになった．
これらの知見から，耳の熱画像と機械学習（特に深層学習）の組み合わせが感情センシングに有望であることが示唆される．
最近の研究にもどる
メインにもどる