SATO Wataru Laboratory
動的感情センシングのための機械学習に基づく顔熱画像解析の開発
(Tang, Sato, & Kawanishi: Sensors)
顔面の熱反応と感情状態の関係についての情報は，感情センシングに有用である．
しかし従来の研究では，主に関心領域に基づく線形解析が用いられ，顔全体にわたる非線形なピクセル単位の情報が考慮されていなかった．
この限界を克服するため我々は，顔熱画像のピクセルレベル解析に機械学習を適用し，動的な感情活性度評定を推定する手法を検討した．
20名の参加者が5つの感情喚起フィルムを視聴している間の顔熱画像データおよび動的感情評定データを収集した．
ランダムフォレスト回帰・サポートベクター回帰・ResNet-18・ResNet-34を含む機械学習モデルは，興味領域に基づく従来の単回帰および重回帰モデルと比較して一貫して優れた推定成績を示した．
顔の温度変化と活性度の非線形関係を解釈するため，ResNet-34モデルに対して顕著性マップと統合勾配を適用した．
結果は．鼻尖・前額・両側頬の温度変化と活性度の間の非線形な関係を示した．
こうした結果から，機械学習に基づく解析により顔熱画像から感情活性度を効果的に推定できることが示され，メンタルヘルスや教育における非侵襲感情センシングの応用可能性が示唆される．
最近の研究にもどる
メインにもどる