ライフログにおける印象的なシーン検索 - マルチメディアデータ工学研究室

ライフログにおける印象的なシーン検索

個人の行動や体験の履歴を映像などのマルチメディアデータの形で記録し、記憶の補助や行動分析などに用いるライフログに関する研究です。

特に、ライフログ映像中の人物に感情の変化が表れているシーンを印象的なシーンとして検出する手法について研究しています。印象的なシーンを発見するために、人物の顔から目・眉・鼻・口の周囲の表情表出に関連する顔特徴点を抽出し、顔特徴点の動きや顔特徴点周辺の画素の輝度分布などの特徴量を元に機械学習を行うことにより、表情の認識を行います。また、映像中の各フレーム画像に対して表情認識を行い、表情が表出している（感情が変化していると考えられる）シーンを検出します（図1参照）。