Mob Scene Filter
About
Mob Scene Filter (MSF) aims to prevent identification of an individual identity by changing one's facial appearance.
Currently, image processing techniques, such as the mosaic and the blur, have been used to prevent identification of a person's identity.
These techniques, however, make people difficult to understand the context of the video, because the facial expressions of the characters and the background in the video are masked.
Thus, there is an inherent need for an advanced privacy protection technique that protects privacy but still maintains the context of the video
We focus on changing the facial appearance of characters in videos for protecting their privacy without compromising on the information from facial expressions.
MSF changes not only the facial textures but also the arrangement of the facial regions and their size.
The system superimposes another person's face onto target faces, and transforms the size of facial regions and the arrangement.
Humans mainly use the arrangement of the facial regions to identify others, and so we modify the facial regions for altering face identification effectively.
映像技術の発達に伴い、4K・8Kと映像の高解像度化が急速に進み、映像に写りこんだ人物まで個人特定が可能になったことで、従来より進んだ肖像権保護対策が必要とされています。 しかし、従来のモザイク処理などでは登場人物の表情が読み取れず、映像の意図する文脈を損ねてしまうという問題があり、映像の高精細化のメリットが損なわれてしまいます。 そこで、元映像の表情を反映させつつ容貌を別人に変化させることで、「映像の意図する文脈を損ねず、群衆の映った場面（Mob scene）において、被撮影者の肖像権を保護する手法を実現します。 表情解読と肖像権保護の両立を実現するために、顔の特徴を変化させ別人の容貌に変えるシステムを作成しました。
Credits
本研究は、北海道日興通信株式会社様との共同研究の成果です。
Publications & Awards
川瀬佑司、吉田成朗、鳴海拓志、上田祥代、池田まさみ、渡邊淳司、谷川智洋、川本哲也、廣瀬通孝：Mob Scene Filter：顔部位の形状・位置変形を利用した他人顔変換手法、日本バーチャルリアリティ学会論文誌、Vol.21 No.3、2016年9月 https://doi.org/10.18974/tvrsj.21.3_483 日本バーチャルリアリティ学会論文賞
川瀬佑司, 白石英明, 吉田成朗, 伊藤裕之, 斉藤直樹, 川本哲也, 鳴海拓志, 谷川智洋, 廣瀬通孝：Mob Scene Filter: プライバシー保護のための容貌変化システムの提案, エンタテインメントコンピューティング2015 (EC2015), 2015年9月
白石英明, 吉田成朗, 伊藤裕之, 斉藤直樹, 鳴海拓志, 谷川智洋, 廣瀬通孝: プライバシ保護のためのMob sceneにおける自然な顔合成手法の検討, 第19回日本バーチャルリアリティ学会大会 (VRSJ2014), 2014年9月 日本バーチャルリアリティ学会学術奨励賞