HoloLensの映像で顔認識を行うAR（拡張現実）アプリの開発

システム／プロジェクト概要

HoloLens(ARデバイス)で見える映像を、顔認識エンジンで解析、人間の顔や表情をリアルタイムに判別し、顔部分のみを別の画像に差し替えてARを実現するアプリ。大手エンターテインメント企業との共同先行開発として企画段階から参画し、PoCとしてアプリ作成および技術検証を実施した。
※ Microsoft Azure FaceAPIを使用した顔の感情検出アプリの開発実績もあり

お客様の課題／要望​

映像の中から顔だけをリアルタイムで判別したい

映像から顔部分のみを別画像に差し替えるアプリケーションを制作したい。

ARデバイスを使用し、ユーザに新鮮さや驚きを与えたい

最先端の技術を使ったアプリで、ユーザが新たな体験を得られるようにしたい。

Tech Funが実施したソリューション

リアルタイムの映像解析に特化した顔認識エンジンの採用

顔認識エンジンOpenCVを利用し、リアルタイムで人の顔を映像から判別するシステムを提案

顔認識とともに感情値も取得してデータ化

OpenCVを用いた顔検出と、Face APIを用いた感情値の取得を行った。

プロジェクト情報

アーキテクチャ図

リリース後の効果／お客様の声

映像をリアルタイムで解析でき、顔認識の精度も高かったことを評価していただけた。
AR実現に向けた可能性を知ることができ、今後のアプリ開発へ期待を持っていただいた。