顔認識を利用したHoloLens(AR)アプリ開発

アプリケーション開発

システム/プロジェクト概要

HoloLens(ARデバイス)で見える映像を、顔認識エンジンで解析、人間の顔や表情をリアルタイムに判別し、顔部分のみを別の画像に差し替えてARを実現するアプリ。大手エンターテインメント企業との共同先行開発として企画段階から参画し、PoCとしてアプリ作成および技術検証を実施した。 ※ Microsoft Azure FaceAPIを使用した顔の感情検出アプリの開発実績もあり

お客様の課題/要望​

映像の中から顔だけをリアルタイムで判別したい

映像から顔部分のみを別画像に差し替えるアプリケーションを制作したい。

ARデバイスを使用し、ユーザに新鮮さや驚きを与えたい

最先端の技術を使ったアプリで、ユーザが新たな体験を得られるようにしたい。

Tech Funが実施したソリューション

リアルタイムの映像解析に特化した顔認識エンジンの採用

顔認識エンジンOpenCVを利用し、リアルタイムで人の顔を映像から判別するシステムを提案

顔認識とともに感情値も取得してデータ化

OpenCVを用いた顔検出と、Face APIを用いた感情値の取得を行った。

プロジェクト情報
対応工程 アプリ企画、PoC
チーム規模 最大3名
工数 20人月
主要技術要素 AR, HoloLens, Unity, OpenCV, Face API, Azure

アーキテクチャ図

アーキテクチャ図

リリース後の効果/お客様の声

映像をリアルタイムで解析でき、顔認識の精度も高かったことを評価していただけた。
AR実現に向けた可能性を知ることができ、今後のアプリ開発へ期待を持っていただいた。