［CEDEC 2022］プリ機の“盛れる”はどのように実現しているのか。フリューのセッション「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術」

　ゲーム開発者向けカンファレンス「CEDEC 2022」の最終日となる2022年8月25日，「誰が写っても間違いなく"盛れる"、理想の写真を実現する画像処理技術 〜目を大きくするだけではない！プリントシール機における事例〜」というセッションが行われた。
　アミューズメント施設でおなじみのプリントシール機がどのような画像処理をしているのかを，フリューの中嶋俊介氏が解説した。

フリュー プリントシール機事業部 ソフトウェア開発部 画像処理技術リーダー 中嶋俊介氏

　プリントシール機を見たことがない人はいないと思うが，念のため説明すると，アミューズメント施設などに設置されている写真シール作成機のことだ。通称「プリ機」，さらに縮めて「プリ」とも呼ばれる。
　撮影の流れとしては，まずは筐体外側でコインを入れて仕上がりコースや背景の柄などを選択。中に入り，カメラの前でポーズをとり，5〜8枚程度を撮影する。機種によっては，動画を撮影することもある。
　撮影が終わったら，外に出て落書きコーナーに向かい，ペンで落書きをしたり，メイクアップ機能で装飾したりできる。
　その後，シールがプリンターで印刷されてくる。画像データをスマートフォンで取得することも可能だ。


　プリの主なユーザーは中学生〜大学生の若年層の女性で，女子高生の97.9％が撮影経験があるというデータもあるそうだ。ゲームセンターのプリフロアなどを見ると分かるが，プリの機種は多種多様で。フリューからも複数がリリースされている。


　では，なぜ多用な機種が開発され，それが支持されているのか。キーワードとなるのは“盛れる”だ。
　まず“盛る”とは，加工する行動を表す言葉となる。また“盛れてる”が，理想的な加工ができている状態を表す言葉，そして“盛れる”が理想的に加工できる道具を表す言葉だと，中嶋氏は説明する。
　つまり，“盛れる”とは，普段の自分を理想の自分に近づけるために，何かしら加工できることだと位置づけられる。「このプリ，めっちゃ盛れるよ」という言葉を訳すと，「このプリ，とても理想顔に加工されるよ」となるわけだ。プリのユーザーは，自分の理想像に近づくことを求めているのである。


　しかし，理想像に近づくために求められる盛り方は，ユーザーによって異なっている。そのため，プリもさまざまなバリエーションが開発され，多様に進化しているのだ。例えば，「ハルイロセカイ」という機種では「透明感あふれる輝く写りで誰もが主役級に」というキャッチコピーなのに対して，「ルートミー」では「可愛すぎる写りを極めた“2.5次元盛れ”」をウリにしている。


　ハルイロセカイは，透明感のある写りを重視しており，肌はきめ細かさ，目は輝きのきれいさを追求した仕上がりになる。一方，ルートミーが重視しているのは可愛さの表現で，目は丸みを帯びた形に，肌は柔らかく見えるようにという点を訴求して，“2.5次元盛れ”としているのだ。


　そうした理想像を実現するために，さまざまな画像処理が行われている。
　画像処理の構成としては，まずは撮影だ。カメラで撮影された画像は，プリ機に搭載されているPCに保存される。画像サイズは4000×6000px以上で，中嶋氏によれば，これだけ大きなサイズを扱っているのは，業界でも珍しいという。


　画像が取得できたら顔を検出して，目や口といった特徴点や，輪郭情報を取得する。
　そして，検出された情報をもとに，顔の形状を整えたり，目や鼻，口などを部位単位で変形させたりしていく。


　続いて，処理する部位を領域として抽出する。目や唇といった大きなものから，涙袋などの細かいものまで，50種類以上の領域を作成するそうだ。
　抽出した領域をもとに，細かな補正を行う。肌をきれいにしたり，影やツヤを抑えたりするのがこの処理だ。この仕上がりが，プリの機種ごとの特徴が最も出る部分となる。
　最後に，全体的なトーンや明るさを調整したら完成だ。


　以上が一連の処理の流れとなるが，これを実現するには，プリ固有の技術的課題があったという。
　まず，プリならではの制約として，すべての処理内容を画像から自動的に判断する必要があった。一般的なレタッチソフトやカメラアプリであれば，ユーザーが自分で画像を見ながら対話的に（結果を見ながら）操作して仕上げられる。
　一方，プリではユーザーが操作することなく，撮影された画像の情報のみを使用して仕上げる，一発勝負となる。

　しかし，プリを撮るユーザーの特徴はさまざまだ。顔や形，肌の色やツヤの状態は人によって異なる。また，写り方もユーザーによって違い，カメラからの距離や顔の角度，向き，ポーズなども，千差万別である。
　そうしたさまざまな状態の画像を，商品の掲げる理想像に近づけることが，プリの画像処理にとって大きな壁となるのだ。


　今回の講演では，「誰が写っても」「どんな写り方をしても」という2つのポイントを挙げ，実現のための技法が紹介された。
　「誰が写っても」の例として挙げられたのが，肌の色の個人差だ。肌の色は人によって微妙に異なるが，複数名が一緒に写るプリでは，一律に色調補正してしまうと，理想に合わない色になってしまう可能性がある。


　こうしたケースに対応するために，個人ごとの肌の特徴を掴んで，個別の肌補正をかけなければならない。そこでフリューでは，「個別肌補正」という処理を開発している。
　この処理では，まず被写体を個人ごとに識別する。そして，それぞれの肌領域からサンプリングを行い，基準とする彩度，色相，輝度を設定していく。


　続けて，彩度，色相，輝度の各要素について，理想となる目標値を設定し，個人ごとに算出した基準値と照らして，適切な補正値を産出する。
　そして，個人ごとの肌領域に対して，彩度，色相，輝度のそれぞれについて，画素の色調を先に求めた補正値に近づけるよう，シフトして補正をかける。
　こうした処理を踏まえて，肌の色に差がある場合でも，それぞれを理想の肌色に近づけているのだ。


　「どんな写り方をしても」については，目の技術が紹介された。目は，人物写真の中でも強く印象を残す部分だ。プリでは，さまざまな状態の目に対して，理想の形に近づける処理が求められる。そこでフリューでは，目の周辺を細かいパーツとして分析し，それぞれの領域を抽出する手法を用いている。


　目の領域分析を例に挙げると，まずは白目と黒目の領域を抽出する。黒の色相領域から円範囲を抽出して，黒目の領域がどこかを分析し，さらに目の周辺から白目に近い色相範囲を抽出し，白目の領域を分析するといった仕組みだ。
　また，まつ毛も個別に領域を抽出する。こちらは，目の周辺領域からエッジを抽出し，目の内部を除外してまつ毛を取り出すという手順となっている。


　このように，処理の対象を領域として見ることで抽出して，それぞれに細かな調整を施すことで，パーツ単位で理想の状態を作ることができる。黒目には濃さに深みを与えて，ぱっちりとした印象に。白目はトーンを締め，目の光を引き立たせる。まつ毛はコントラストを強くして，長く濃く見せるといった具合だ。


　ここで課題となるのが，ユーザーの目の状態や写り方によっては，形状分析が難しいケースが存在するということだ。黒目に光が入り込み，白目との差がなくなってしまったり，カラーコンタクトで黒目が識別しづらくなったり，前髪が目にかかっていてまつ毛と区別できなくなったりと，原因はさまざまである。


　こうした状況に対して，正確な形状把握を行うため，フリューでは機械学習を利用した目の形状分析を導入している。手順としては，目の周辺領域を切り出して，領域分割を行う。これにより，目の各部を黒目，白目，周辺領域といった細部に分類した結果を得る。

画像の右端は，まつ毛に相当する部分を抽出したもの

　領域分割の実行には，TensorFlowやKerasといったライブラリを採用している。また，処理はGPUではなく，すべてCPUで行っているが，これは，GPUは画面描画を優先する必要があるという，プリ独特の事情によるものだ。
　学習データに使っているのは，5000枚以上の画像となる。この画像は，フリューが定期的に実施しているユーザーアンケート結果の蓄積によるもので，同社が長くプリを開発してきたからこそ用意できたものだという。
　機械学習による形状分析はホットな分野であり，目以外にも，唇の形や目の光だけを抽出するなど，さまざまな応用が進んでいるそうだ。


　プリの画像処理は，一般的なゲームの技術と違い，女性向けの写真加工に特化した独特の世界だ。しかし，さまざまな制約の中，理想像を届けるという点で，技術的に重なる部分が多いのではないかと，中嶋氏は考えているという。今回の講演で紹介した“盛れる”を実現するプリの世界の一端が，ゲーム開発者の助けになれば幸いだとして，セッションを締めくくった。

「CEDEC 2022」公式サイト

4Gamer「CEDEC 2022」関連記事一覧