つぶやく
同氏が企画・開発を手がけたユーザーリサーチ分析プラットフォーム「Insight Finder」を題材に，AI大転換の時代にユーザーリサーチをどう再定義したかが語られた。
 |
イ氏はまず，今日の話を一文でまとめるとこうなる，と切り出した。リサーチ分析へのAI適用は単なる自動化ではなく，「標準化」「資産化」「アクセス権（誰でも問い直せること）」という3つの方向から捉え直したものだ，と。セッションは「ユーザーリサーチの現実」「AIに任せること・任せないこと」「AIとの分析フロー」「実際の運用と変化」の4部構成で進められた。
ここでいうユーザーリサーチとは，ゲームを作るときにプレイヤーへ直接尋ねることだ。コンテンツを楽しめたか，どこで不満を感じ，なぜ離脱したのかを，推測ではなく本人の声から聞くことだ。ネクソンのゲームUX部門は，パブリッシュするゲームについて開発初期からライブサービスまで継続的にリサーチを行っている。
なぜリサーチが重要か。ゲームは本質的に非線形な体験であり，同じコンテンツでも，毎日短時間だけ遊ぶライトユーザーと，最後までやり込むハードコアユーザーとでは経験がまったく異なる。
そして，その違いは行動ログだけでは十分に分からない。たとえば多くのユーザーが急に離脱する地点があったとして，ログは「離脱した」ことは示しても，「操作が不快だったのか，酔ったのか」という理由までは教えてくれない。その理由を突き止められるのがユーザーリサーチだが，声を正しく解釈するのは思いのほか難しいという。
イ氏は，リサーチ結果の分析で繰り返しぶつかってきた3つの困りごとを挙げた。
1つめは時間だ。
ユーザーの声は積み上がる一方なのに，分析する時間が足りない。従来のワークフローでは，アンケートの回答が来るたびにノイズを除去してコーディングし，クロス集計し，行動ログと統合し，統計的に検証し，最後にレポートを書く，という工程を順にこなす必要があった。
深く多角的に理解しようとするほど工程は増える。市場もゲームチームも待ってはくれず，常に「3週間で終わらせる」というプレッシャーがあったという。
 |
2つめは判断（評価）。
きちんと検証しなければ，数字の意味は確信できない。たとえばあるコンテンツの満足度が，ハードコアユーザーは3.8点，ライトユーザーは3.2点だったとする。0.6点の差があっても，直感だけでは本当に差があるのか，標本誤差なのかは分からない。
確かめるには統計的検定が要るが，それは現場の企画者が好きなときに回せるものではなく，結局は手法を知る研究者に戻すしかなかった。確認したい項目はグループ別・コンテンツ別・期間別と増えていき，そのたびに時間の問題へ跳ね返る。
3つめは知識の喪失。
せっかく分析を終えても，その知見は組織に残らず消えていく。結果はPPTやPDFのレポートにまとめられ，Notionやメッセンジャーのどこかに置かれたままになる。すると「半年前に別部署が似たリサーチを済ませていたのに，誰も知らずに同じ問いを繰り返す」といったことが頻繁に起こる。最近はGraphRAGのように過去レポートをLLMに渡す試みもあるが，ゲーム領域には固有の文脈があり，それがレポートに欠けていればLLMもハルシネーションから自由になれない。結果として組織の研究経験は資産として残らず，個人の記憶や経験のなかに閉じ込められてしまう。
しかもこの3つは別々の問題ではなく連動している。良い判断をしようとするほど時間がなくなり，苦労して書いたレポートも知識ごと失われ，次の判断もまた難しい。だから一つずつではなく，まとめて解く必要があった。
それなら，ClaudeやChatGPTのような汎用AIにデータを渡して分析させればいいのでは？
当然，それも最初に検討したという。だが2つの落とし穴があった。
まずリサーチ手法や統計を理解していない人が汎用AIを使うと，常に“それらしい”答えが返ってくる。問題は，その答えが間違っているとどれだけ見抜けるか，だ。状況に合わない検定を使っても，複数項目比較で必要な補正を飛ばしても，外れ値をそのままにしても，結果は一見もっともらしく見えてしまう。正誤を判断する基準や検証する知識を持つこと自体が，一般の利用者には大きなハードルなのだ。
続いて統計の専門家なら大丈夫かというと，精度は上がっても完全ではなく，別の問題が残る。専門家ごとにデータの整形・集計の仕方が違い，AIへのプロンプトや設定もバラバラ。今の汎用AIでは，同じデータを渡しても人によって，同じ人でも実行のたびに結果が微妙に変わる。
結局，作業は個人レベルにとどまり，人をまたいで比較したり組織として積み上げたりするのが難しい。汎用ツールを使うだけでは3つの問題は解けなかった。
そこでイ氏のチームは，統一された方法論をシステムに組み込み，結果を資産として蓄積し，誰もがいつでも問い直せるようにより根本的なアプローチが必要だと判断した。
根本を掘り下げると，痛点は分析作業の構造そのものにあった。統計や分析はきちんと学んだ人にしか扱えず，方法論自体が参入障壁になる。だから役割が分かれ，「気になる人が依頼し，研究者が分析し，レポートが出たら終わり」となる。問いを持つ人と実際に問う人が別になり，人を介すうちに「本当は何を知りたかったのか」のニュアンスがぼやけていく。
目指したのは単なる作業の自動化ではなく，分析の障壁そのものを取り除くこと。問いを持つ人が自分で直接問えるようにし，難しい方法論はシステムが引き受け，人は判断だけに集中できるようにする，というものだ。
ただし方法論をシステムに委ねようとすると，「AIをどこまで使うか」という重要な問いにぶつかる。
イ氏はここで“ボトルネック”の概念を持ち出した。イーロン・マスク氏の「将来，人間はますますループから外されていく」という言葉を引きつつ，これは単なる人間の置き換えではなく，「人間をループのどこに残すべきか」を考える視点だと述べた。
コンピュータは瞬時に膨大な情報をやり取りするが，人間が情報を入出力する速度は比べものにならないほど遅い。どれほど速い自動パイプラインを作っても，各所に人が関与すれば，最も遅い人が全体のペースを決めるボトルネックになる。
従来の分析では，回答尺度の分類を決める箇所，リバースコーディングや変数処理，分析結果を人に分かる言葉へ翻訳する箇所など，人の判断が要る地点でそのつど流れが止まっていた。
 |
そこで出した答えが，判断のたびに人が介入するのではなく，途切れのない文脈と手順をまるごとAIに渡すこと。判断が必要な各地点に対し，システムが「その判断に必要なデータ」「処理のガイドライン」「関連する文脈」の3つを事前に与える。
こうしておけばAIが場当たり的に推論する必要はなく，人が止めなくても，必要な箇所でAIが入って最初から最後まで流れが途切れない設計にできる。
役割はこう再定義された。AIに任せるのは主に言語と軽い判断であり，リバースコーディングや異常回答の確認，各設問の意図と選択肢の点検・調整，デスクリサーチによる文脈補強，そして複雑な分析結果を自然な言葉に解釈・要約して届けること。人の言葉を理解し自然言語で応えるのはAIの得意分野だ。
 |
逆に，AIに任せないのは決定論的なタスクだ。
常に100％の正確さが保証されるべき完全に閉じた処理，統計的検定や有意性評価のように学術的に確立した手法があるもの，データクレンジングのように厳密に正しくなければならない計算は，検証済みの統計パイプラインが決定論的に処理する。同じデータを入れれば必ず同じ結果が出る。
なぜこう線引きするのか。LLMには3つの明確な限界があるからだ。もっともらしい嘘を作る「ハルシネーション」，精密な数値計算の苦手さ，そして因果関係を確実には判定できないこと。それぞれ得意なことを担わせる，ということだ。
では人間はどこに位置づけられるのか最も深く悩んだ点だ。
前提は2つ。1つは，AIを信頼できない領域が明確に存在すること。最新の推論モデルでもファクトチェックの誤り率は10〜33％に達し，専門領域ではさらに上がる。今年発表された複数の論文も，ハルシネーションは世代を超えても減らず，構造的に完全な除去は不可能だと示している。
 |
もう1つは，AIが決して持てない人間の側面があること。数百回のリサーチやプレイテストを通じて身体に積み上がった直感は，容易に言語化できない暗黙知だ。AIはこの直感そのものを持てないが，それを持つ人の生産性を桁違いに引き上げることはできる。
つまり鍵はモデル性能ではなく，人とAIの間で意思決定をどう分けるか。人を入れすぎれば再びボトルネックになり，すべて外せば信頼を失う。チームが見いだした要所は「レポートが確定する直前」だった。
AIが最終レポートをまとめる前に，研究者がセクションごとに結果を確認し，どこを深掘りし，どの部分をレポートに含めるかを自ら決める。human-in-the-loopとは人を増やすことではなく，研究者の判断が洞察に変わる地点に，人を正確に置くことなのだという。
この考えから，4つの設計原則が立てられた。いずれもデータ分析の格言「Garbage In, Garbage Out（ゴミを入れればゴミが出る）」をシステム全体に適用したものだ。
第一に，すでに十分検証された領域にはAIを使わない。コードで厳密に計算できる統計や学術的に確立した分析は，決定論的パイプラインが担う。
そして，解釈はAIが行うが，最終決定は人間が下す。AIは選択肢と根拠を提示し，判断は人がする。
それに加え，AIの解釈には必ず根拠となる構造化データへの出典を添える。AIに自由に推論させて語らせるのではなく，推論の出所を常に明示し，人がいつでも検証できるようにする。
最後に，入ってくるデータを欠落なく保存する。文脈・整形済みデータ・統計結果・AIの解釈まで，各ステップを検索・相互参照できる形で残す。
 |
ここからイ氏は，実際のシステムフローと3つの鍵を説明した。標準化・資産化・アクセス権が噛み合うことで，かつて専門家が数日かけていた分析が一度の実行で完了し，誰でも分析を回せて，人は判断だけに集中できるようになる。
最終的なユーザーフローでは，人が直接関わるのは最初と最後だけ。最初にアンケートを登録して「何を知りたいか」を決め，最後に結果を見て「何をレポートに入れるか」を決める。残りの工程はシステムとAIが自動で担い，人は結果に基づいて判断し続けるだけでよい。
1つめの鍵が標準化だ。
誰が回しても同じデータなら同じ結果になる「一貫性」，同じ基準で処理するから異なる結果を比較・連結できる「比較可能性」，そして「情報密度」。何千もの生回答を一度にAIへ投げるのではなく，検定結果・p値・効果量といった“事実として確立した値”に圧縮した核だけを渡す。
こうすれば狭いコンテキストウィンドウのなかでもAIは迷わず，最も情報密度の高い事実だけに基づいて判断できる。
専門家が設計した決定論的パイプラインがこれを自動処理し，アンケートが来ると設問とタイプを分類して適切な統計検定を自動適用する。データクレンジングだけで数日かかっていたものが，一度の実行で済むようになった。そして最も重要な点として，これらの検定結果はすべて構造化データとして保存され，AIの解釈は常にこの保存済みの数字を理解して説明する形で働く。AIが新しい数字を作ることはなく，システムが確定的な数字を扱い，AIが言葉を扱う。
2つめの鍵が資産化。
分析過程で生まれる中間結果を一つも捨てず，各段階の出力が互いにリンクする構造で層状に積み上げる。これは単なるデータ保存ではない。組織の誰もが必要なときに自然に呼び出し，別の分析と連結できる形にすること。つまり，個人の頭やフォルダに閉じていた知識を組織へ取り出すことを意味する。すべてを資産化したからこそ，次の「誰でも問える」が初めて可能になる。
3つめの鍵がアクセス権。
イ氏が今回最も強調したい部分だという。かつては蓄積データを読み解く“通訳”としての分析者が必ず必要で，疑問があっても自分でデータに触れられず，依頼して待つしかなかった。だが，すべてが適切に保存・接続されていれば，誰でも自然言語で直接問い合わせられる。
レポートを読むだけでなく，さらに問いを深めたければ，MCP連携によって，論文でいう「Results（結果）」を自分なりの結論へと展開できる。
同じデータに対し，企画者は企画者の視点で，ディレクターはディレクターの視点で，PMはPMの視点で問える。
標準化・資産化・アクセス権の3つが揃うと，これまで少数の専門家に限られていた仮説検証の能力が，組織全体の能力になる。
実際の運用も流れはシンプルだ。ユーザーデータは「Nexon First」というプラットフォームを通じて収集され，人が関わるのは入口（アンケート登録と問いの設定）と出口（結果の確認とレポート化の判断）のみ。残りはシステムとAIが自動で処理する。
イ氏は最後に，「皆さんがそれぞれの立場でAIパイプラインやAI転換を考えるとき，どう描くかの小さなヒントになれば」と述べセッションを締めくくった。
 |
