［インタビュー］オンラインゲームプラットフォーム「Roblox」が自動モデレーションを実装。セキュリティ強化の仕組みと狙いをシステム開発者に聞く

　アメリカのRoblox社が運営する「Roblox」（PC / PS5 / PS4 / Xbox One / iOS / Android / Meta Quest）は，さまざまな企業やクリエイターのコンテンツが遊べるオンラインゲームプラットフォームだ。


　現在では数百万ものコンテンツが提供されているRobloxだが，2026年に入ってから，キッズユーザーに特化した新アカウントを導入するなど，セキュリティ対策に注力している。

ナレン・コネール氏

　その一環として実装された“リアルタイム・マルチモーダル・モデレーション（自動モデレーション）”について，トラスト＆セーフティ・エンジニアリング部門の責任者であるナレン・コネール氏に，同システムの仕組みや実装した狙いについてメールでインタビューを実施したので，本稿ではその内容をお届けしよう。


4Gamer：
　Roblox社でのキャリアと，リアルタイム・マルチモーダル・モデレーションに，どのように関わっているのかを教えてください。

ナレン・コネール氏（以下，コネール氏）：
　私は，RobloxのTrust and Safety（信頼と安全）担当エンジニアリング・バイスプレジデント（VP）を務めています。
　今回の新システム実装においては，エンジニアリング側の責任者として，技術的な詳細や将来の展望について説明する役割を担っています。

4Gamer：
　リアルタイム・マルチモーダル・モデレーション（※以下，本機能）を「Roblox」に導入しようと思ったきっかけを教えてください。


コネール氏：
　「Roblox」で使用していた従来のモデレーションツールは，個別のアイテム（単一の3Dオブジェクト，モーションやテキストの断片）を別々に審査する形式でした。
　そのため，アイテムが組み合わさったときに発生する文脈的な違反……たとえば無害なアイテムを組み合わせて不適切な人物を模すといった違反行為を見逃してしまう課題がありました。本機能は，その課題を克服するために作られました。

　本機能の仕組みを言える範囲で簡単に説明すると，3Dオブジェクト，アバター，テキストを含むシーン全体を同時に評価し，その瞬間の「組み合わせ」がコミュニティ基準に違反していないかをリアルタイムで判断するAIモデルとなっています。

4Gamer：
　本機能は，従来のテキストや画像中心のモデレーションと比べて，どのような点で本質的に異なる技術なのでしょうか。

コネール氏：
　本質的な違いは，断片的な情報ではなくユーザーがその瞬間に目にする「すべてのモダリティを横断した全シーン」を包括的に評価する点にあります。
　個別の要素をバラバラに審査するのではなく，環境，アバターの相互作用，付随するチャットなどの「関係性」と「文脈」をリアルタイムで理解できる点が画期的な技術といえるでしょう。


4Gamer：
　可能であれば「問題のあるテキスト，3Dの描画，アバターの動きなどが組み合わさった状況」の具体例を教えてください。

コネール氏：
　自由描画が可能なゲームにおいて，アバター，描画内容，3D設定を組み合わせて，単体では問題なくても全体として不適切なシーン（性的，差別的，暴力的など）を作成するケースが挙げられます。
　また，アバターの衣装アイテム（スーツ，腕章，口ひげなど）を組み合わせて禁止されている人物を連想させる衣装を作る行為も含まれます。

4Gamer：
　近年の「Roblox」では，毎日5,000件前後の違反行為を察知し，本機能の導入によりコミュニティ規約に違反する数千ものサーバーを毎日閉鎖していたとのことですが，本機能が導入される前はどのように対処していたのでしょうか。


コネール氏：
　以前は，個別のコンテンツがプラットフォームに公開される前の事前審査（AIと人間による）に加え，主にユーザーからの報告を通じて問題のある状況を特定し，事後的に対処していました。

4Gamer：
　本機能の実装で，劇的に変わった点を教えてください。

コネール氏：
　これまでは難しかった「オブジェクト同士の関わり合いや関係性」をAIが理解できるようになったこと，これが今回の最大のブレイクスルーです。
　この技術のおかげで，ルール違反の行動が起きたとしても，ほかのユーザーに広がってしまう前，あるいはユーザーからの通報を待つまでもなく，リアルタイムに検知して先手を打てるようになりました。

　ただ，依然として人間の目で確認する方が確実な分野もあります。いくつか具体例を挙げると，使われ始めたばかりの不適切なスラング，ミーム，またはシステムをバイパスしようとする試みといった，「新しい（違反の）トレンド」を特定することは，ユーザーからの報告が最も効果的です。

　運営側としては，専門家チームが継続的にシステムを評価し，精度を向上させるためのトレーニングを行っています。

4Gamer：
　本機能により「問題のあるテキスト，3Dの描画，アバターの動きなどが組み合わさった状況をリアルタイムで評価し，ユーザーが遭遇する前に該当するサーバーを即座に閉鎖」できるようになったとありますが，これは「Roblox」内に存在するゲームを遊んでいる際にも適用されるのでしょうか。
　同じゲームをプレイしているユーザーが違反した場合，いきなり画面から消えたりするのでしょうか。

コネール氏：
　はい，これはゲームをプレイしている間，継続的なセーフティネット（安全網）として機能します。私たちの目的は，違反行為を行っているユーザーを特定し，可能な限りその該当ユーザーだけを処分の対象にすることにあります。
　例えば，複数のアイテムを組み合わせて不適切なアバターを着用しているユーザーがいる場合，その責任をそのユーザーに帰属させ，サーバーから退出（キックアウト）させることができます。
　しかし，違反行為が非常に執拗である場合や，特定のユーザーに違反を帰属させることが困難なケース（誰が犯人か特定できない場合）には，その特定のゲームサーバー（インスタンス）自体が，リアルタイムで自動的にシャットダウン（閉鎖）されます。


4Gamer：
　AIによるリアルタイム検知は非常に強力ですが，誤検知や過度なモデレーションへの懸念もあります。安全性とユーザーの自由のバランスはどのように設計していますか。

コネール氏：
　Robloxのセキュリティシステムは，規約違反を検知した際，エクスペリエンス（ゲーム）全体を停止させるのではなく，違反を行っているユーザーのみを処分の対象とするか，あるいは違反が発生している「特定のサーバー（インスタンス）」のみをシャットダウン（閉鎖）するように設計されています。
　これにより，ルールを守って楽しんでいる大多数の善良なプレイヤーのセッションを妨げることなく，違反行為への対策を講じることが可能です。
　さらに，私たちは誤検知（誤って違反と判定してしまうケース）を測定し，そこから学習するための継続的な評価ループを構築しており，精度の向上と誤検知の最小化に常に努めています。

4Gamer：
　「Roblox」のような没入型のオンライン空間では，従来のSNSとは異なる安全リスクが生まれると思います。その課題には，どのように対応していますか。

コネール氏：
　没入型空間では，アイテム同士の「組み合わせ」や「相互作用」によって瞬時に新しい文脈が生まれるため，断片的なフィルタでは捉えきれない複雑な違反が発生しやすい点が特徴的だと思っています。
　その問題に対応するため，本機能は，シーンを「ホリスティック（包括的）」に評価することで，環境，アバターの行動，チャットの間の関係性を理解し，コミュニティの正当な表現と規約違反，たとえば実世界のデリケートな事象の再現などを区別して対応できるように設計しています。


4Gamer：
　本機能が，開発者やコミュニティ運営にどのような影響を与えると考えていますか。

コネール氏：
　開発者は，ダッシュボード上で自身のゲームサーバーが規約違反により何件閉鎖されたかをリアルタイムで確認できるようになります。
　これにより，特定のツールや機能が悪用されている傾向を把握し，ゲームの設計変更や独自のモデレーション強化などの対策を自ら講じることが可能になります。
　また，違反があった特定のサーバーのみが対象となるため，健全な運営を維持しているほかのプレイヤーへの影響を最小限に抑えられると思います。