人工知能は人狼の夢を見るか？～人狼知能プロジェクト～

鳥海不二夫，梶原健吾，稲葉通将大澤博隆，片上大輔篠田孝祐，西野順二

デジタルゲーム学会 @ 函館2014/03/09

恐ろしい夜がやってきました• この村には，人間の姿に化けられる人喰

い人狼が潜んでいる• 人狼は人間と同じ姿をしており，昼間には

区別がつかず，夜になると村人たちを一人ずつ襲っていく

• 村人たちは疑心暗鬼になりながら，話し合いによって人狼と思われる人物を１人ずつ処刑していくことにした・・・

「汝は人狼なりや」カバーストーリー

コンピュータ vs 人間の歴史• 1997 年チェス– ディープブルーがチェスチャンピオンに勝利

• 2013 年将棋– コンピュータがプロ棋士に勝利

• 2050 年サッカー– ロボットによるチームが ワールドカップ優勝チームに勝利 ( 予定 )

完全ゲーム vs 不完全ゲーム• 完全情報ゲーム– お互いの情報が完全に与えられているゲーム– 将棋，囲碁，チェスなど– すでにコンピュータが人間を上回るものが多い

• 不完全情報ゲーム– ゲーム情報が完全には与えられていないゲーム– 推論の対象が多岐にわたる– 定型的な研究の場は少ない

人狼知能プロジェクト• 「人間と自然なコミュニケーションを取りな

がら人狼をプレイできるエージェントの構築」– より高度な知能の創出– より高度なコミュニケーションの実現

新しいエージェントの標準問題として

人狼とは (1/3)

• 村人に隠れた人狼を見つけ出す• 人間 13 人 vs 人狼 3 匹• 勝利条件– 村人陣営：人狼を全員処刑する– 人狼陣営：村人陣営の数を人狼以下にする

• 与えられる情報– 村人には自分の役のみ ( 誰が人狼であるかは

不明 )– 人狼陣営には誰が人狼の情報

6

人狼とは (2/3)

• 誰が人狼かを一定時間の対話で推測• 各ターンごとに以下の行動が可能– 全体：人狼と疑わしいプレイヤー 1 人を追放– 人狼：毎晩一人村人を襲撃 ( ゲームから脱落 )

• 村人：会話をヒントに人狼を追放• 人狼：追放されないように村人

のフリをする

人狼とは (3/3)

• プレイヤー役職 ( 能力 )– 村人：能力無し– 占い師：毎ターン一人のプレイヤーが人狼かどう

か知ることが出来る– 霊媒師：前回追放したプレイヤーが人狼かどうか

知ることが出来る– 狩人：毎ターン一人を人狼の襲撃から守る– 人狼：毎ターン誰かを襲撃できる– 狂人：能力は無いが，人狼陣営に所属

• 能力を駆使して所属する陣営を勝利させる8

対面人狼・オンライン人狼カード型人狼：パーティゲーム• 一試合十数分程度

– 短い会話で嘘がつけるか• 顔が見える環境での競争

– 相手の性格や反応を見る• 狼同士の会話はジェス

チャ

オンライン型人狼：言語ゲーム• 一試合数日間

– 熟慮した発言が可能• キャラクターによる匿名

化– 性別や見た目の影響排除

• 狼同士の会話を平衡で行う– コミュニケーションミスの

排除

不完全情報ゲームとしての人狼• 人狼のゲーム性– 場に与えられた情報の非対称性

• 人狼は村人より多くの情報を持つ–説得・協調

• 相手に情報を与えて信頼を得る– 思考の多段階の予測

• 自分がこう思っていると相手が思っているだろう• コンピュータと人の対戦自体にまだ壁が存在– 思考だけでは無い様々な課題

人狼ゲームの特徴1. 客観視点での情報不確定性– 完全情報ゲームとの違い

人狼ゲームの特徴2. 推理：他者の意図のモデル

化– 文脈からの真偽の判断– 重み付けは各プレイヤーが行う

人狼ゲームの特徴3. 説得：他者から見た

　　　　自己のモデル化

人狼知能実現のための課題• エージェントの対話プロトコル設計• 推論と思考

– モデル化した行動 ( 自分は占い師と名乗る，誰々は人狼だと思うと指摘する，など ) の思考

– 他人の行動の理解– 戦略の構築 (強化学習，データ分析 )

• 自然言語処理– プロトコル上の行動の自然言語化，自然言語の理解

• ヒューマン・エージェント・インタラクション (HAI)– エージェントインターフェースの実装– 映像や音声による表現

• エージェント同士を競わせるプラットフォームの開発

人狼知能実現のための課題• エージェントの対話プロトコル設計• 推論と思考

– モデル化した行動 ( 自分は占い師と名乗る，誰々は人狼だと思うと指摘する，など ) の思考

– 他人の行動の理解– 戦略の構築 (強化学習，データ分析 )

• 自然言語処理– プロトコル上の行動の自然言語化，自然言語の理解

• ヒューマン・エージェント・インタラクション (HAI)– エージェントインターフェースの実装– 映像や音声による表現

• エージェント同士を競わせるプラットフォームの開発

人狼プロトコルの開発• 自然言語は扱いが難しい• 人狼で行われる会話をモデル化した言語設計– プログラムに扱える範囲で、かつ記述可能な範囲をなるべく広げる

人狼プロトコルの例• 「 Matsubara さんは人狼でしょう」– declare 90% (Matsubara wolf) : Matsubara が人狼で

あると 90% 確信• 「その意見には反対だな」– agree 0% (speech 10) :10 番目の会話に同意しない

• 「 Matsubara さんは処刑しましょう．人間とは思えないですし」– Request any 90% (execute Matsubara) because declare 20% (Matsubara humanside)

18

人狼対戦サーバ• 人狼知能をエージェントとして互いに対戦可能なサーバ

• 将来的には人間との対戦も実現

人狼サーバ人狼プロトコル

人狼プロトコル

翻訳モジュール

自然言語

感情表現モジュール人狼

プロトコル 表情

• 会話

• 投票• 能力者の行動決定

• 吊り、襲撃処理• 占、霊へ情報提供• 勝敗処理

• 会話ゲーム開始

ゲーム終了

人狼サーバにおけるゲームの流れ

全員の話し合い

会話終了

共鳴者の会話人狼の話し合い

人狼の話し合い

1 日の始まり

話し合いに参加するエージェントの並び替え ( ラン

ダム )

まだ喋る

話し合い終了

YESNO

エージェントによる発話

話し合い開始

人狼エージェントによる発話

人狼サーバにおける会話の流れ

人工知能は人狼を夢を見るか• 人工知能エージェントによる人狼の対戦– 人工知能は人狼をプレイ可能か– 人工知能は人狼を学習可能か

• 提案プロトコル・サーバを用いて確認– 村人陣営，人狼陣営双方のエージェントを作成

– お互いを対戦させ，学習を行う–最終的に得られた戦略を評価

シンプルな人狼のモデル化• 人狼のシンプル化– 発話：特に必要な発話のみ• 役職のカミングアウト• 能力によって得られた情報の共有• 疑っている対象の報告

– 疑い度：プレイヤーの状態から人狼らしさを推測• Q 学習を用いて戦略を学習

23

Q

？ ！

学習内容• 襲撃，処刑等の対象選択方法

• 発話内容

• 人狼側が嘘をついて装う役職

• プレイヤーの疑い度

24

  人狼・学習無 人狼・学習有

人間・学習無 38.6% 22.3%

人間・学習有 52.9% 36.4%

結果 (1/3)

• 学習の有無による人間側の勝率の変化

戦略の学習によって勝率の向上が得られた

25

結果 (2/3)

• 人狼側の戦略ごとの人間側の勝率の変化

• 実データと比較して高い相関 (0.766)→ 人間に近い戦略の学習に成功

26

結果 (3/3)

• 上級者が用いる手法の発見

– 生き残り人数が５人の時、襲撃における最適戦略↓

“ 誰も襲わない”　

高度な戦略の学習が可能であることを発見

27

結論• 人工知能の標準問題としての人狼– 不完全情報ゲーム

• 人狼知能プロジェクトの提案• 人狼プロトコルの開発• 人狼対戦サーバの開発• シンプルなゲームにおける学習のテスト– 人間同士による対戦に近い戦略を学習可能– 上級者の用いる戦略も発見可能

今後の方針• 2014 年度中に大会の実施– 学習用のデータを準備• 人狼 BBS でプレーされた 4778 ゲームのデータ• 参加者には配布可能

– プロトコル，サーバの公開– シンプルなプロトコルによる大会を実施

• 優秀なエージェントのゲームへの実装– ゲーム会社と交渉中

参加者募集中

人狼知能実現のための課題• エージェントの対話プロトコル設計• 推論と思考

– モデル化した行動 ( 自分は占い師と名乗る，誰々は人狼だと思うと指摘する，など ) の思考

– 他人の行動の理解– 戦略の構築 (強化学習，データ分析 )

• 自然言語処理– プロトコル上の行動の自然言語化，自然言語の理解

• ヒューマン・エージェント・インタラクション (HAI)– エージェントインターフェースの実装– 映像や音声による表現

• エージェント同士を競わせるプラットフォームの開発

詳細情報はこちら

http://aiwolf.org/

今後のスケジュール（予定）• 2014 年 3 月– プロトコル公開

• 2014 年夏～秋– プレテスト大会の実施

• 2015 年 3 月–第一回大会実施

• 2015 年夏–第一回国際大会の実施