科学技術者フォーラムH28年12月度セミナー報告「人間を超える囲碁・将棋〜ゲームＡＩの技術と展望」
2017年 03月 01日H２８年１２月度（第１７４回） セミナー報告
「人間を超える囲碁・将棋〜ゲームＡＩの技術と展望」
１．日時 ：2015年10月3日（土) 14:00〜16:50
２．場所 ：品川区立総合区民会館「きゅりあん」 ６F 中会議室
３．参加者： 27名
４．講師 ：電気通信大学 助教 伊藤 毅志 氏
＜講演要旨＞
１．ゲームを科学的に捉える。
（１）囲碁・将棋の情報科学的分類は「２人・完全情報・確定・ゼロ和ゲーム」であり、２人は
プレー人数、完全情報は双方の手が見えているか？、確定は不確定な要素（サイコロ）が
ないか？、ゼロ和は勝敗のつくゲームか？
（２）想定される探索の量と難しさは、初回局面（Ｎ）⇒次の局面（Ｎ×Ｎ）・・⇒最終局面
（ＮのＭ乗局面）となり下記ゲームの概略の量を示す。
・チェッカー １０の３０乗
・オセロ １０の６０乗
・チェス １０の１２０乗
・将棋 １０の２２０乗
・囲碁 １０の３６０乗
で、探索的にはコンピュータ囲碁が最も難しい。
２．コンピュータ将棋の歴史
１９７４年 初のコンピュータ将棋プログラム開発（早大）
１９９０年 第１回コンピュータ将棋選手権（コンピュータ同士の大会）
２００６年 Bonanza登場（評価関数の機械学習）
２０１２年 第１回電王戦（元プロ棋士・米長永世棋聖に勝利）
２０１５年 第４回電王戦（プロ棋士５名・コンピュータ５台、２勝３負）
２０１５年 情報処理学会「コンピュー将棋プロジェクト」終了宣言
３．コンピュータ将棋の技術
３．１．コンピュータ将棋の基礎
（１） 評価関数とミニマックス探索
・相手は自分にとって一番いやな手を選択するはずだ
・数手先をすべて読んでみてその局面の良しあし（評価関数）を判断し、次の一手を決める。
・自分は評価点最大値採用し、相手は最小値を取るようにプログラム
（２） 評価関数の設計
・駒の損得、駒の効率、局面の進行度などをコンピュータに理解できるように数値化する。
３．２．Bonanza革命（２００６年以降）
・Bit Boardという局面表現方法で、軽くて処理速度の速い局面表現が可能に
・４万６千局もの棋譜を教師データにして約１億個のパラメータを調整(評価関数の自動学習)
４．コンピュータ囲碁の世界
（１）ゲームとしての囲碁の特異性
・ルール上選べる手が圧倒的に多い
・静的評価関数の設定が絶望的に難しい。（石の強さの理解、生き死にの判定、良い手が広い）
（２）認知的にみた将棋と囲碁の違い
・将棋の上級者は局部を見るが初級者は全体を見る。
・囲碁の上級者は全体をみるが初級者は局部を見る。
５．コンピュータ囲碁の歴史
１９６０年代 コンピュータ囲碁の初論文
１９７０年代 影響力関数、石の生き死に判定のアルゴリズム
１９８４年 初のコンピュータ囲碁大会（ロンドン、１３路盤）
１９８６年 １９路盤コンピュータ囲碁大会（台北）
２００１年 囲碁プログラムによる初の初段認定
２００６年 モンテカルロ革命（Computer Olympiad９路盤で大活躍、劇的に性能向上）
モンテカルロ木探索（WCTS）の出現（膨大な乱数対戦と計算資源を効率化する手法を
組み合わせた新しい手法の導入）
２００７年 第１回ＵＥＣ杯開催（Crazy Stone優勝）
２０１２年 日本棋院と電通大でコンピュータ囲碁に関する提携
（Zen黒番で９段に互戦で勝つ）
２０１３年 第１回電聖戦開催（プロ９段に４子局で勝つ）
２０１５年 第３回電聖戦開催（プロ９段に４子局で１勝１負）
２０１６年 Alpha Goの出現
・Google傘下の研究グループがNatureに論文投稿
・Deep Learningと強化学習を用いた方法で、囲碁の局面を評価する新しい手法を開発し、
モンテカルロ木探索の手法と組み合わせで、欧州プロ棋士に５連勝した。
６．Alpha GoとDeep Learning
（１）Policy Network Supervised Learning（PN-SL）教師あり学習
・大量の棋譜から着手確率を学習（学習時間50GPUで３週間）
（２）Policy Network Reinforcement Learning（PN-RL）強化学習
・新しいプログラムと古いプログラムを対局させ自己学習させる。（SLに対し勝率８０％以上）
（３） Value Network学習（VN）
・局面の勝率を学習、出力は勝率１つ、自己対戦の棋譜（3000万局）より独立に新しく
作る。（3000万局）
（４） PNとVNを用いた探索
・PN-SLを用いて手を絞り、基本的には従来のMCTSを用いて探索
・探索では一部VNとMCTSを併用する。
（５）膨大なハードウェアのバックアップ
・Alpha Go Distributed（クラスタ並列版）で、1202コア、176ＧＰＵ
（６）達成事項
・大規模並列マシンを使ってプロ棋士レベルの強さのＡＩが作れることを示した。
・人間の直感に近いもの（VN）をDeep Learningにより獲得した
（７）問題点（MCTSを用いているので、MCTSの問題点が解消されていない。
・乱数を使った確率的手法なので一本道の探索が困難。
・局面を常に19×19で把握するので、局面を切り分けて考えられない。
７．ゲーム研究の未来
（１）完全情報から不完全情報ゲームへ（カードゲーム、麻雀など）
（２）確定ゲームから不確定ゲームへ（スポーツなど）
（３）２人ゲームから多人数ゲームへ（ネットゲームなど）
（４）より実世界に近いゲームへ（人狼、ミニ四駆ＡＩなど）
（５）「強くする」から「楽しくする」、「学習支援する」（指導碁など）へ
８．残された課題
＜現在のＡＩが出来ないこと＞
・問題の理解、問題発見能力
・思考の可視化（獲得したことを説明すること）
９．人間とゲームＡＩとの共存？およびＡＩがゲームを破壊？
・チェスでは、人とコンピュータが協力して、より高いレベルの棋譜を作る
アドバンスチェス、フリースタイルチェスが登場。
・将棋界のスマホによる不正疑惑。
・人間同士の対戦を前提としたゲームのバランスの破壊が生じるのでは？
（報告者 児山 豊）
