スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

アルファ碁のアルゴリズム

大船渡 碁石海岸(2016/03/12撮影)

goishi_01.jpg

googleのブログ(AlphaGo: マシンラーニングで囲碁を)にアルファ碁の仕組みについて以下のようにあった。

囲碁において、可能性のあるすべての指し手に対して探索木を割り当てる従来の AI 方式は通用しません。今回の挑戦を始めるにあたり、私たちはモンテカルロ木探索とディープニューラルネットワークを 組み合わせた AlphaGo (アルファ碁) というシステムを新たに開発しました。このシステムは、碁盤自体を入力と見立て、その情報を数百万のノードからなる 12 層構成のニューラルネットワークで処理します。1 つ目の「ポリシーネットワーク」が次の手を決定し、もう 1 つのニューラルネットワーク「バリューネットワーク」が勝者を予測します。


実装は大雑把に以下のような感じであろうか。

・「碁盤自体を入力」ということは、白/黒/なしの3種類、361が入力。
・ポリシーネットワークでは、敗者の各指し手直後の盤面を入力にして、勝者の指し手が出力になるようにネットワークを学習。
・バリューネットワークでは、両者の盤面全てを入力し、その勝ち負けを予想するように学習。
・対局時は、ポリシーネットワークの出力の上位候補複数とバリューネットワークの結果を使って、モンテカルロ木探索を行い勝率の高い指し手を選択。

原始モンテカルロ碁では、単純にランダムな着手によってプレイアウト(終局まで対局をシミュレーション)していたため弱かった。
それを改良したのが、ゲーム木探索とモンテカルロ法を融合した「モンテカルロ木探索」(勝率の高い着手により多くのプレイアウトを割り当て、プレイアウト回数が基準値を超えたら一手進んだ局面でプレイアウトを行う)。
しかしアルファ碁では終局まで行わず、途中まででもバリューネットワークで結果を予測できる。それにより探索できる幅が広がる。

Wiki(コンピュータ囲碁)には、

囲碁は将棋などに比べて最善手と次善手、三番手の差が小さく一本道の攻防が少ないという特徴から、ランダムなプレイを多数回行って勝率を調べることで形勢を評価することが可能である。…モンテカルロ碁の弱点として、死活やシチョウなど「正解手順はたった一つでかつ長手順だが、正解手順とそれ以外の手順に極めて大きな結果の差が生じるような」手順を見つけにくい点がある。

とある。ここにアルファ碁の弱点があるのかもしれない。

またgoogleブログに、

私たちは、このニューラルネットワークを、囲碁の達人たちによる 3,000 万を超す指し手を用いてトレーニングし、57% の確率で次の手を予測することが出来るようになりました。(AlphaGo 以前の記録は 44% でした。) しかし、私たちの目標は棋士の真似をさせることではなく、コンピューターが名人と競い、勝てるようにすることです。 そこで AlphaGo は、自らのニューラルネットワーク間で幾千もの対局を行い、強化学習と呼ばれる試行錯誤を繰り返しながらコネクションを調整、自ら新たな戦略を学び取りました。


とある。囲碁の達人たちの棋譜を学習後、ネットワーク間で対戦。その際一方はポリシーネットワークが出した指し手以外を稀に出力。ポリシーネットワークが出した指し手以外の方が勝った場合は、それも学習に使っているのではないか。

モンテカルロ木探索のランダムな差し手を、学習したニューラルネット(ポリシーネットワーク)に置き換え、評価関数もニューラルネット(バリューネットワーク)に置き換える。さらにネットワーク間の対戦で未知の差し手を発見するのがアルファ碁の正体ではなかろうか。

やはり賢くなったのはソフトではなく、プログラムを実装した人間(何が賢くなったのか)という感想にかわりはない。

強さではなく賢さ(AlphaGoの衝撃)とは何かを窮めたい。
スポンサーサイト

tag : アルファ碁 コンピュータ囲碁

新着図書情報
2013年11月発売
2013年6月発売
にほんブログ村
にほんブログ村 科学ブログ 脳科学へ
広告
最新記事
お勧めの本
カテゴリ
カレンダー
02 | 2016/03 | 04
- - 1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31 - -
プロフィール

sai

Author:sai
宮城県出身。寅年生まれ。おうし座。B型。左利き。赤緑色盲。たそがれのプログラマー。

リンク
RSSリンクの表示
最新トラックバック
検索フォーム
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード
月別アーカイブ
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。