スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

ニューラルネットワークとカタストロフィック干渉

 ニューラルネットワークで、先に学習した項目の再認成績が、後続の学習によって著しく低下することを、カタストロフィック干渉と呼ぶ。いくつかの解決案が提案されているが、これといったものはない。「新生ニューロンと学習」という考え方をニューラルネットワークに応用できれば解決できるのではないだろうか。つまり今まさに活性化しているネットワーク部分の新生ニューロンが、そこに組み込まれることにより、先行学習に影響を与えずに学習を可能とするような。
 しかし、エピソード記憶のような一撃学習には更なる工夫が必要であろう。

「Ratcliffは、3層のネットワークを用い、先に学習した項目が、後続の学習によってどのような影響を受けるかを検討した。シミュレーションの結果、先に学習した項目の再認成績が後続の学習によって著しく低下することを見いだし、コネクショニストモデルが系列的な記憶のモデルとして適切でないと主張した。同様の傾向は、McCloskey & Cohenによるシミュレーションでも見いだされており、安定解が破壊されると言う意味で、彼らはこの効果をカタストロフィック干渉と名づけている。カタストロフィック干渉は、母国語の習得のように忘却が起こりにくい現象を扱う場合、特に問題となる。
 カタストロフィック干渉に対する方策として、先の学習で得られた結合強度を固定し、後続の学習の影響を回避する手続きや、学習によって得られた隠れ層の表象内で、活性化が最小のユニットの値を消去し、活性化が最大のユニットの値を増大させる活性値の先鋭化などが提案された。こうした手続きは、ある程度有効であるが、ネットワークの可塑性や一般化能力を低下させてしまう(安定性・可塑性のジレンマ)。このジレンマを克服するには、Carpenter & GrossbergによるART(Adaptive Resonance Theory:適応共鳴理論)などが有効であることが知られている。
 McClelland, McNaughton, & O'Reillyは、人間の記憶において、脳の大脳新皮質と海馬という2つのシステムが異なる役割を担うと仮定することによって、人間ではカタストロフィック干渉が生起しない理由の説明を試みている。
 つまり、大脳新皮質は情報の構造を漸次的に発見するシステムであるの対して、海馬は新しい情報の獲得を促進するだけでなく、ほかの部分に保持された古い情報を想起させる機能を持つと仮定し、新しい情報が新皮質の構造化された知識システムに徐々に統合される仕組みを説明している。
 Murreは、記憶のTraceLinkモデルを提案している。このモデルでは、長期的に記憶を保持し、潜在記憶に対応するトレースシステムと、その活性化パターンを連合することによって学習を行う、顕在記憶に対応したリンクシステムとが仮定されている。Murreは、トレースシステムは脳の大脳新皮質における処理を、リンクシステムは海馬における処理をそれぞれシミュレートしていると述べている。 」

高次認知のコネクショニストモデル―ニューラルネットワークと記号的コネクショニズム (認知科学の探究) より

関連記事

テーマ : 自然科学
ジャンル : 学問・文化・芸術

tag : ニューラルネットワーク カタストロフィック干渉

コメントの投稿

非公開コメント

新着図書情報

2017年8月発売

2017年4月発売

2016年11月発売

2015年10月発売
にほんブログ村
にほんブログ村 科学ブログ 脳科学へ
広告
最新記事
お勧めの本
カテゴリ
カレンダー
09 | 2017/10 | 11
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31 - - - -
プロフィール

sai

Author:sai
宮城県出身。寅年生まれ。おうし座。B型。左利き。赤緑色盲。たそがれのプログラマー。

リンク
RSSリンクの表示
最新トラックバック
検索フォーム
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード
月別アーカイブ
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。