私のワーキングメモリは少ないのかもしれない

本を読んでいるとよく以下のフレーズが出てくる。

・・・
前者は・・・で、後者は・・・である。

このフレーズが出てくると、私は大抵そのフレーズの前の文章を何度か読み返し、何が前者で何が後者かを確認しなければならない。
私のワーキングメモリは、他の人よりも少ないのかもしれない。
前者と後者に該当する部分を識別できるように工夫してもらい、さらに矢印でどれが前者でどれが後者かを指し示してほしい。

tag : ワーキングメモリ

学びとは何か



P196から

ただし、思い込みなしで何かを学習することは、ほぼ不可能であるということを再度強調しておきたい。人は何がしかの「あたり」(直観)がなければ、何かを学習することは非常に難しい。


すでに何度も述べたように、何かを学習し、習熟していく過程で大事なことは、誤ったスキーマをつくらないことではなく、誤った知識を修正し、それとともにスキーマを修正していくことなのである。


「思い込み」がなければ、フレーム問題に陥って一歩も動けない。そして、その「思い込み」を修正することができるアルゴリズムが人工知能開発の鍵となる。

tag : 思い込み

人工知能「東ロボくん」 東大を断念

人工知能「東ロボくん」 東大を断念

これまで順調に成績を伸ばしてきた東ロボくんですが、教科書などの情報と検索技術によって正解にたどりつく世界史などは得意な一方、文章の意味を理解して、問題文を読み解く「読解力」がなかなか向上しませんでした。このため国語や英語などの科目では、今後の成績向上に限界があり東大合格の水準にあたる偏差値70以上にまで成績を上げることは現在の技術では難しいと判断したということで、ことしで東大合格は諦め、“進路変更”を決めました。


早めに諦めたのがせめてもの救いだ。

新井教授は「有名私立大学に合格できる自信は出来た。東ロボくんはこのあたりで“浪人”を終わりにして合格した大学に入学するのがよいのではないかと思う。今後、人工知能の社会への導入は必至で、人間が人工知能に勝るのは読解力だ。人工知能に負けない子どもたちを育てる教育を提案する研究に力を入れていきたい」と話していました。


しかし次の目標がよくない。

東ロボくんの東大受験から見える人間と人工知能の違いについて「入試問題を解くには文中に書かれていない情報も利用する必要があるが、人間は問題文に書かれたことだけでなく、常識のような知識も利用して問題を解いている。今後、人間が意味を理解するレベルに人工知能を近づけるには、人間の常識をはじめとした教科書に書かれていない知識をどのように習得し、習得した知識を目の前の問題とどのように関連づけられるかという技術が必要だ。


そう、これをやるべきなのだ。

関連記事:
10年後に人工知能が東大に合格?
「ことばの意味を理解」とは?

tag : 東ロボ

大脳皮質における自発発火とゆらぎとスパイクタイミング依存可塑性(STDP)

Clinical Neuroscience Vol.34 (16年) 08月号 ディープラーニング―人工知能は脳を超えるか

「対数正規分布するシナプス結合の意味」が面白かった。

大脳皮質における神経活動の非常に興味深い点は、各神経細胞のスパイク発火時刻が、全くランダムなタイミングで不規則に生成されているように見える点である。その間、各神経細胞の膜電位も、静止膜電位と発火閾値の中間程度まで上昇して強くゆらいでいる。…
さらに興味深いことに、膜電位の揺らぎと不規則な発火活動は、神経ネットワークが外部から何の入力を受けていないときにも持続的に観測される。…
ここで注目すべきは、自発ゆらぎの生成と維持が神経系では非常に困難な点である。まずネットワークから単離した単一の神経細胞は、自発活動はほとんど行わず、さらに定常入力に対して正確なタイミングで規則的に応答することが確認されている。このため単一神経細胞の性質からは、自発ゆらぎを説明できない。多数の神経細胞のネットワークを組むことで、自発発火を集団として維持することも可能だが、ネットワーク中の不規則発火は不安定化しやすく、多数の神経細胞が同時発火する発作的な状態に簡単に移行してしまう。
つまり自発ゆらぎの存在は自明ではない。それどころか発作的な同期発火を引き起こす危険性すら伴っている。それにもかかわらず我々の脳内で自発ゆらぎが持続している事実は、神経ネットワークが自発ゆらぎを維持する何らかの構造を備えており、ゆらぎが大脳皮質の情報処理にとって重要な役割を果たす可能性を強く示唆するように見える。

その鍵の一つが、シナプス結合強度の対数正規分布である。最近の研究によって、少数の非常に強いシナプス結合と多数の弱い結合が共存することで、一般には不安定な自発ゆらぎが安定して維持されることがわかってきた。…

大脳皮質の各領野が実現する機能の多くは、未知の入力や未来など、何らかの推定問題として定式化できる。大脳皮質はこの推定問題を、経験に基づいた教師なし学習によって解決している可能性が高い。…
不均一なシナプス結合や神経活動のゆらぎは、この機能の実現に重要な役割を果たしている可能性が高い。大脳皮質のゆらぎの性質と合致する有望な仮設の一つが、「大脳皮質のネットワークは外界の生成モデルに対応しており、確率的なスパイク発火活動は、その生成モデルからのサンプリングである」というものである。…
この仮説に基づく最近の研究によって、ゆらぎを伴うスパイク発火活動が、マルコフ連鎖モンテカルロ法のような高次元の確率分布からのサンプリングを可能にすること、生成モデルの確率分布が、スパイクタイミング依存可塑性(STDP)に近いシナプス可塑性で実装できること、さらに、この仮説を実装した簡単な数理モデルによってnoize correlationなどの神経活動のゆらぎの性質が矛盾なく説明できることが報告されている。


人工知能のさらなる飛躍には、スパイクタイミング依存可塑性(STDP)は必須と思われる。
それを可能にすると思われる自発発火とゆらぎの環境、自発発火とゆらぎを生み出すと思われる「対数正規分布するシナプス結合」。
バックプロパゲーションによる学習のみでは限界があるであろう。

tag : 対数正規分布するシナプス結合 ゆらぎ 自発発火 スパイクタイミング依存可塑性 STDP

無能の極み

人工知能が書いた書籍「賢人降臨」発売 あえて無校正、「AIの未来感じて」

 福沢諭吉の「学問のすすめ」と新渡戸稲造「自警録」を、ディープラーニング(リカレントニューラルネットワーク)で零に学習させた上で、「若者」「学問を修め立身」など5つの“お題”を与え、文章を創作させた。

 作品は、原典とほぼ同じ文が続くが、文の構成や順序が変わっていたり、同じことを繰り返すなど、お題に合わせて変化した部分があるという。あえて校正・校閲を行っていないため、乱れた文章もあるが、「現時点での技術がどのレベルかを読者に知っていただくためにも、あえて間違いの訂正はしていない」という。



無能の極みと言うほかない。

「若者もあり、あるいは才智|逞《たくま》しゅうして役人となり商人となりて天下を動かす者もあり・・・」
「学問を修め立身分を用うるの理あり。・・・」
「世界を制する者ははなはだ少ない。・・・」
「成功とはなんぞまらぬことである。・・・」
「人とは何を示すものでない。いつぞそういう者でもよい。・・・」


この文を出力したプログラムは、全くその文の意味を理解していない。

簡単な言葉でいい。プログラム(システム)自身が理解している言葉を出してみよう。

tag : 人工知能

新着図書情報
2013年11月発売
2013年6月発売
にほんブログ村
にほんブログ村 科学ブログ 脳科学へ
広告
最新記事
お勧めの本
カテゴリ
カレンダー
06 | 2017/07 | 08
- - - - - - 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 - - - - -
プロフィール

sai

Author:sai
宮城県出身。寅年生まれ。おうし座。B型。左利き。赤緑色盲。たそがれのプログラマー。

リンク
RSSリンクの表示
最新トラックバック
検索フォーム
ブロとも申請フォーム

この人とブロともになる

QRコード
QRコード
月別アーカイブ