スキップしてメイン コンテンツに移動

ノイマンの軛 Von Neumann bottleneck が解けてきた

コメントを投稿

ノイマンの軛 Von Neumann bottleneck が解けてきた

ディープラーニング で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。

第３次人工知能ブーム


生成AI (Generative Artificial Intelligence)は2017年のトランスフォーマーの論文( "Attention is All You Need" )から2022年の ChatGPT (Chat Generative Pre-trained Transformer)まで５年間。
第４次人工知能ブームというべきか第３次ブームは２段ロケットだというべきか。

概説 人工知能

　生成AIは新しい技術なので解説本はまだ少ないが、
　ちくま学芸文庫から文庫オリジナルの生成AIまで含めた本がでていた。


第8講 トランスフォーマー・生成 AIの心臓部 P204
この講を終わるにあたり、トランスフォーマーは、現代のコンピュータとは別のタイプの全く新しい発想の計算のアーキテクチャであることを指摘しておく．
この新しいアーキテクチャでポイントとなるのは、メモリアクセスである．コンピュータの計算ではデータの記憶は要となるものである。現代のコンピュータが実行する命令を細かく分解していって、物質で言えば原子のレベルまで細分化したとする。すると、その働きは、既にあるデータに演算を施して新しいデータを計算することと、その際に必要となるデータをメモリから取り出すことと、計算の結果をメモリに記憶することからなる。メモリには番地がついていて、データを取り出したり、格納したりするときは、データのある場所を番地により指定する。
トランスフォーマーのメモリに相当するのは、翻訳対象の一文中の単語のセットである。トランスフォーマーでは、このメモリから読み出すときの番地を指定する必要はなく、ワードエンベーディング間の距離から自動的に決まるようになっている。トランスフォーマーでは、読み出し先も書き込み先もワードエンペーディングのベクトルの内容により自動的に決まる。
現代のコンピュータでは、書き込みや読み出しはデータが格納されている場所のアドレスを通して行われる。これに対して、人間の記憶は連想記憶 （associative memory）と呼ばれ、アドレスに対応するものが、記憶されている内容そのものである。実際、消毒液の臭いから病院を思い出し、神社から聞こえてくる祭りばやしで金魚すくいや夜店のカラフルな店先の情景を思い出したりする．連想記憶の場合は、記憶されている内容のかけらから、関連する記憶が一挙に読み出されるという特性をもっている．連想記憶は人間に固有のものとみなされるが、「トランスフォーマーもこれに類似した動きをする。番地という概念がなく、読み出しと書き込みに相当する操作は記憶した内容であるワードエンペーディングに対して実行され、さらに、トランスフォーマーには現代のコンビュータにはない。学習機能が組み込まれている。

生成AIの根幹であるトランスフォーマーの動きはノイマン型のコンピュータとは違ったものだと述べられている。しかし、いくらGPUを使っているとはいえ ChatGPT を動かしているハードウェアは従来のノイマン型のコンピュータであるはず。

ところが近年ようやくIMC(In Memmory Computing)など非ノイマン型のAIチップが続々と開発されてきている。
SambaNova社はRDU（Reconfigurable Dataflow Unit）という新しい独自のAI半導体を利用したシステやサービスの提供を開始している。
かつて、新しい半導体(パソコン用のCPU)の登場により、IBM、IBM互換のホストシステムからダウンサイジング、WindowsパソコンとUNIX サーバーでクライアント・サーバー・コンピューティングへと進んで行った。
SambaNova はかつてのSUNマイクロシステムズを思い出させる。 ただ新しいAIチップが登場してきても、もやは各メーカーからハードウェアが乱立するようなことはもうないだろう。そういえばSONYもNewsなるUNIXマシンを作っていた。
AI半導体の記事が車関係サイトから書かれているように、車の自動運転関係が一番の明確な市場なのでしょう。

Nvidia の Jetson Nano で画像識別して楽しんでいた時、少し株式買っておけば。あの頃、既にディープラーニングで十分Nvidiaの株価は上がってしまっていたと思った。SambaNovaが上場したらどのくらいの値がつくのだろうか。

ノイマン型で生成AI動かしたときの膨大な消費電力は致命的であるので、軛を放たれた新しいタイプの半導体がいろいろとでてくるのはもはや間違いない。

RDUのデータフローコンピューティングの実用化をみて、当初はベーパーウェア扱いされていたRDBMSの誕生のお話を思い出した。



参考


ディープラーニングが激速に　NVIDIAの牙城を崩せるか？　SambaNovaに聞く清水亮の「世界を変えるAI」

2023年04月26日 13時00分 公開
従来のGPUコンピューティングは、あくまでもノイマン型でした。ノイマン型というのは、ご存じだと思いますが、プロセッサがメモリからデータを読み書きしながら処理を行うわけです。
データフロー型では、このノイマン型のアプローチをやめ、演算ユニットから演算ユニットへ直接データが流れていきます。メモリとプロセッサの間をデータが往復するのではなく、演算ユニットから演算ユニットへデータを流し込んでいくのです。その結果、高速なメモリが不要になります。

――具体的には、どの程度の性能差があるんですか？

鯨岡氏　簡単にいえば、同じ規模のシステムで比較して6倍高速です。それまでDGX A100で約300日かかったGPT 13Bの学習が、SambaNovaのRDUを8基搭載したSambaNova DataScaleで約50日で済む計算です。

――RDUとは何ですか？

鯨岡氏　RDUはSambaNova独自のAI半導体で、「再構成可能なデータフローユニット（Reconfigurable Dataflow Unit）」のことです。RDUの中をデータが流れるように論理回路を再構成することが可能になっているので、目的に応じて最適なデータの流れを作り出すことができます。


https://www.tel.co.jp/museum/magazine/report/202406_02/?section=3
未来型AIチップ「イン・メモリー・コンピューティング（IMC）」とは
文／伊藤 元昭
2024.06.05

使い勝手のよい特徴を多く持つノイマン型ではあるが、この構造の肝になるメモリーと演算器をつなぐバス（配線）が、高性能化と低消費電力化を阻むボトルネックになってしまう欠点を抱えていた。しかも、AI関連処理の過程では、このバスを介して莫大な数のデータ転送が発生するため、ノイマン型固有のボトルネックが顕在化しやすかった。ニューラルネットワークや機械学習の演算で消費する電力の内訳を調べると、演算器そのもので消費している電力よりも、バスでのデータ伝送で消費される分の方が200倍も多いとする検証結果も報告されている。

これに対しIMCでは、演算対象になるデータと、演算後のデータの格納先が隣接または一体化しているため、ノイマン型に見られるバスを介したデータ伝送でのボトルネックが解消する。そして大量のメモリーセルを超並列動作させることによって、演算能力の向上と消費電力の削減の両方に大きな効果が期待できる。IMCのような、演算時にデータを外部メモリーから読み出す必要がない構造は、非ノイマン型アーキテクチャと呼ばれている。

https://gendai.media/articles/-/120999
2023.12.23
# 立ち読み# 哲学・思想# 英米哲学

「原爆は京都へ投下するべき」と主張した天才科学者・ノイマンの異様な「悪魔性」と「虚無感」
















密かに進化するAIチップ

IT/半導体業界は半世紀に1度の大変革か？

生成AI（人工知能）の活用の広がりの陰で進行しているのが、新しいAIチップの開発だ。AIの処理に特化することで、現行のGPU（画像処理半導体）の汎用性に起因する電力消費の増大を解決する可能性を秘める。大手IT企業からスタートアップまでがこの領域に参入し、本命となるべく開発を進める。今後新たに登場するAIチップは、ITや半導体業界に「50年に1度の大変革」をもたらすかもしれない。

伊藤 元昭＝エンライト

現在のコンピュータは、そのほぼすべてが「フォン・ノイマン・アーキテクチャ（いわゆるノイマン型アーキテクチャ）」と呼ばれる基本構造に基づいて作られている。データやプログラムを蓄積するメモリーと、命令に沿ってデータを処理する演算器を個別に用意し、それぞれの間で必要に応じて命令やデータを読み出し/書き込みながら演算処理を逐次実行する仕組みである。既存コンピュータのプログラムを書き換えることで同じハードウエアを多様な用途に利用可能な高い汎用性は、ノイマン型だからこそ実現できる特徴だった。

 他の手法に替えがたい利点を持つノイマン型だが、この構造に固有するメモリーと演算器をつなぐバスが、高性能化と低消費電力化を阻むボトルネックになってしまう欠点を抱えていた。特にAI関連処理を実行する際には、バスを介したデータ転送が頻繁かつ大量に発生するため、ボトルネックが顕在化しやすかった。そして、市販されているGPUやIT企業が独自開発したAIチップのいずれも、ノイマン型に分類される従来コンピュータであることには変わりないため、低消費電力化の抜本的な対策にはなっていなかったのである。

 これに対しIMCチップでは、演算対象になるデータと演算後のデータの格納先が隣接または一体化している。このため、ノイマン型に見られるバスを介したデータ伝送でのボトルネックを解消することが可能だ。そして大量のメモリー素子を超並列動作させることによって、演算能力の向上と消費電力の削減の両方に大きな効果を期待できる。IMCのような、演算時にデータを外部メモリーから読み出す必要がないコンピュータの構造は、非ノイマン型アーキテクチャと呼ばれている。


 ニューロAIはデータフローコンピュータに乗ってくる時代になるか

  2024年2月 8日 

半導体チップからコンピュータラック、基盤モデルまでフルスタックでAIを提供するスタートアップ、SambaNova（サンバノバ）が日本オフィスを開設、そのチップアーキテクチャにデータフローコンピューティングを採用していることがわかった。AIの基本的なモデルであるニューラルネットワークもデータフロー方式であるため、AIとは相性が良い。古くて新しいデータフローコンピュータ時代がやってくるかもしれない。

データフローコンピューティングは、アイデアこそ1980年ごろにブームがあったものの、これまで実用化されてこなかった。データフローのロジックを作ることが難しく、しかもアプリケーションもなかったからだ。データフローコンピュータは、ノイマン型コンピューティングとは異なり、データの流れに沿って処理を進めていく方式。ニューロンからニューロンへの流れに沿って積和演算を進めていくニューラルネットワークの処理と似ている。

一方、従来のノイマン型コンピュータは、何番地の命令を取ってきて、何番地のデータなどを演算せよなどのプログラムに沿って演算するため、絶えず演算器とメモリ（レジスタなど）とのやり取りが欠かせない。

ところが、ここにきてデータフローコンピュータが急きょ浮上してきた。1月に開催されたRISC-V Day Tokyo 2024で、カナダのスタートアップTenstorrent社がRISC-VのCPUコアを使い、データフローアーキテクチャを次世代チップ設計に採用することを明らかにした。TenstorrentはAIと相性の良いデータフローアーキテクチャのチップを設計しており、今年中にはテープアウトを目指している。狙いは、性能を維持したまま、消費電力を下げられるとの思いからだ。

そして、シリコンバレーを拠点とするSambaNovaがデータフロー方式のAIチップを最適に設計すると、消費電力が約1/28に激減することがわかった。


マクスウェルの悪魔　〜メモリの消去にエネルギーが使われる〜

https://gendai.media/articles/-/74427?page=4

1961年、アメリカのコンピュータ産業を牽引するIBMで研究者をつとめるランダウアーが、悪魔に対抗するための新しいアイデアを提案しました。

悪魔が気体分子の速度を見きわめて小窓を開閉する作業では、見きわめた分子の速度を情報として記憶し、次にくる分子の速度と比較する必要があります。しかし、その記憶をためこんでいるといずれは容量オーバーとなってしまうので、定期的に消去しなければなりません。この「情報の消去」という仕事をするときにエネルギーがつかわれるので、エントロピーが増大するというのです。

この着想は、有力とみられました。そして2010年、ついにそのときが来ます。日本の鳥谷部祥一、沙川貴大らの物理学者が開発した世界で初の「マクスウェルの悪魔」再現装置による実験で、「温度の環境下で1ビットの情報を消去するためには最低でも、kT log 2の仕事が必要である」ということが示されたのです!

こうして、マクスウェルがこの世に生みだしてから、150年近くものあいだ命を保ってきた悪魔は、ついにとどめを刺されました（残念!）。エントロピー増大の法則は、無事に守られました。

コメント

コメントを投稿

このブログの人気の投稿

カーナビの Wi-fi とApple CarPlayの仕組み　地図更新に時間がかかる

苦労してカーナビをiPhoneでテザリングした。 地図がダウンロードできて、いざ更新しようとしたら処理に何時間もかかる（車の電源切るな!!!）ような表示がされたので中断した。 USBに地図をダウンロードしておいて、ここから更新できるようなのでダウンロード（全国でなく、東北、関東、中部だけ）して、中身をちょっと覗いてみたら、２０万行くらいあるSQL文があった。 更新処理に時間がかかる理由が、わかったような気がした。 追記： 　USBに東北、関東、中部の地図をダンロードして、USB経由で更新したところ、５、６分の処理で完了した。 テザリングによる更新の処理時間は、以後の本体部分の地図情報をダウンロードにかかる時間を含めたものと思われる。 追記２： 　部分的に地図を更新したら「地図が最新ではありません」と表示されるようになった。 　鬱陶しいのでUSBに全国の地図をダウンロードして、車に挿したら「『地図が最新ではありません』と表示されるタイミングで勝手に地図の更新処理を促す画面が起動した。 処理時間は２５分と表示されたが、３０分以上かかった。 Macから解凍した20GBのファイルをUSBにコーピーするだけで２０分くらいかかったので３０分程度はかかって当然か。 　エンジンかけたまま車から降りたら「警告：キーが見つかりません」と表示されていた。 追記３： 　どうやらUSBに更新につかった地図データを入れたままにしていると（USBの）「地図が最新ではありません」といってくるようだった。
コメントを投稿
続きを読む

力と交換様式

  東京駅の八重洲のブックセンターが営業終了になるらしいので、折角なので銀座に行ったついでに立ち寄ってみた。しかし、残念ながら「力と交換様式」の在庫はなかった。 Amazonの以下のような書評がちょっと気になっていた。 柄谷行人氏は非常に長い時間と熱量を以ってマルクスを何とか哲学的にもまともなものとして救い出そうとしていた様に見える。だがそれは無理だったというのが柄谷氏自身の集大成的な仕事の最終的な結論だと思われる   「歴史学者という病」の一節を読んで、以前からずっと「唯物論」というのがよく理解できなかったのだが「唯物論＝マルクス主義」というか「マルクス教という宗教の信者がたくさんいただけ」ということにいまさら気づかされて、なんだか少しスッキリした。  唯物史観とは、生産構造こそが社会を支え、生産構造の分析こそが社会を豊かにするといった「哲学」に則る。生産構造と階級闘争、つまり異なる生産構造を持つ主体の対立が階級として現れ、この階級の闘争の積み重ねこそが歴史であるという理解に落ち着く。（中略） 唯物史観を離れて実証へ向かった先生方は存在する。ただし、当時の主だった歴史研究者は、ほぼ全員が唯物史観に近い立場であったことは事実である。 モノの「交換様式」というやつは「肝」であるようだ。 K・マルクスによれば、商品交換とは異なる共同体のあいだで行われる物々交換からはじまるもとのされます（『資本論』）。 縄文イデオロギーを共有し、それゆえ「外部」を持たなかった縄文時代の日本列島の社会に、商品交換は存在しませんでした。しかし、弥生文化が成立すると... 縄文時代は贈与と交換が中心で、モノの売り買いに対する忌避もまた、縄文文化ということらしい。 最近では縄文時代から稲作があったのが明らかになってきている。農業を拒否していたのでなく、モノの売り買いを忌避していたのか。 縄文から弥生になって芸術レベルが格段に落ちたのは明らか。土偶と埴輪では勝負にならない。   ちなみに遮光器土偶は「里芋の妖精さん」説はまさに目から鱗。 妖精といえば「 山田五郎 オトナの教養講座 」で１７世紀のイギリスでも大ブームだったといっていた。 ハリーポッターも伊達ではない。 リチャード・ダッド「お伽の樵の入神の一...
コメントを投稿
続きを読む