Project Gaudi

ディープラーニング  で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。 第３次人工知能ブーム https://www.youtube.com/embed/UAlGNAx5ngo?si=tdyeHcNKBMl46HWA 生成AI  ( G enerative Artificial Intelligence )は2017年のトランスフォーマーの論文( "Attention is All You Need" )から2022年の  ChatGPT  ( Chat Generative Pre-trained Transformer )まで５年間。 第４次人工知能ブームというべきか第３次ブームは２段ロケットだというべきか。 概説 人工知能 　生成AIは新しい技術なので解説本はまだ少ないが、 　ちくま学芸文庫から文庫オリジナルの生成AIまで含めた本がでていた。 第8講 トランスフォーマー・生成 AIの心臓部 P204 この講を終わるにあたり、 トランスフォーマーは、現代のコンピュータとは別のタイプの全く新しい発想の計算のアーキテクチャである ことを指摘しておく． この新しいアーキテクチャでポイントとなるのは、メモリアクセスである．コンピュータの計算ではデータの記憶は要となるものである。現代のコンピュータが実行する命令を細かく分解していって、物質で言えば原子のレベルまで細分化したとする。すると、その働きは、既にあるデータに演算を施して新しいデータを計算することと、その際に必要となるデータをメモリから取り出すことと、計算の結果をメモリに記憶することからなる。メモリには番地がついていて、データを取り出したり、格納したりするときは、データのある場所を番地により指定する。 トランスフォーマーのメモリに相当するのは、翻訳対象の一文中の単語のセットである。トランスフォーマーでは、このメモリから読み出すときの番地を指定する必要はなく、ワードエンベーディング間の距離から自動的に決まるようになっている。トランスフォーマーでは、読み出し先も書き込み先もワードエンペーディングのベクトルの内容により自動的に決まる。 現代のコンピュータでは、書き込みや読み出しはデータが格納されている場所のアド...

 ２０１７に量子コンピュータ D-Wave 2000Q が報道された。 これに刺激され、量子力学関係の本を再読したり、量子コンピュータの本をいくつか読んだ。 量子力学のはじまり 炉の温度を確認するために炎を見つめると眼がやられる。鍛治の神は職業病として片目が不自由。産業革命以降、炉の温度を求める数式の研究が進められ、ようやく実験結果と一致する数式が完成した。 数式はできたが、これは「光の波のエネルギーはある決まった”とびとびの値”しかとらない」ことを意味していた。 こうして量子力学が始まった。 科学の発見   エネルギーを失い、原子核の中へと落ちてしまわないのはなぜなのだろう。 そんなことが起きるとすれば、安定した原子の存在があり得なくなるだけではない。 この小さな原子崩壊の際に放出される電磁波の周波数は連続スペクトルを形成するはずだ。 だがそれでは、原子が特定の飛び飛びの周波数(ガスのスペクトルの中で輝線または暗線として見られる)でしか電磁波を放出・吸収できないという観測結果に反することになる。何がこの特別な周波数を決定しているのだろう。 この疑問に対する答えは、 20世紀最初の30年間に、量子力学（ニュートン以来、物理学を最もラジカルに変えた理論）の発達とともに明らかになっていった。その名が示すとおり、 量子力学はさまざまな物理系のエネルギーの量子化つまり、飛び飛びの値にすることを必要とする。 1913年、二ールス・ボーア(訳注:1922年、原子構造とその放射についての研究でノーベル物理学賞)は、「原子は特定のエネルギー状態でしか存在できない」として、単純な原子についてそのエネルギーを計算するための数式を発表した。 それ以前のマックス・ブランク(1918年、エネルギー量子の発見なとでノーベル物理学賞)の研究に続いて、アインシュタインがすでに1905年に、「光のエネルギーは光量子のちに光子と呼ばれるようになったの中にある。光子は光の周波数に比例するエネルギーを持つ」 と指摘していた。 ボーアが説明したとおり、原子が光子1個を放出することによってエネルギを失うとき、その光子のエネルギーは最初の原子状態のエネルギーと最後の原子状態のエネルギーの差に等しくなければならない。この条件が光子の周波数を決定している。 光子を放出すること...