スキップしてメイン コンテンツに移動

ノイマンの軛 Von Neumann bottleneck が解けてきた

コメントを投稿

話題の ChatGPT はなかなか人間味もある

「Googleが焦っている、USの学生がもうこれなしではレポート作成できない 」とかいう噂を耳にしたので、https://chat.openai.com/ にアクセスしたら、アカウントの新規作成を停止していた。

しばらくして（２月７日）アクセスしたらアカウントが作成できて、最初に会話した感じが良かったので、ちょっと驚いた。以下、緑色がChatGPT。

＞銅とガラスはどちらが溶けやすい
銅はガラスよりも溶けやすいです。銅の溶解温度は約1084℃ですが、ガラスの溶解温度は約1400℃から1600℃です。
＞鉄はどのくらいでとけるんだっけ
鉄は約1535℃で溶けます。
＞鉄は木炭で溶かせる？
はい、鉄は木炭の炎を利用して溶かすことができます。木炭炉では、鉄を高温に保つことができるため、鉄を溶かすことができます。しかし、木炭の熱源は不安定であり、適切な温度を維持することが困難です。また、鉄を溶かすことによって生じる煙やガスは健康被害を引き起こす可能性がありますので、注意が必要です。



鉄枠に銅箔を貼ったガラスを嵌め込む でガラスを溶かすのに苦労したが、銅の鋳造をみて、「そうか銅は柔らかいので加工しやすいけど、溶かすこともできるんだっけ」と再認識していたので ChatGPT に尋ねてみたのだ。

また、

この映画が公開された頃の「真珠の耳飾りの少女」の展示ついて聞いてみたとき

画家のフェルメールが描いた絵画「真珠の耳飾りの少女」は通常、オランダのフロリダ美術館で保管されており、そこで展示されています。

なんて、いってきたので「オランダのデン・ハーグのマウリッツハイス美術館が所蔵ですよ」（検索して確認して）と指摘したら、素直に謝りをみとめたけれども、別の絵画関係の会話では決して誤りを認めようとしはなかった。

LLM（Large Language Model）大量の文章を集めて学習させれば賢くなるが、意味を理解しているわけではない。単語が並ぶパターンを学習している。時には道徳的にまずいような文章も作成してしまうので、ChatGPTではこれに加えて人間の判断を学習させる工程(InstructGPT)も追加し、人間好みの文章を生成するようになっているらしい。

それなので、ときには間違いを素直に認めたり、気遣いを感じさせるような文章が付け加えられたりしているのかな？


Google vs Microsoft

Google とマイクロソフトの戦いが勃発しているが、卓越した企業でもその中でも優れた部門とそうでない部門がある。Googleの優れた部門とマイクロソフトのそうでない部門の戦いであれば結果はみえているような気もする。

私自身、プログラム言語の関数を確認したりするのは、もう ChatGPT で聞いた方が明らかにいいと思う。検索より Chat なので、Google の危機感は正しいと思った。

面倒な資料作成みたいなことは ChatGPT を使うとかなり効率化されそうだ。


的を射ていると思った指摘



関連リンク

絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由

ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」
私が個人的に最も役に立ったと思うものを挙げるとすれば、それは「要約」です。記事全体や長いメールを要約できることは、想像以上に便利です。また、難解なプログラミングの質問をしたり、コードのデバッグを手伝ってもらう際には、非常に優秀なプログラマーに話を聞いてもらっているような感覚を味わえます。

この急激なAIの進化これこそが物理学においてこの１００年間研究されてきた「相転移」という現象「More Is Different」で、ミクロとマクロでは全然世界が違う、質的に違うのだということを、理論物理を元に論破したのがフィリップ・アンダーソンだった

マイクロソフト、ChatGPTよりも強力なAIを搭載した新検索エンジン「Bing」を発表

アルファベット株急落、グーグルのＡＩチャットボットが不正確な回答

話題爆発中のAI「ChatGPT」の仕組みにせまる！

InstructGPT、英語でしかトレーニングしていないのに、英語以外でも効いているのはなぜ？

https://github.com/saharmor/awesome-chatgpt 


オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
2023.03.31
https://xtech.nikkei.com/atcl/nxt/column/18/00692/033000103/

またオープンAIはGPT-3の論文「Language Models are Few-Shot Learners」で、その後のAI開発に大きな影響を与える「フューショットラーニング」という考え方も世に示した。

　GPT-3以前の言語モデル、例えば米Google（グーグル）が2018年に発表した3億4000万パラメーターのBERTは、大量の文章データを事前学習させた後に、数百例の教師データを追加するだけで新しいタスクに対応できる「ファインチューニング」が可能だった。

 　それに対してBERTよりもはるかに巨大である、1750億パラメーターを備えるGPT-3の場合は、事前学習済みの機械学習モデルに対してわずか数十例の教師データを与えるだけで、新たな能力を追加可能だった。これがフューショットラーニングだ。


ChatGPTとWhisperのAPIを使用して、AIと話せる会話アプリを作ってみた【Python初心者でも使えるコード付きで解説】

https://youtu.be/ECwfieE5hDU

LLMは生物学で捉えられるものかもしれない
https://www.moderntimes.tv/articles/20230403-01LLM

LLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。


実は、人類は、ある程度自律的に動いているが動作原理が不明なものの研究を長年行ってきた。それは生物である。生物はいまでこそ、進化の結果高度な機能を獲得したと思われているが、進化論が提出されるまでは、神という究極の知性が作ったと思われるくらい、精巧にできあがっているのだ。その生物を研究してきた長い経験が、「LLMはなぜ『穴埋め問題』や『文章の連続問題』を学んでいるだけなのに高度な知性が要ると思われる機能を実現しているのか？」を理解することに役立たないはずはない。


ラベル:

コメント

コメントを投稿

このブログの人気の投稿

ノイマンの軛 Von Neumann bottleneck が解けてきた

ディープラーニング  で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。 第３次人工知能ブーム https://www.youtube.com/embed/UAlGNAx5ngo?si=tdyeHcNKBMl46HWA 生成AI  ( G enerative Artificial Intelligence )は2017年のトランスフォーマーの論文( "Attention is All You Need" )から2022年の  ChatGPT  ( Chat Generative Pre-trained Transformer )まで５年間。 第４次人工知能ブームというべきか第３次ブームは２段ロケットだというべきか。 概説 人工知能 　生成AIは新しい技術なので解説本はまだ少ないが、 　ちくま学芸文庫から文庫オリジナルの生成AIまで含めた本がでていた。 第8講 トランスフォーマー・生成 AIの心臓部 P204 この講を終わるにあたり、 トランスフォーマーは、現代のコンピュータとは別のタイプの全く新しい発想の計算のアーキテクチャである ことを指摘しておく． この新しいアーキテクチャでポイントとなるのは、メモリアクセスである．コンピュータの計算ではデータの記憶は要となるものである。現代のコンピュータが実行する命令を細かく分解していって、物質で言えば原子のレベルまで細分化したとする。すると、その働きは、既にあるデータに演算を施して新しいデータを計算することと、その際に必要となるデータをメモリから取り出すことと、計算の結果をメモリに記憶することからなる。メモリには番地がついていて、データを取り出したり、格納したりするときは、データのある場所を番地により指定する。 トランスフォーマーのメモリに相当するのは、翻訳対象の一文中の単語のセットである。トランスフォーマーでは、このメモリから読み出すときの番地を指定する必要はなく、ワードエンベーディング間の距離から自動的に決まるようになっている。トランスフォーマーでは、読み出し先も書き込み先もワードエンペーディングのベクトルの内容により自動的に決まる。 現代のコンピュータでは、書き込みや読み出しはデータが格納されている場所のアド...
コメントを投稿
続きを読む

Mac Mini M2 に Google Sketchup のデータをもっていった

Google Sketchup の頃、作成した３Dモデルを Web版で開いてみた。 　 https://app.sketchup.com/app?hl=ja このファイルは Unity で読み込むことができているので、見慣れた光景ではあるが、懐かしさを感じる。 もう、Sketchup は Goolge から米Trimble Navigation Limited に移ってしまっている。 Google Earth に 3D Object がところどころに配置されていたものだった。 Unity で Sketchup で作成した .skp ファイルをインポートすることができる。 Unity経由で  Cluster にも公開してある。 https://cluster.mu/w/a8c634be-0371-4f86-91c6-4f5cacea589c さて、Mac Mini M2 で以前作成したUnityのプロジェクトを開いてみたところ、Sketchup からのデータが表示されていない。 さんざん調べたところ、どうやら Silicon 版Unity では Sketchup ファイルは 現在 サポートされていない。（ そのうちサポートされるらしい ） Siliicon Mac の壁にこんなところで遭遇するとは。 対応策としては  intel 版の Unity をインストールして使う Sketchup 2017 をダウンロードして FBX にエクスポートする Web版の Sketchup に課金して FBX にエクスポートする などがあるらしい。Trimble のサイトでは Sketchup 2017バージョンはダウンロードできなくなっているが、Windows用の 2017 を探し出して、昔の .skp ファイルを無事読み込むことができた。Mac Mini M2 登場で、少し前に買って失敗した .... ゲーミング Windows PC が役にたって少し嬉しい。 skp ファイルは 3Dモデルも画像もまとめて取り込むことができたが、FBXだと画像が付いてこないので、今回の場合、使い物にならない。 OBJ形式でエクスポートしてできた .obj と .mtl ファイルと 画像が入ったフォルダの３つを Unity へ ドラッグ&ドロップしたところ、上手くいっ...
コメントを投稿
続きを読む

量子力学のはじまり

 ２０１７に量子コンピュータ D-Wave 2000Q が報道された。 これに刺激され、量子力学関係の本を再読したり、量子コンピュータの本をいくつか読んだ。 量子力学のはじまり 炉の温度を確認するために炎を見つめると眼がやられる。鍛治の神は職業病として片目が不自由。産業革命以降、炉の温度を求める数式の研究が進められ、ようやく実験結果と一致する数式が完成した。 数式はできたが、これは「光の波のエネルギーはある決まった”とびとびの値”しかとらない」ことを意味していた。 こうして量子力学が始まった。 科学の発見   エネルギーを失い、原子核の中へと落ちてしまわないのはなぜなのだろう。 そんなことが起きるとすれば、安定した原子の存在があり得なくなるだけではない。 この小さな原子崩壊の際に放出される電磁波の周波数は連続スペクトルを形成するはずだ。 だがそれでは、原子が特定の飛び飛びの周波数(ガスのスペクトルの中で輝線または暗線として見られる)でしか電磁波を放出・吸収できないという観測結果に反することになる。何がこの特別な周波数を決定しているのだろう。 この疑問に対する答えは、 20世紀最初の30年間に、量子力学（ニュートン以来、物理学を最もラジカルに変えた理論）の発達とともに明らかになっていった。その名が示すとおり、 量子力学はさまざまな物理系のエネルギーの量子化つまり、飛び飛びの値にすることを必要とする。 1913年、二ールス・ボーア(訳注:1922年、原子構造とその放射についての研究でノーベル物理学賞)は、「原子は特定のエネルギー状態でしか存在できない」として、単純な原子についてそのエネルギーを計算するための数式を発表した。 それ以前のマックス・ブランク(1918年、エネルギー量子の発見なとでノーベル物理学賞)の研究に続いて、アインシュタインがすでに1905年に、「光のエネルギーは光量子のちに光子と呼ばれるようになったの中にある。光子は光の周波数に比例するエネルギーを持つ」 と指摘していた。 ボーアが説明したとおり、原子が光子1個を放出することによってエネルギを失うとき、その光子のエネルギーは最初の原子状態のエネルギーと最後の原子状態のエネルギーの差に等しくなければならない。この条件が光子の周波数を決定している。 光子を放出すること...
コメントを投稿
続きを読む