スキップしてメイン コンテンツに移動

ノイマンの軛 Von Neumann bottleneck が解けてきた

コメントを投稿

話題の ChatGPT はなかなか人間味もある

「Googleが焦っている、USの学生がもうこれなしではレポート作成できない 」とかいう噂を耳にしたので、https://chat.openai.com/ にアクセスしたら、アカウントの新規作成を停止していた。

しばらくして（２月７日）アクセスしたらアカウントが作成できて、最初に会話した感じが良かったので、ちょっと驚いた。以下、緑色がChatGPT。

＞銅とガラスはどちらが溶けやすい
銅はガラスよりも溶けやすいです。銅の溶解温度は約1084℃ですが、ガラスの溶解温度は約1400℃から1600℃です。
＞鉄はどのくらいでとけるんだっけ
鉄は約1535℃で溶けます。
＞鉄は木炭で溶かせる？
はい、鉄は木炭の炎を利用して溶かすことができます。木炭炉では、鉄を高温に保つことができるため、鉄を溶かすことができます。しかし、木炭の熱源は不安定であり、適切な温度を維持することが困難です。また、鉄を溶かすことによって生じる煙やガスは健康被害を引き起こす可能性がありますので、注意が必要です。



鉄枠に銅箔を貼ったガラスを嵌め込む でガラスを溶かすのに苦労したが、銅の鋳造をみて、「そうか銅は柔らかいので加工しやすいけど、溶かすこともできるんだっけ」と再認識していたので ChatGPT に尋ねてみたのだ。

また、

この映画が公開された頃の「真珠の耳飾りの少女」の展示ついて聞いてみたとき

画家のフェルメールが描いた絵画「真珠の耳飾りの少女」は通常、オランダのフロリダ美術館で保管されており、そこで展示されています。

なんて、いってきたので「オランダのデン・ハーグのマウリッツハイス美術館が所蔵ですよ」（検索して確認して）と指摘したら、素直に謝りをみとめたけれども、別の絵画関係の会話では決して誤りを認めようとしはなかった。

LLM（Large Language Model）大量の文章を集めて学習させれば賢くなるが、意味を理解しているわけではない。単語が並ぶパターンを学習している。時には道徳的にまずいような文章も作成してしまうので、ChatGPTではこれに加えて人間の判断を学習させる工程(InstructGPT)も追加し、人間好みの文章を生成するようになっているらしい。

それなので、ときには間違いを素直に認めたり、気遣いを感じさせるような文章が付け加えられたりしているのかな？


Google vs Microsoft

Google とマイクロソフトの戦いが勃発しているが、卓越した企業でもその中でも優れた部門とそうでない部門がある。Googleの優れた部門とマイクロソフトのそうでない部門の戦いであれば結果はみえているような気もする。

私自身、プログラム言語の関数を確認したりするのは、もう ChatGPT で聞いた方が明らかにいいと思う。検索より Chat なので、Google の危機感は正しいと思った。

面倒な資料作成みたいなことは ChatGPT を使うとかなり効率化されそうだ。


的を射ていると思った指摘



関連リンク

絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由

ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」
私が個人的に最も役に立ったと思うものを挙げるとすれば、それは「要約」です。記事全体や長いメールを要約できることは、想像以上に便利です。また、難解なプログラミングの質問をしたり、コードのデバッグを手伝ってもらう際には、非常に優秀なプログラマーに話を聞いてもらっているような感覚を味わえます。

この急激なAIの進化これこそが物理学においてこの１００年間研究されてきた「相転移」という現象「More Is Different」で、ミクロとマクロでは全然世界が違う、質的に違うのだということを、理論物理を元に論破したのがフィリップ・アンダーソンだった

マイクロソフト、ChatGPTよりも強力なAIを搭載した新検索エンジン「Bing」を発表

アルファベット株急落、グーグルのＡＩチャットボットが不正確な回答

話題爆発中のAI「ChatGPT」の仕組みにせまる！

InstructGPT、英語でしかトレーニングしていないのに、英語以外でも効いているのはなぜ？

https://github.com/saharmor/awesome-chatgpt 


オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
2023.03.31
https://xtech.nikkei.com/atcl/nxt/column/18/00692/033000103/

またオープンAIはGPT-3の論文「Language Models are Few-Shot Learners」で、その後のAI開発に大きな影響を与える「フューショットラーニング」という考え方も世に示した。

　GPT-3以前の言語モデル、例えば米Google（グーグル）が2018年に発表した3億4000万パラメーターのBERTは、大量の文章データを事前学習させた後に、数百例の教師データを追加するだけで新しいタスクに対応できる「ファインチューニング」が可能だった。

 　それに対してBERTよりもはるかに巨大である、1750億パラメーターを備えるGPT-3の場合は、事前学習済みの機械学習モデルに対してわずか数十例の教師データを与えるだけで、新たな能力を追加可能だった。これがフューショットラーニングだ。


ChatGPTとWhisperのAPIを使用して、AIと話せる会話アプリを作ってみた【Python初心者でも使えるコード付きで解説】

https://youtu.be/ECwfieE5hDU

LLMは生物学で捉えられるものかもしれない
https://www.moderntimes.tv/articles/20230403-01LLM

LLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。


実は、人類は、ある程度自律的に動いているが動作原理が不明なものの研究を長年行ってきた。それは生物である。生物はいまでこそ、進化の結果高度な機能を獲得したと思われているが、進化論が提出されるまでは、神という究極の知性が作ったと思われるくらい、精巧にできあがっているのだ。その生物を研究してきた長い経験が、「LLMはなぜ『穴埋め問題』や『文章の連続問題』を学んでいるだけなのに高度な知性が要ると思われる機能を実現しているのか？」を理解することに役立たないはずはない。


ラベル:

コメント

コメントを投稿

このブログの人気の投稿

カーナビの Wi-fi とApple CarPlayの仕組み　地図更新に時間がかかる

苦労してカーナビをiPhoneでテザリングした。 地図がダウンロードできて、いざ更新しようとしたら処理に何時間もかかる（車の電源切るな!!!）ような表示がされたので中断した。 USBに地図をダウンロードしておいて、ここから更新できるようなのでダウンロード（全国でなく、東北、関東、中部だけ）して、中身をちょっと覗いてみたら、２０万行くらいあるSQL文があった。 更新処理に時間がかかる理由が、わかったような気がした。 追記： 　USBに東北、関東、中部の地図をダンロードして、USB経由で更新したところ、５、６分の処理で完了した。 テザリングによる更新の処理時間は、以後の本体部分の地図情報をダウンロードにかかる時間を含めたものと思われる。 追記２： 　部分的に地図を更新したら「地図が最新ではありません」と表示されるようになった。 　鬱陶しいのでUSBに全国の地図をダウンロードして、車に挿したら「『地図が最新ではありません』と表示されるタイミングで勝手に地図の更新処理を促す画面が起動した。 処理時間は２５分と表示されたが、３０分以上かかった。 Macから解凍した20GBのファイルをUSBにコーピーするだけで２０分くらいかかったので３０分程度はかかって当然か。 　エンジンかけたまま車から降りたら「警告：キーが見つかりません」と表示されていた。 追記３： 　どうやらUSBに更新につかった地図データを入れたままにしていると（USBの）「地図が最新ではありません」といってくるようだった。
コメントを投稿
続きを読む

力と交換様式

  東京駅の八重洲のブックセンターが営業終了になるらしいので、折角なので銀座に行ったついでに立ち寄ってみた。しかし、残念ながら「力と交換様式」の在庫はなかった。 Amazonの以下のような書評がちょっと気になっていた。 柄谷行人氏は非常に長い時間と熱量を以ってマルクスを何とか哲学的にもまともなものとして救い出そうとしていた様に見える。だがそれは無理だったというのが柄谷氏自身の集大成的な仕事の最終的な結論だと思われる   「歴史学者という病」の一節を読んで、以前からずっと「唯物論」というのがよく理解できなかったのだが「唯物論＝マルクス主義」というか「マルクス教という宗教の信者がたくさんいただけ」ということにいまさら気づかされて、なんだか少しスッキリした。  唯物史観とは、生産構造こそが社会を支え、生産構造の分析こそが社会を豊かにするといった「哲学」に則る。生産構造と階級闘争、つまり異なる生産構造を持つ主体の対立が階級として現れ、この階級の闘争の積み重ねこそが歴史であるという理解に落ち着く。（中略） 唯物史観を離れて実証へ向かった先生方は存在する。ただし、当時の主だった歴史研究者は、ほぼ全員が唯物史観に近い立場であったことは事実である。 モノの「交換様式」というやつは「肝」であるようだ。 K・マルクスによれば、商品交換とは異なる共同体のあいだで行われる物々交換からはじまるもとのされます（『資本論』）。 縄文イデオロギーを共有し、それゆえ「外部」を持たなかった縄文時代の日本列島の社会に、商品交換は存在しませんでした。しかし、弥生文化が成立すると... 縄文時代は贈与と交換が中心で、モノの売り買いに対する忌避もまた、縄文文化ということらしい。 最近では縄文時代から稲作があったのが明らかになってきている。農業を拒否していたのでなく、モノの売り買いを忌避していたのか。 縄文から弥生になって芸術レベルが格段に落ちたのは明らか。土偶と埴輪では勝負にならない。   ちなみに遮光器土偶は「里芋の妖精さん」説はまさに目から鱗。 妖精といえば「 山田五郎 オトナの教養講座 」で１７世紀のイギリスでも大ブームだったといっていた。 ハリーポッターも伊達ではない。 リチャード・ダッド「お伽の樵の入神の一...
コメントを投稿
続きを読む

ノイマンの軛 Von Neumann bottleneck が解けてきた

ディープラーニング  で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。 第３次人工知能ブーム https://www.youtube.com/embed/UAlGNAx5ngo?si=tdyeHcNKBMl46HWA 生成AI  ( G enerative Artificial Intelligence )は2017年のトランスフォーマーの論文( "Attention is All You Need" )から2022年の  ChatGPT  ( Chat Generative Pre-trained Transformer )まで５年間。 第４次人工知能ブームというべきか第３次ブームは２段ロケットだというべきか。 概説 人工知能 　生成AIは新しい技術なので解説本はまだ少ないが、 　ちくま学芸文庫から文庫オリジナルの生成AIまで含めた本がでていた。 第8講 トランスフォーマー・生成 AIの心臓部 P204 この講を終わるにあたり、 トランスフォーマーは、現代のコンピュータとは別のタイプの全く新しい発想の計算のアーキテクチャである ことを指摘しておく． この新しいアーキテクチャでポイントとなるのは、メモリアクセスである．コンピュータの計算ではデータの記憶は要となるものである。現代のコンピュータが実行する命令を細かく分解していって、物質で言えば原子のレベルまで細分化したとする。すると、その働きは、既にあるデータに演算を施して新しいデータを計算することと、その際に必要となるデータをメモリから取り出すことと、計算の結果をメモリに記憶することからなる。メモリには番地がついていて、データを取り出したり、格納したりするときは、データのある場所を番地により指定する。 トランスフォーマーのメモリに相当するのは、翻訳対象の一文中の単語のセットである。トランスフォーマーでは、このメモリから読み出すときの番地を指定する必要はなく、ワードエンベーディング間の距離から自動的に決まるようになっている。トランスフォーマーでは、読み出し先も書き込み先もワードエンペーディングのベクトルの内容により自動的に決まる。 現代のコンピュータでは、書き込みや読み出しはデータが格納されている場所のアド...
コメントを投稿
続きを読む