スキップしてメイン コンテンツに移動

ノイマンの軛 Von Neumann bottleneck が解けてきた

コメントを投稿

話題の ChatGPT はなかなか人間味もある

「Googleが焦っている、USの学生がもうこれなしではレポート作成できない 」とかいう噂を耳にしたので、https://chat.openai.com/ にアクセスしたら、アカウントの新規作成を停止していた。

しばらくして（２月７日）アクセスしたらアカウントが作成できて、最初に会話した感じが良かったので、ちょっと驚いた。以下、緑色がChatGPT。

＞銅とガラスはどちらが溶けやすい
銅はガラスよりも溶けやすいです。銅の溶解温度は約1084℃ですが、ガラスの溶解温度は約1400℃から1600℃です。
＞鉄はどのくらいでとけるんだっけ
鉄は約1535℃で溶けます。
＞鉄は木炭で溶かせる？
はい、鉄は木炭の炎を利用して溶かすことができます。木炭炉では、鉄を高温に保つことができるため、鉄を溶かすことができます。しかし、木炭の熱源は不安定であり、適切な温度を維持することが困難です。また、鉄を溶かすことによって生じる煙やガスは健康被害を引き起こす可能性がありますので、注意が必要です。



鉄枠に銅箔を貼ったガラスを嵌め込む でガラスを溶かすのに苦労したが、銅の鋳造をみて、「そうか銅は柔らかいので加工しやすいけど、溶かすこともできるんだっけ」と再認識していたので ChatGPT に尋ねてみたのだ。

また、

この映画が公開された頃の「真珠の耳飾りの少女」の展示ついて聞いてみたとき

画家のフェルメールが描いた絵画「真珠の耳飾りの少女」は通常、オランダのフロリダ美術館で保管されており、そこで展示されています。

なんて、いってきたので「オランダのデン・ハーグのマウリッツハイス美術館が所蔵ですよ」（検索して確認して）と指摘したら、素直に謝りをみとめたけれども、別の絵画関係の会話では決して誤りを認めようとしはなかった。

LLM（Large Language Model）大量の文章を集めて学習させれば賢くなるが、意味を理解しているわけではない。単語が並ぶパターンを学習している。時には道徳的にまずいような文章も作成してしまうので、ChatGPTではこれに加えて人間の判断を学習させる工程(InstructGPT)も追加し、人間好みの文章を生成するようになっているらしい。

それなので、ときには間違いを素直に認めたり、気遣いを感じさせるような文章が付け加えられたりしているのかな？


Google vs Microsoft

Google とマイクロソフトの戦いが勃発しているが、卓越した企業でもその中でも優れた部門とそうでない部門がある。Googleの優れた部門とマイクロソフトのそうでない部門の戦いであれば結果はみえているような気もする。

私自身、プログラム言語の関数を確認したりするのは、もう ChatGPT で聞いた方が明らかにいいと思う。検索より Chat なので、Google の危機感は正しいと思った。

面倒な資料作成みたいなことは ChatGPT を使うとかなり効率化されそうだ。


的を射ていると思った指摘



関連リンク

絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由

ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」
私が個人的に最も役に立ったと思うものを挙げるとすれば、それは「要約」です。記事全体や長いメールを要約できることは、想像以上に便利です。また、難解なプログラミングの質問をしたり、コードのデバッグを手伝ってもらう際には、非常に優秀なプログラマーに話を聞いてもらっているような感覚を味わえます。

この急激なAIの進化これこそが物理学においてこの１００年間研究されてきた「相転移」という現象「More Is Different」で、ミクロとマクロでは全然世界が違う、質的に違うのだということを、理論物理を元に論破したのがフィリップ・アンダーソンだった

マイクロソフト、ChatGPTよりも強力なAIを搭載した新検索エンジン「Bing」を発表

アルファベット株急落、グーグルのＡＩチャットボットが不正確な回答

話題爆発中のAI「ChatGPT」の仕組みにせまる！

InstructGPT、英語でしかトレーニングしていないのに、英語以外でも効いているのはなぜ？

https://github.com/saharmor/awesome-chatgpt 


オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
2023.03.31
https://xtech.nikkei.com/atcl/nxt/column/18/00692/033000103/

またオープンAIはGPT-3の論文「Language Models are Few-Shot Learners」で、その後のAI開発に大きな影響を与える「フューショットラーニング」という考え方も世に示した。

　GPT-3以前の言語モデル、例えば米Google（グーグル）が2018年に発表した3億4000万パラメーターのBERTは、大量の文章データを事前学習させた後に、数百例の教師データを追加するだけで新しいタスクに対応できる「ファインチューニング」が可能だった。

 　それに対してBERTよりもはるかに巨大である、1750億パラメーターを備えるGPT-3の場合は、事前学習済みの機械学習モデルに対してわずか数十例の教師データを与えるだけで、新たな能力を追加可能だった。これがフューショットラーニングだ。


ChatGPTとWhisperのAPIを使用して、AIと話せる会話アプリを作ってみた【Python初心者でも使えるコード付きで解説】

https://youtu.be/ECwfieE5hDU

LLMは生物学で捉えられるものかもしれない
https://www.moderntimes.tv/articles/20230403-01LLM

LLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。


実は、人類は、ある程度自律的に動いているが動作原理が不明なものの研究を長年行ってきた。それは生物である。生物はいまでこそ、進化の結果高度な機能を獲得したと思われているが、進化論が提出されるまでは、神という究極の知性が作ったと思われるくらい、精巧にできあがっているのだ。その生物を研究してきた長い経験が、「LLMはなぜ『穴埋め問題』や『文章の連続問題』を学んでいるだけなのに高度な知性が要ると思われる機能を実現しているのか？」を理解することに役立たないはずはない。


ラベル:

コメント

コメントを投稿