スキップしてメイン コンテンツに移動

ノイマンの軛 Von Neumann bottleneck が解けてきた

コメントを投稿

話題の ChatGPT はなかなか人間味もある

「Googleが焦っている、USの学生がもうこれなしではレポート作成できない 」とかいう噂を耳にしたので、https://chat.openai.com/ にアクセスしたら、アカウントの新規作成を停止していた。

しばらくして（２月７日）アクセスしたらアカウントが作成できて、最初に会話した感じが良かったので、ちょっと驚いた。以下、緑色がChatGPT。

＞銅とガラスはどちらが溶けやすい
銅はガラスよりも溶けやすいです。銅の溶解温度は約1084℃ですが、ガラスの溶解温度は約1400℃から1600℃です。
＞鉄はどのくらいでとけるんだっけ
鉄は約1535℃で溶けます。
＞鉄は木炭で溶かせる？
はい、鉄は木炭の炎を利用して溶かすことができます。木炭炉では、鉄を高温に保つことができるため、鉄を溶かすことができます。しかし、木炭の熱源は不安定であり、適切な温度を維持することが困難です。また、鉄を溶かすことによって生じる煙やガスは健康被害を引き起こす可能性がありますので、注意が必要です。



鉄枠に銅箔を貼ったガラスを嵌め込む でガラスを溶かすのに苦労したが、銅の鋳造をみて、「そうか銅は柔らかいので加工しやすいけど、溶かすこともできるんだっけ」と再認識していたので ChatGPT に尋ねてみたのだ。

また、

この映画が公開された頃の「真珠の耳飾りの少女」の展示ついて聞いてみたとき

画家のフェルメールが描いた絵画「真珠の耳飾りの少女」は通常、オランダのフロリダ美術館で保管されており、そこで展示されています。

なんて、いってきたので「オランダのデン・ハーグのマウリッツハイス美術館が所蔵ですよ」（検索して確認して）と指摘したら、素直に謝りをみとめたけれども、別の絵画関係の会話では決して誤りを認めようとしはなかった。

LLM（Large Language Model）大量の文章を集めて学習させれば賢くなるが、意味を理解しているわけではない。単語が並ぶパターンを学習している。時には道徳的にまずいような文章も作成してしまうので、ChatGPTではこれに加えて人間の判断を学習させる工程(InstructGPT)も追加し、人間好みの文章を生成するようになっているらしい。

それなので、ときには間違いを素直に認めたり、気遣いを感じさせるような文章が付け加えられたりしているのかな？


Google vs Microsoft

Google とマイクロソフトの戦いが勃発しているが、卓越した企業でもその中でも優れた部門とそうでない部門がある。Googleの優れた部門とマイクロソフトのそうでない部門の戦いであれば結果はみえているような気もする。

私自身、プログラム言語の関数を確認したりするのは、もう ChatGPT で聞いた方が明らかにいいと思う。検索より Chat なので、Google の危機感は正しいと思った。

面倒な資料作成みたいなことは ChatGPT を使うとかなり効率化されそうだ。


的を射ていると思った指摘



関連リンク

絶体絶命の危機を迎えたグーグルのAI開発、遅れをとった理由

ChatGPTの生みの親、サム・アルトマンが語る「AIと検索と資本主義の未来」
私が個人的に最も役に立ったと思うものを挙げるとすれば、それは「要約」です。記事全体や長いメールを要約できることは、想像以上に便利です。また、難解なプログラミングの質問をしたり、コードのデバッグを手伝ってもらう際には、非常に優秀なプログラマーに話を聞いてもらっているような感覚を味わえます。

この急激なAIの進化これこそが物理学においてこの１００年間研究されてきた「相転移」という現象「More Is Different」で、ミクロとマクロでは全然世界が違う、質的に違うのだということを、理論物理を元に論破したのがフィリップ・アンダーソンだった

マイクロソフト、ChatGPTよりも強力なAIを搭載した新検索エンジン「Bing」を発表

アルファベット株急落、グーグルのＡＩチャットボットが不正確な回答

話題爆発中のAI「ChatGPT」の仕組みにせまる！

InstructGPT、英語でしかトレーニングしていないのに、英語以外でも効いているのはなぜ？

https://github.com/saharmor/awesome-chatgpt 


オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
2023.03.31
https://xtech.nikkei.com/atcl/nxt/column/18/00692/033000103/

またオープンAIはGPT-3の論文「Language Models are Few-Shot Learners」で、その後のAI開発に大きな影響を与える「フューショットラーニング」という考え方も世に示した。

　GPT-3以前の言語モデル、例えば米Google（グーグル）が2018年に発表した3億4000万パラメーターのBERTは、大量の文章データを事前学習させた後に、数百例の教師データを追加するだけで新しいタスクに対応できる「ファインチューニング」が可能だった。

 　それに対してBERTよりもはるかに巨大である、1750億パラメーターを備えるGPT-3の場合は、事前学習済みの機械学習モデルに対してわずか数十例の教師データを与えるだけで、新たな能力を追加可能だった。これがフューショットラーニングだ。


ChatGPTとWhisperのAPIを使用して、AIと話せる会話アプリを作ってみた【Python初心者でも使えるコード付きで解説】

https://youtu.be/ECwfieE5hDU

LLMは生物学で捉えられるものかもしれない
https://www.moderntimes.tv/articles/20230403-01LLM

LLMはこの非線形非平衡多自由度系の性質を完全に備えている、というか非線形非平衡多自由度系そのものだといってもいい（実際、LLMの基盤技術である深層学習のプロトタイプであるニューラルネットワークは非線形非平衡多自由度系の中の一大勢力として盛んに当時の物理学者によって研究された）。


実は、人類は、ある程度自律的に動いているが動作原理が不明なものの研究を長年行ってきた。それは生物である。生物はいまでこそ、進化の結果高度な機能を獲得したと思われているが、進化論が提出されるまでは、神という究極の知性が作ったと思われるくらい、精巧にできあがっているのだ。その生物を研究してきた長い経験が、「LLMはなぜ『穴埋め問題』や『文章の連続問題』を学んでいるだけなのに高度な知性が要ると思われる機能を実現しているのか？」を理解することに役立たないはずはない。


ラベル:

コメント

コメントを投稿

このブログの人気の投稿

ノイマンの軛 Von Neumann bottleneck が解けてきた

ディープラーニング  で画像認識の精度が上がり第３次人工知能ブームが巻き起こった。1998年の論文から2012年の画像コンペディションまで14年。 第３次人工知能ブーム https://www.youtube.com/embed/UAlGNAx5ngo?si=tdyeHcNKBMl46HWA 生成AI  ( G enerative Artificial Intelligence )は2017年のトランスフォーマーの論文( "Attention is All You Need" )から2022年の  ChatGPT  ( Chat Generative Pre-trained Transformer )まで５年間。 第４次人工知能ブームというべきか第３次ブームは２段ロケットだというべきか。 概説 人工知能 　生成AIは新しい技術なので解説本はまだ少ないが、 　ちくま学芸文庫から文庫オリジナルの生成AIまで含めた本がでていた。 第8講 トランスフォーマー・生成 AIの心臓部 P204 この講を終わるにあたり、 トランスフォーマーは、現代のコンピュータとは別のタイプの全く新しい発想の計算のアーキテクチャである ことを指摘しておく． この新しいアーキテクチャでポイントとなるのは、メモリアクセスである．コンピュータの計算ではデータの記憶は要となるものである。現代のコンピュータが実行する命令を細かく分解していって、物質で言えば原子のレベルまで細分化したとする。すると、その働きは、既にあるデータに演算を施して新しいデータを計算することと、その際に必要となるデータをメモリから取り出すことと、計算の結果をメモリに記憶することからなる。メモリには番地がついていて、データを取り出したり、格納したりするときは、データのある場所を番地により指定する。 トランスフォーマーのメモリに相当するのは、翻訳対象の一文中の単語のセットである。トランスフォーマーでは、このメモリから読み出すときの番地を指定する必要はなく、ワードエンベーディング間の距離から自動的に決まるようになっている。トランスフォーマーでは、読み出し先も書き込み先もワードエンペーディングのベクトルの内容により自動的に決まる。 現代のコンピュータでは、書き込みや読み出しはデータが格納されている場所のアド...
コメントを投稿
続きを読む

御食国志摩の伊勢神宮

 　伊勢神宮ははじめてでしたが、大嘗祭のとき皇居の大嘗宮をみに何時間も大行列に並んだことを思い出しました。 　正式参拝（御垣内参拝/みかきうちさんぱい）される方々の姿には感銘を受けました。 　内宮のガイドの方に「1000年ぶりの天皇の神宮参拝」について尋ねたら「明治天皇は軍艦に乗ってやってきた！」と返ってきて、後で調べたら上陸記念碑も建っているようでした。記紀と違うことも伊勢神宮の文献にはいろいろある、みたいなこともちょといっておられました。 その後、すぐ昼食で、伊勢神宮宇治橋正面「勢乃國屋」の入り口で「蘇民将来子孫門」のみやげ品陳列はかなりの違和感でしたが、そういえば伊勢ではこの注連縄を一年中飾っているという話を聞いたことがありました。 記紀には登場するけど神宮にはでてこない スサノオの気配 ですかね。 　次回は早朝に参拝して、お昼はおかげ横丁でいろいろなものを少しづつ食べ歩きしたいものです。 　ホテルの食事でも御食国(みけつくに)を感じ、豊かなところだから歴史的にいろいろなものを受け入れ、取り込んでこれたのだと舌で理解しました。五芒星やら蘇民将来子孫門やら。 　外宮の多賀宮を参拝したら、元伊勢、籠神社に行かなくてはと、若狭も御食国ですし。 メモ ・   １２年くらい前いろいろ調べてまとめたメモ 　         ・藤原不比等が神を入れ替えた？　 　本来なら、天皇家の守神にもなったであろう「伊勢の神」を、恐ろしい存在にしてしまったのは、持統天皇と藤原不比等だと思う。祟り神でも、祀りあげれば、恵みをもたらす神に代わるはずだからだ。しかしそれを怠り、伊勢に放逐したわけだ。それはどうしてなのか。 　答えは簡単なことだ。スサノヲは天皇家にとって大切な神だったが、もうひとつ「蘇我系の神」の側面があった。乙巳（いっし）の変（645）で蘇我入鹿を滅ぼし、藤原氏は改革者・蘇我氏の手柄を横取りし、スサノヲに簑笠を着せて「悪神」に仕立て上げてしまった。そこで藤原不比等はスサノヲをアマテラスにすり替え、その上で伊勢に封印してしまったのだろう。 ※本記事は、『スサノヲの正体』（新潮新書）の一部を抜粋、再編集したものです。　   https://news.yahoo.co.jp/a...
コメントを投稿
続きを読む

カーナビの Wi-fi とApple CarPlayの仕組み　地図更新に時間がかかる

苦労してカーナビをiPhoneでテザリングした。 地図がダウンロードできて、いざ更新しようとしたら処理に何時間もかかる（車の電源切るな!!!）ような表示がされたので中断した。 USBに地図をダウンロードしておいて、ここから更新できるようなのでダウンロード（全国でなく、東北、関東、中部だけ）して、中身をちょっと覗いてみたら、２０万行くらいあるSQL文があった。 更新処理に時間がかかる理由が、わかったような気がした。 追記： 　USBに東北、関東、中部の地図をダンロードして、USB経由で更新したところ、５、６分の処理で完了した。 テザリングによる更新の処理時間は、以後の本体部分の地図情報をダウンロードにかかる時間を含めたものと思われる。 追記２： 　部分的に地図を更新したら「地図が最新ではありません」と表示されるようになった。 　鬱陶しいのでUSBに全国の地図をダウンロードして、車に挿したら「『地図が最新ではありません』と表示されるタイミングで勝手に地図の更新処理を促す画面が起動した。 処理時間は２５分と表示されたが、３０分以上かかった。 Macから解凍した20GBのファイルをUSBにコーピーするだけで２０分くらいかかったので３０分程度はかかって当然か。 　エンジンかけたまま車から降りたら「警告：キーが見つかりません」と表示されていた。 追記３： 　どうやらUSBに更新につかった地図データを入れたままにしていると（USBの）「地図が最新ではありません」といってくるようだった。
コメントを投稿
続きを読む