ChatGPTとアルゴリズムに関するvccのブックマーク (5)
-
プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。﹁機密情報の入力をどうさけるか﹂といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が
-
米OpenAI︵オープンAI︶が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな﹁謎﹂がある。機械学習モデルの規模︵パラメーター数︶や学習させたデータ量が明らかにされていないのだ。 2020年発表の﹁スケーリング則﹂がここにきて話題に オープンAIが2022年11月にリリースしたAI︵人工知能︶チャットボットChatGPTの能力があまりに高いことから、日本でもここにきて巨大言語モデルのスケーリング則︵Scaling Law︶が改めて注目されている。 スケーリング則とは、オープンAIが2020年10月に発表した論文﹁Scaling Laws for Autoregressive Generative Modeling﹂で示した法則だ。オープンAIは2020年6月に発表した巨大言語モデルGPT-3の経験に基づき、自己注意機構︵SA、Self Attention︶
-
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを︵Research Preview版ではあるが︶無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
-
2023/3/23 追記‥ こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 ︵ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。︶ −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング︵DNN︶のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が
-
◆◆◆ ﹁確率的に確からしい﹂という言葉を続けるロボット ――最近、ChatGPTという言葉をよくインターネットで目にします。なんとなく﹁こんなことができるのかな……？﹂というイメージは湧いているのですが、具体的なサービス内容を簡単に教えてもらえるでしょうか。 深津貴之氏︵以下、深津︶ 一言で言えば﹁人間の言葉で質問すると、人間の言葉で答えてくれるロボット﹂です。 例えば、質問に答えてくれたり、相談に乗ってくれたり、長文を要約してくれたり……。これまでの“検索”とは違って、人間的な知性があるかのように“文章で返答をしてくれる”のが大きな特徴というサービスですね。 お昼ごはんについて質問したときの回答。これまでの“検索”とは良くも悪くも勝手が違うことがよくわかる これはAIに大量の単語を学習させることで、﹁直前の単語に対して、最も可能性が高い次の単語を予測している﹂んです。例えば﹁むかしむか
-
1
ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY
オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
大規模言語モデルの驚異と脅威
数式を使わないTransformerの解説（前編） - conceptualization
「みんな、ChatGPTの扱いがもったいない…」ほとんどの日本人がチャットAIを使いこなせていない“決定的要因” | 文春オンライン
