[B! AI] nunulkのブックマーク

[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜

この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル︵LLM︶を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して﹁十分に良い﹂ものになりました。そして、年々良くなり、安く

nunulk 2024/06/24

リンク

社内文書検索&QAシステムの RAG ではないところ - Algomatic Tech Blog

こんにちは。NEO(x) 機械学習エンジニアの宮脇︵@catshun_︶です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。実際こんな記事も話題になりましたね。本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの外部知識資源を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'

nunulk 2024/05/31

"重要なのは生成誤りを認めた上で、どのような予防や対策、導線を張るかを考慮した設計を行うことです。"

AI

リンク

AIが「心の理論」テストで人間超え、この結果は何を意味するか

人工知能(AI)モデルが、人間の感情理解力を測るテストで人間並み、時に上回る成績を収めたことが分かった。ただ、訓練データにそうしたタスクが含まれていた可能性も否定できず、大規模言語モデルが「人のように」考えているわけではない。 by Rhiannon Williams2024.05.22 275 21 人間は複雑な存在だ。私たちのコミュニケーションの方法は多層的であり、心理学者たちは対話から意味や理解を推測する能力を測るためのテストを数多く考案してきた。人工知能（AI）モデルは、こうしたテストでますます優れた結果を出している。ネイチャー・ヒューマン・ビヘイビア（Nature Human Behavior）に5月20日に掲載された新たな研究によると、一部の大規模言語モデル（LLM）は人の心理状態を追跡する能力（いわゆる「心の理論」と呼ばれる）を測るために設計されたタスクを与えられた場合、人

nunulk 2024/05/22

リンク

LLMによるLLMの評価とその評価の評価について

LLMをプロダクトに活用していく上でプロンプトの出力結果を評価していかなければいけない訳ですが、可能な限り自動で定量評価できると改善もしていきやすくなり大変助かります。そこで所謂LLM-as-a-Judgeと呼ばれるLLMに評価してもらう手法を取るわけですが、やはり﹁このスコアはどれくらい信じられるのか...?﹂という疑問が湧いてきて"評価の評価"がしたくなってきます。というところで、本記事では使いそうなLLM-as-a-Judgeの手法について調べた後、"評価の評価"の仕方を調べてみた結果をまとめていきます。 LLM-as-a-Judgeの手法まず初めに、LLM-as-a-Judgeにも様々な手法が存在するので、それらを確認していきます。スコアベース一番ベーシックなものはスコアをつけてもらうやり方です。次のように実際のインプット、それに対するLLMの回答をプロンプトに加えて、

nunulk 2024/05/08

AI

リンク

Dify で RAG を試す｜npaka

1. RAG﹁RAG﹂(Retrieval Augmented Generation) は、最新の外部知識の習得とハルシネーションの軽減という、LLMの2つの主要課題に対処するためのフレームワークです。開発者はこの技術を利用して、AI搭載のカスタマーボット、企業知識ベース、AI検索エンジンなどをコスト効率よく構築できます。これらのシステムは、自然言語入力を通じて、さまざまな形態の組織化された知識と相互作用します。下図では、ユーザーが﹁アメリカの大統領は誰ですか？﹂と尋ねると、システムは回答のためにLLMに質問を直接渡しません。代わりに、ユーザーの質問について、知識ベース (Wikipediaなど) でベクトル検索を実施します。意味的な類似性マッチングを通じて関連するコンテンツを見つけ (たとえば、﹁バイデンは現在の第46代アメリカ合衆国大統領です...﹂)、LLMに発見した知識とともにユ

nunulk 2024/05/07

リンク

Dify のワークフローの概要｜npaka

以下の記事が面白かったので、簡単にまとめました。・Workflow - Dify 1. ワークフロー1-1. ワークフロー﹁ワークフロー﹂は、複雑なタスクを小さな﹁ノード﹂に分割することで、LLMアプリケーションのモデル推論への依存を減らし、システムの説明可能性、安定性、耐障害性を向上させます。﹁ワークフロー﹂の種類は、次のとおりです。・Chatflow : 顧客サービス、セマンティック検索など、応答作成に複数ステップのロジックを必要とする会話シナリオ用・Workflow : 高品質な翻訳、データ分析、コンテンツ作成、電子メールの自動化など、自動化・バッチ処理シナリオ用 1-2. Chatflow自然言語入力におけるユーザー意図認識の複雑さに対処するため、﹁質問分類﹂﹁質問書き換え﹂﹁サブ質問分割﹂などの問題理解ノードを提供します。さらに、LLMに外部環境との対話機能、すなわち﹁

nunulk 2024/05/04

AI

リンク

専門性の高いデータの読み解きをLLMでスケールさせよう | CyberAgent Developers Blog

こんにちは．協業リテールメディアdivでデータサイエンティストをしています須ヶ﨑です．本日はLLMを用いて専門性の高いデータを読み解くというトピックをご紹介します．また，実際にオープンデータである気象データと，NYCタクシーデータを読み解く例をご紹介します．専門性の高いデータの読み解きがスケールする嬉しさ今回の記事での「専門性の高いデータ」とは，気象データや株価推移，POSデータ，時系列行動データ，車の運転データ，センサーデータなど，データ自体が直感的に理解しにくく，理解するためには一定の分析，及び，その読み解きを必要とするようなデータを指しています．さまざまなビジネスにおいて，色々な分野のデータが当たり前に集められるようになり，データの価値やその活用がとても重視されるようになってきています．これらのデータを基軸としたデータ分析によって、顧客のニーズを的確に把握し、効果的なマーケテ

nunulk 2024/05/04

AI

リンク

Snowflake の Copilot が優秀すぎる件について

マーケティングテクノロジーの情報やノウハウ・TIPS、エクスチュア社の情報を発信。︻ブログネタ募集︼ご興味のある分野を教えてください！ご要望の内容を記事に起こします！メニューの﹁ブログへの﹂リクエストよりお送りください。 menu こんにちは、喜田です。いままでSnowflakeのライトユーザーで一部機能だけに特化して触っている状態でしたが、最近はData Superheroes 2024になったこともあり、いままで関わりの薄かった製品領域も調査したり、海外リージョンでしか出ていないプレビューを触ったりしています。そのうちの一つがCopilotで、いまは北米など一部リージョンでのみパブリックプレビュー中の、Snowflakeコード開発が一段と捗るAIおしゃべり機能です。この右側のパネルがCopilotとのチャット。出力が多くてチャットっぽくないですが、上から会話が続いております。C

nunulk 2024/05/03

"テーブル定義や列定義にコメントは一切入れておらず、列名の情報のみ"

SQL
AI

リンク

もう人間がクエリを書く時代じゃない！SQLクエリの組み立てを自動化するSlack botを開発・導入しました - Pepabo Tech Portal

こんにちは。SUZURI事業部の@kromiiiと申します。私のメインの業務はWebアプリケーションの開発ですが、大学院時代のスキルを活かして並行してデータ分析業務も行っています。データ分析業務ではデータベースのクエリを書くことが多いのですが、私自身SUZURI事業部に配属されたばかりで、テーブルの名前やリレーションを覚えるのが大変でした。そこでクエリの設計を自動化するツールをSlackに導入しました。その名もtbls-ask bot です。どのようなものか先に見てみましょう。ユーザーはSlackでメンションする形で、どのようなクエリを実行したいのか自然言語で入力します。メンションされるとSlack botが起動し、どのDBスキーマを利用するかを尋ねます。ユーザーがDBスキーマを選択すると、自然言語からSQLクエリを生成し、Slackに返答します。今回はパブリックに公開する

nunulk 2024/05/03

使ってみたい

SQL
AI

リンク

Difyで生成AIアプリケーション入門　前編：生成AIアプリケーションをノーコードで開発 | フューチャー技術ブログ

概要Dify ︵DeFiではない︶と Anthropic Claude ︵OpenAI でも OpenRouter 経由の何かでもOK︶を使って簡単に生成AIアプリケーションを構築する方法をご紹介します。前編‥ノーコードで生成AIアプリケーションを構築するチュートリアル後編‥自作プログラムで機能追加して生成AIの指向性と精度を高めるサンプルの2本立ての予定です。対象読者生成AIに興味があるがまだチャット以上の利用法を見出せず手を出せていない方お試しに手軽に生成AIアプリケーションを構築してみたい方特にOpenAIに月額費用に躊躇っている方前提知識・環境Docker (Docker Compose)。Windows なら Docker Desktop。後編ではホスト名 host.docker.internal を使用します“時々生成AIをチャットで活用している”程度のプロンプト操作の知識

nunulk 2024/05/02

リンク

プログラミングの終焉と生存戦略｜k1ito

この文章は何‥ 近年の生成AIブームにより、革命的なまでにプログラミングという仕事の形は変わることが予想され、実際、今までにない速度で世界が効率化され様々なサービスがローンチされていく中﹁使う側﹂としても﹁作る側﹂としても﹁IT業界(特にSaaS業界など)での生存﹂は難しくなっているように感じます。正解を知っていたらとっくに僕は大儲けをしているわけですが、当然わかるはずもなく生存戦略に苦しむだけの中での寝言です。まとめと結論めいたもの‥AI 技術の発展により﹁プログラミング﹂と呼ばれる﹁人間の仕事を機械に引き継ぐ行為﹂のほとんどはゼロコストで行えるようになり、少なくとも今ほどの価値や競争優位の源泉とはならないだろう。今やるべきは、AIを自社の競争優位の源泉とするべく、まるで人材投資のようにAIへの引き継ぎ書を書くことと、AIの研修制度を作ることかもしれない。プログラミングという仕事の終焉

nunulk 2024/02/04

いまはまだ補助程度だけど、そのうち（早いうちに）人間のほうが補助になるフェーズが来るので、慌てるのは（次のフェーズを考えるのは）そのときになってからでいいんじゃない？

AI

リンク

【2023年版優良ツールまとめ】このツールを使っていないエンジニアは人生を悔い改めよ - Qiita

弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。はじめに本記事は2023年のエンジニア向け生産性向上ツールの紹介記事です。 2022年11月のChatGPTの登場を機に生成AIは急激な進化をみせ、生成AIに関連したツールが次々と登場しています。ソフトバンクグループの社長である孫正義氏が﹁ChatGPTを使ってない人は﹃人生を悔い改めた方がいい﹄﹂と発言するほど、これからは"どのようにAI等のツールを活用するか"が重要となります。強気の発言ではありますが、活用するのか・取り残されるのかという危機感を強く持つべきとの意図であるといえます。実際、現代ではITツールを使いこなしてるか否かで生産性に明確な違いが現れるように

nunulk 2023/12/26

HyperSwitch 気づくと落ちてることがあるので AltTab 使ってみようっと、ありがとうございます！ > hiro7373 さん

リンク

日本はAIへの期待が世界最高だが、AIツールの活用は最下位―Slackがグローバルの労働環境調査結果を発表　

nunulk 2023/12/25

興味深い / "AIツールを導入しても業務の生産性が向上していないとの回答が91％に達し、調査対象国のうち最下位となった。"

GTD
AI

リンク

プログラミング初心者がFlutterとchatGPTを使って3週間でアプリを作った話

イントロ YouTubeを見てて、ふとしたきっかけでプログラミング初心者の自分でもアプリが作れるんじゃないかと思い、3週間で完成させた話を共有しようと思います！これからプログラミングを頑張ってみたい人や、既にエンジニアだけどchatGPTが本当に開発に役立つのかどうかを知りたい人のお役に立てれば幸いです。今の時代なら誰でもアプリが簡単に作れます！自己紹介自分は3ヶ月前までプログラミングなんて全く触れたことがない人間でした。しかし、最近流行りのAI、chatGPTに関して色々と話を聞いてみると、﹁もしかしたら自分もchatGPTを使えばアプリが作れるんじゃないか！？﹂と思うようになってきました。 LINEの﹁AIチャットくん﹂なんかもchatGPTを利用して一日で作られたらしいですね。でもあれは元々アプリ開発経験のある人たちが作ったものなので、﹁本当にプログラミング初心者でもch

nunulk 2023/07/31

素晴らしい

リンク

【テンプレ付】chatgptを使ってツールの要件定義をしたら工数が40時間→4時間になった - みんなのシステム企画

﹁chatgptを使って要件定義の工数を削減したい﹂﹁そもそもchatgptを使って質の高い要件定義ができるのだろうか﹂とお悩みなのではないだろうか。結論、chatgptで質の高い要件定義を短時間で実現することは可能だ。実際に私もchatgptを使って下記のような要件定義書を完成させた。通常この要件定義書を0から自力で作ろうと思うと40時間はかかるが、chatgptを使う事によって4時間で完成させることができた。しかし、ただプロンプトをなんとな投げ掛ければ良いというわけではない。目的を達成するために綿密に設計をしたプロンプトを投げかける必要がある。また、要件定義の中でも・chatgptに丸投げして良いところ・自分で手直しをした方が良いところを精査することも大切だそこで今回は上記のような要件定義書を4時間で完成させるために、私がchatgptへ投げかけたプロンプトを全

nunulk 2023/07/24

逆に自力でやった場合、40時間のうちどの工程に時間かかるんだろう、UMLとか表あたりかな

リンク

「チャットAIに仕事奪われそう」76.9％　若い世代ほど高い傾向

キャリア相談サイトを運営するライボ︵東京都渋谷区︶は5月22日、ChatGPTのようなチャットAIに仕事を奪われると思っている人が76.9％いるとする調査結果を発表した。若い世代ほど奪われそうとする人の割合が大きい傾向にあった。世代別では20代が81.7％、30代が74.6％、40代が72.9％、50代が66.7％。﹁生産性向上につながる﹂という肯定的な意見もあったが、﹁情報の信頼性に不安がある﹂﹁情報漏えいが不安﹂といった否定的な声もあった。調査は20～50代の男女956人を対象にインターネットで実施。そのうちチャットAIを知っている人は88.5％︵846人︶。実際に使った人は63.5％︵537人︶だった。実際に使った人のうち、業務に活用したことがあるのは31.1％。職種別の利用率はIT系エンジニアが最も高く98.0％。企画・管理者︵48.1％︶やマーケティング担当者︵46.2％︶

nunulk 2023/05/23

1000人未満の統計とはいえ、IT系エンジニアの利用率 98% ってすごいな

AI

リンク

LLMと調和したプログラミングを体験させてくれるMarvinというライブラリが面白い｜mah_lab / 西見公宏

過去に「個別の関数を実装をプロンプトで行うような流れは既にきている」と言ってみてはいたものの、考え方としては関数としてプロンプトを実行する、ぐらいの世界観が関の山で、ソフトウェア設計としてLLMとの調和を考えるという域までは達していませんでした。なんですが、何というかAI時代のプログラムコードってこんな感じになっていくのかなーと思わせるライブラリが登場していたので紹介したいと思います。 Marvinとはどんな感じのライブラリなのかその名もMarvinと言います。コンセプトから入るとイメージしづらい気がしたので、いきなり実例から説明させてください。例えばなんか適当にエナジードリンクをリストしてくれるような関数が欲しかったとしますね？（そんなケースあるかな）そういう場合はこんな風に書けます。 from marvin import ai_fn @ai_fn def list_energy

nunulk 2023/05/16

リンク

画像生成AIの「悪用」に絵師たちが反発、pixiv上でイラスト非公開に…福井健策弁護士に聞く - 弁護士ドットコムニュース

nunulk 2023/05/11

リンク

「ChatGPTを超える」AI開発へ、培養脳細胞で豪スタートアップが13億円調達 | Ledge.ai

サインインした状態で「いいね」を押すと、マイページの「いいね履歴」に一覧として保存されていくので、再度読みたくなった時や、あとでじっくり読みたいときに便利です。

nunulk 2023/04/29

ある意味これも artificial なのか…?

AI

リンク

「◯◯GPT」や「ChatGPT搭載」はNG　米OpenAIがブランドガイドライン公開

米OpneAIは現地時間4月24日、ChatGPTなどOpenAIブランドを利用する際のガイドラインを公開した。ロゴマークやその利用方法、また﹁ChatGPT﹂などの文言を利用する際の注意点が記されている。例えば、OpenAIのAPIを利用した製品について﹁◯◯GPT﹂﹁GPT-4搭載の◯◯﹂﹁ChatGPT搭載の◯◯﹂といった表現は使わず、﹁Powered by GPT-4﹂や﹁Built with GPT-4﹂などの表現を使うよう求めている。また、OpenAIのモデルを指すときはGPT-3、GPT-4、ChatGPT、DALL・Eを使い、Ada、Babbage、Curie、Davinci、GPT-3.5-turboなどのエンジン名を避けるようにとしている。

nunulk 2023/04/25

with と by の違いって難しいんだよな…

AI

リンク

はてなブックマーク

タグ

関連タグで絞り込む (13)

AIに関するnunulkのブックマーク (40)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス