sh2のブックマーク - はてなブックマーク

ELYZA-tasks-100を人間が解くと何点取れるのか？

と言ってもこの点数が低いのか高いのか分かりませんので、Claude 3.5 Sonnetの点数も見ていきましょう。 Claude 3.5 Sonnetの点数現時点で最強と名高いClaude 3.5 SonnetにもELYZA-tasks-100を解いてもらいます。単純に問題文だけを投げる形で、temperatureは0.8にしました。 import json import anthropic from datasets import load_dataset client = anthropic.Anthropic( api_key="APIキー", ) dataset = load_dataset("elyza/ELYZA-tasks-100") test_set = dataset["test"] results = {} for i, example in enumerate(t

sh2 2024/07/18

すごい

llm

リンク

Claude 3.5 Sonnet の評価に関する備忘録 - Algomatic Tech Blog

こんにちは。Algomatic NEO(x) の宮脇︵@catshun_︶です。本記事では弊社 podcast の﹁Algomaticで話題になった生成AIニュースまとめ﹂という回で用意している会話ネタの一つとして "Claude 3.5 Sonnet Model Card Addendum" を読んだので、その備忘を共有いたします。なお概要については npaka 氏の以下の note 記事が参考になりますので、本記事の前にこちらを参照いただくことをおすすめします。 note.com おことわり解釈や引用に誤りがありましたらご指摘いただけると幸いです。本記事では詳細な解説を含みません。詳細な調査等は必ず参照元の論文等をご確認ください。引用時の名称や図は原則として引用先の媒体で記述されているものに従っています。プロダクト等の利用時は必ずライセンスや利用規約を参照して下さい。本

sh2 2024/06/21

さまざまなLLM評価方法の解説

llm

リンク

Built-in AI Early Preview Program - Welcome and heads-up about the Prompt API

sh2 2024/06/17

Chrome組み込みAIのドキュメント

llm

リンク

Chrome の組み込み AI Gemini Nano を試してみる

インストールが完了したらアドレスバーに chrome://flags と入力して設定画面を開きます。以下の2つのフラグを設定します。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabledまた、あらかじめGemini Nano のモデルをダウンロードしておく必要があります。アドレスバーに chrome://components/ と入力して Optimization Guide On Device Model の﹁アップデートを確認﹂をクリックします。Gemini Nano を使ってみるそれでは、Gemini Nano を使ってみましょう。以下のコードをコンソールに貼り付けて実行します。 const canCreate = aw

sh2 2024/06/16

開発者用ドキュメントが探しても見つからない。まだないのか

リンク

nodejs not working, exec format error · Issue #8151 · microsoft/WSL

sh2 2024/06/15

WSL1で標準のNode.jsが動かない不具合の対処方法

wsl

リンク

GitHub - SilasMarvin/lsp-ai: LSP-AI is an open-source language server that serves as a backend for AI-powered functionality, designed to assist and empower software engineers, not replace them.

LSP-AI is an open source language server that serves as a backend for performing completion with large language models and soon other AI powered functionality. Because it is a language server, it works with any editor that has LSP support. The goal of LSP-AI is to assist and empower software engineers by integrating with the tools they already know and love not replace software engineers. A short

sh2 2024/06/15

今はContinueを使っているけれどこれも期待できそう

llm

リンク

自分だけの信頼できるAIへ　グーグル「NotebookLM」公開

sh2 2024/06/07

Google謹製RAGツール。こういう作りにすればGoogle Oneの利用促進にもなるね

llm

リンク

2024/5/1 LangChain js で Gemini が文字化けする - pokutuna

sh2 2024/06/06

すばらしい。Continueでも同じ不具合で困っていたのを直すことができた https://github.com/continuedev/continue/pull/1436

llm

リンク

Ubuntuに最新のNode.jsを難なくインストールする - Qiita

この記事は慶應義塾大学SFC村井&徳田研 Advent Calendar 2015 の10日目の記事です。 UbuntuにNode.jsをインストールする方法は数多あれど、どれも一筋縄ではいかない。普通に apt-get すると、バージョンが結構古かったり、node でなく nodejs コマンドで登録されたりする。PPA や NVM を使う手もあるけど、余計な手間がかかる。もっと簡便なインストール方法はないだろうか？そこで、以下の n package を使ったインストール方法をお勧めします。導入手順まず普通に nodejs, npm をインストールします。

sh2 2024/06/04

けっこう昔からあったのに知らなかった

nodejs

リンク

大規模言語モデルの開発

2024年度人工知能学会全国大会（第38回）チュートリアル講演１本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎…

sh2 2024/06/03

包括的に説明されている

llm

リンク

RAGのサービスをリリースして1年が経ちました

2024年5月30日に開催されたChatGPT Meetup Tokyo #7で、ChatGPTとIBM Watson Discoveryを連携させたRAGのサービスについてLTした際の資料です。動画︵スライド画面＋音声︶はこちらです。 https://www.youtube.com/live/ESdtIyMEktU?feature=shared&t=361 ※個人で作成したものであり、内容や意見は所属企業・部門見解を代表するものではありません。

sh2 2024/06/01

RAG以外の手段も検討する、など

llm

リンク

An entirely open-source AI code assistant inside your editor · Ollama Blog

sh2 2024/06/01

ファインチューニングもできるのか

llm

リンク

ELYZA LLM for JP (デモ版)についての解説: (1) 70Bモデルの推論基盤

はじめにこんにちは。ELYZA のML Engineeringチームの堀江 (@eemon18)、村山 (@zakktakk)です。本記事では、弊社が2024/03/11にリリースした下記のデモについて、どのように70Bという巨大なモデルをホスティングしているのかを解説します。まだデモを直接触れたことがないという方はぜひ一度以下のURLからアクセスし、140GBを超えるバイナリファイルからなるモデルがどのくらい高速に動作するのかを確かめてみてください。本記事ではまず弊社推論アーキテクチャについて説明し、その後70Bを運用する際の技術選定や高速化の工夫について解説します。推論アーキテクチャ弊社のLLMアプリケーションのアーキテクチャは、平易に表すと以下の図のように構成されています。LLMの推論処理には時間がかかるため、アプリケーションと推論インスタンスはメッセージキューを介して非

sh2 2024/05/30

LLMバックエンドの構成に関する記事を今まで見たことがなかったのでとても参考になる

llm

リンク

生成AIの進化と今後の展望 - Preferred Networks 岡野原大輔

sh2 2024/05/27

2024年5月の状況

llm

リンク

エンジニアとしてのキャリアを支える自宅サーバー

ツナカン(TUNA-JP Conference) #12 で発表した資料です

sh2 2024/05/27

自宅サーバーを中心にして、さくらのVPS(ドメイン管理、メールサーバー)とAzure(新しい技術諸々)を組み合わせている。証明書の維持とかメールサーバーのSPF/DKIM/DMARC対応とか、自分で運用するからこそ学べることが多い

リンク

Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog

最近はAI エンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、﹁AI エンジニア﹂くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined やnu

sh2 2024/05/23

JSONモードに追加の工夫で処理内容を固定化する試み

llm

リンク

Grit: the power of passion and perseverance | Angela Lee Duckworth

Visit http://TED.com to get our entire library of TED Talks, transcripts, translations, personalized talk recommendations and more. Leaving a high-flying job in consulting, Angela Lee Duckworth took a job teaching math to seventh graders in a New York public school. She quickly realized that IQ wasn't the only thing separating the successful students from those who struggled. Here, she explains h

sh2 2024/05/21

多数の言語で字幕がついているのでテスト用に

youtube

リンク

最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題＆ OpenAIがAIベンチャー皆殺しにしてしまう問題まず﹁結局GPTのAPIを叩いてサービス運営して成功し

sh2 2024/05/20

最近のLLM界隈の動きがまとまっている

llm

リンク

AIラジオ『zenncast』の技術構成（プロンプトつき）

先日、個人開発していたzenncastというWebサービスをリリースしました。 Zennでトレンドになっている記事を、毎日AIが10分のラジオにして届けてくれるというサービスです。ありがたいことに公開後はたくさんの方に試してもらえ、技術的な質問も多数いただきました。このZennではzenncastの技術構成や仕組みを紹介します︵プロンプトつき︶。作ったものまずはエピソードを一つ選んで1分くらい聴いてみてください！ AIラジオの雰囲気が掴めると思います。主な機能・特徴毎朝10分のラジオを生成 Zennでトレンドになっている記事を要約して紹介お便りを投稿すると、翌日のエピソードでAIパーソナリティが拾ってコメントしてくれる BGMをつけて爽やかな聴き心地これらのステップは人の手を介さずすべて自動化されています。 Spotifyなどの各種プラットフォームへの配信はSpotify

sh2 2024/05/17

原稿作成用のプロンプトが肝なのかなあ。今ある技術を丁寧にチョイスすればこんなものが作れるのかと感心している

ai

リンク

Linuxでのプロセス置換 - Qiita

はじめに導入 Linuxで使うbash等のシェルには、様々な○○置換という機能がありますが、その中でも﹁プロセス置換﹂( <(コマンド) や >(コマンド) ) というのはなかなかイメージし辛いのではないかと思います。 ※特にコマンド置換 ( $(コマンド)や`コマンド` ) と名前が紛らわしいというのもあります。これはパイプと機能的にも仕組み的にも近いものですので、この機会にパイプとの関連性も含め、仕組みを紹介したいと思います。環境 bash,zsh共にプロセス置換の機能を持っていますが、以下ではbashを前提として仕組みを説明します。なお、各動作確認は x86_64 WSL1(Win10)/Ubuntu18.04.2 LTS, bash4.4.19(1) で行っています。プロセス置換の概要利用目的 bash manページのプロセス置換の項にも説明はあるのですが、なかなかそれ

sh2 2024/05/12

「while read VAR; do シェル変数設定; done < <( A ) のプロセス置換に書き直してパイプラインを解消することで、大本のシェルに反映させられる形にできます」

bash

リンク

はてなブックマーク

タグ

sh2のブックマーク (2,767)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス