[B! dev] ko-ya-maのブックマーク

【都知事選2024】AIによるマニフェストへの質疑応答システム「AIあんの」の裏側を公開します！｜Jun Ito

安野たかひろ事務所技術チームリーダーの伊藤です。安野は大学時代の友人で、彼が今回の選挙戦で実現しようとしている、老若男女の意見を募り、誰も取り残さないことを旨とする選挙活動・民主主義の形に共感し、ぜひ力になりたいと思いPdM・エンジニアとして手伝いをしております！この記事では、先日公開になった﹁AIあんの﹂のシステムについて、技術者の観点から、実現しようとしている状態と、技術的な裏側について解説してみようと思います。 AIあんのとはAIあんのは、安野たかひろの政策を学習したAI応答システムが、本人のアバターと声色によって、Youtube Liveと電話という2つの経路で、みなさまのご意見やご質問に回答するシステムです。配信でAIあんのに質問したい場合は、以下からアクセスしてみてください。︵URLは変更になる場合があります。その際はアカウントから配信を探してみてください。︶また電

ko-ya-ma 2024/06/28

リンク

polyfill.ioを使うのは危険かもしれない(危険だった) - Qiita

TL;DR 2024/06/26 実害が出ているようです、polyfill.ioを利用している場合は直ちに利用を止めましょう。 GIGAZINE: JavaScriptライブラリ「Polyfill.io」にマルウェアが混入され10万以上のサイトに影響 Codebook: Polyfill.io使ったサプライチェーン攻撃でサイト10万件以上に影響 polyfill.ioから配信されるスクリプトが汚染される環境下にあり、危険な可能性があります。利用している方がいらっしゃいましたら外しておくことをおすすめします。または安全なバージョンのものがCloudflareとFastlyから利用できるので、ドメインをpolyfill-fastly.netやpolyfill-fastly.ioに変更して利用しましょう。背景自社で使用しているマーケティングプラットフォームサービスで作成したWebページをGo

ko-ya-ma 2024/06/26

リンク

[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜

この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル︵LLM︶を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して﹁十分に良い﹂ものになりました。そして、年々良くなり、安く

ko-ya-ma 2024/06/25

リンク

デジタル認証アプリとのID連携で使われている標準化仕様と勘所

ritou です。みんなが待っていたデジタル認証アプリの情報が公開されました。開発者向けのガイドライン、APIリファレンスなどのドキュメントも公開されています。今回は開発者視点でどんな作りになっていて、利用するために理解が必要となる標準化仕様はどのあたりなのかを取り上げます。ちょっとOIDCのRPやOAuthのClient実装経験のある開発者向け、ぐらいの内容です。概要公開された情報からするとデジタル認証アプリサービス(アプリ+バックエンド)はマイナンバーカードを用いた当人認証を実施現在は都度マイナンバーカードを利用する必要がありますが、いずれはスマホに保存されたカード情報を使ってもっと楽になりそう ID連携のIdentityプロバイダとして認証イベント情報、基本4情報といった属性情報を民間/行政サービスに提供民間/行政サービスは認証イベント情報に含まれるユーザー識別子を利

ko-ya-ma 2024/06/24

リンク

デジタル庁開発者サイト

デジタル庁開発者サイトデジタル庁開発者サイトでは、政府のウェブサービスやアプリケーションの開発に関わる人を対象に、各種ガイドラインやAPIリファレンス、ライブラリ、ツール等を提供し、効率的な開発をサポートします。

ko-ya-ma 2024/06/22

リンク

エンジニアのための十徳ナイフ「DevToys」がバージョン２になってクロスプラットフォームやCLI対応しさらに便利すぎる - Qiita

はじめに以前紹介させていただき、2022年Qiitaのいいねランキング18位、ストックランキング20位を記録したこちらの記事の続編です！ DevToysはリリース後しばらく定期的なバージョンアップが続けられていましたが、去年の7月からぱったりとアップデートが止まっている状態でした。リポジトリや作者のXを見るとバージョン２の開発を行っているようで、今か今かと待ち続けていましたが数日前リリース予告のポストを見つけて、今日ついにプレリリースされました！ということで早速紹介していきます！ DevToysとは DevToysは「開発者のためのスイスアーミーナイフ」の紹介文の通り、開発時によく使うツールを十徳ナイフのようにまとめたアプリとなっています。 JSONの整形とかエンコードデコードetc... プログラミングや保守運用の調査でやりがちな作業をいちいち変換サイトを探したり、エディター拡張機

ko-ya-ma 2024/06/12

リンク

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版）

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版）いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用

ko-ya-ma 2024/06/10

リンク

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編（2024年版）

期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、主要クラウド/PaaS編（2024年版）いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用いただ

ko-ya-ma 2024/06/10

リンク

LINE Botの開発でCloudflareとHonoを使う理由

概要速さが正義 LINE Botの開発でCloudflareとHonoを使う理由 Cloudflare Workersの応答速度が速いから PoPについて CloudflareはAWSのlambdaに比べてポイントオブプレゼンス（PoP）の数が多く、処理が実行される場所がよりユーザーの近くにある可能性が高い。そのため、パフォーマンステストではAWS Lambda、AWS Lambda@Edgeよりも応答時間が小さいという結果になった。コールドスタートがない Cloudflare Workersはコールドスタートがなく、LambdaとLambda@EdgeのようにEventBridgeで1分おきにツンツンしなくていい。 Service bindingsが便利だから Cloudflare WorkersのService bindingsを使用することで、worker間の通信はパブリックに

ko-ya-ma 2024/06/09

リンク

GitHub Actionsにおける脅威と対策まとめ

はじめにこんにちは、サイボウズ24卒の@yuasaです。サイボウズでは開発・運用系チームに所属する予定の新卒社員が研修の一環として、2週間を1タームとして3チームの体験に行きます。新卒社員の私が生産性向上チームの体験に行った際に、チーム内でGitHub Actionsを利用する際の脅威と対策について調査を行い、ドキュメント化した上で社内への共有を行いました。本記事では、そのドキュメントの一部を公開します。対象読者本記事の主な対象読者としては、以下のような方を想定しています。 GitHub Actionsを組織で利用しているが、特にセキュリティ対策を実施していない方 GitHub Actionsを組織で利用しており、部分的にセキュリティ対策を実施しているが、対策が十分かどうか分からない方本記事がGitHub Actionsのセキュリティ対策を検討する上で参考になれば幸いです。本記

ko-ya-ma 2024/06/06

リンク

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB「DuckDB 1.0」正式リリース

シングルバイナリでローカル実行可能、高速なOLAP用オープンソースDB﹁DuckDB 1.0﹂正式リリースオープンソースとして開発されているOLAP用データベース﹁DuckDB﹂が正式版となるバージョン1.0に到達したことが発表されました。 OLAP用のデータベースといえば、クライアント／サーバ方式の大規模なサーバアプリケーションが一般的ですが、DuckDBは、SQLiteのようにローカル環境上でシングルバイナリでローカル環境でも簡単に実行できる点が最大の特徴です。 SQLでクエリを記述すると同時に、Python、Java、Node.js、Rust、Go、C/C++、R、ODBCなどから呼び出せるAPIも備えており、クライアントアプリケーションに組み込むこともできます。対応するプラットフォームはWindows︵x86_64︶、macOS︵Intel/Apple Silicon︶、Lin

ko-ya-ma 2024/06/06

リンク

最近の7B小型日本語LLMはエージェントになれるのか？

あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア︵3.88︶を上回ってしまった。ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた

ko-ya-ma 2024/06/02

リンク

ゼロからLLMつくりたくなったときに参考になりそうなサイト

はじめに﹁ゼロからLLMつくりたいなー﹂と思っていますが、なかなか時間がとれないので、いざというとき︵？︶のために、参考になりそうなサイトをまとめておきます。個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル良さそう。 NLP2024-チュートリアル３-作って学ぶ日本語大規模言語モデル Neural Networks: Zero to Hero Andrej Karpathyさんの動画。英語ですが、すごい良さそう Llama Llamaの情報 GENIAC その他 LLaVA(画像系︶環境構築モデルマージまとめ LLMに限らず、何かをゼロから小さく作ってみるのは、回り道のようで理解を深める最短経路と思っています。すぐ効果があるようなものではないですが、こういうのはまとめて取り組んでいきたいですね。日本語の良い書籍が

ko-ya-ma 2024/05/29

リンク

DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2

注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説... モデルプロバイダーの追加モデルタイプを選択: ﹁ollama﹂を選択します。必要な情報を入力: モデル名: llm-jp-13b-v2 Base URL: http://host.docker.internal:11434 Completion Mode: ﹁Chat﹂モデルコンテキストサイズ: 4096 最大トークン数の上限: 4096 Vision Support: ﹁No﹂を選択ワークフローの作成4人のエージェントのシステムプロンプトを設定: 楽観的AI研究者、慎重派経済学者、AIジャーナリスト、倫理学者の4人のエージェントを作成

ko-ya-ma 2024/05/29

リンク

オープンソースのRAGアプリ「RAGFlow」を試す

かなり新し目のフレームワークRAGプラットフォームアプリ RAGFlowとは？ RAGFlowは、深い文書理解に基づいたオープンソースのRAG（Retrieval-Augmented Generation）エンジンである。LLM（大規模言語モデル）を組み合わせることで、様々な複雑なフォーマットのデータから根拠のある引用に裏打ちされた、真実味のある質問応答機能を提供し、あらゆる規模のビジネスに合理化されたRAGワークフローを提供する。

ko-ya-ma 2024/05/28

リンク

よりシンプルになる Svelte の世界

Svelte は記述量が少なくシンプルなコードで書けることが特徴の 1 つでした。しかし、アプリケーションの規模が大きくなるにつれて学習コストや認知負荷が増加していくという課題が浮上してきました。Svelte v5 で導入される Rune は今までの Svelte のコンセプトを覆し、よりシンプルになることを目指しています。このトークでは Svelte v5 の新機能を通じて Svelte の書き方がどのように変わるのかについて話します。

ko-ya-ma 2024/05/25

[[svelte]

リンク

最近ローカルLLMがアツいらしい

最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題＆ OpenAIがAIベンチャー皆殺しにしてしまう問題まず﹁結局GPTのAPIを叩いてサービス運営して成功し

ko-ya-ma 2024/05/21

リンク

【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境

はじめに WSL2︵Windows Subsystem for Linux2︶は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。今回開発するPCのスペックは以下の通りです。 Windows11Windows version: 22H2 GPU‥NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。﹁コントロール

ko-ya-ma 2024/05/18

リンク

Reader API

Our world-class embeddings for search, RAG, agent systems.

ko-ya-ma 2024/05/17

“Get LLM-friendly input from a URL or a web search”

リンク

ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します

こんにちは。iOSの日本語入力アプリである﹁azooKey﹂を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである﹁Zenzai﹂を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。クローズドソースのシステ

ko-ya-ma 2024/05/17

リンク

はてなブックマーク

タグ

関連タグで絞り込む (1077)

devに関するko-ya-maのブックマーク (5,902)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第5週）

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス