マイクロソフトの「コパイロット」とはなにか OpenAIとの依存と共生【西田宗千佳のイマトミライ】
グラフ最適化をマスターしよう！ - Qiita
ツイッターからXへ...もはや悲しい抜け殻に...イーロン・マスクのせいで「劣化」したこれだけの機能や要素
きれいなコードは互いに似通っているが、クソコードはどこもその趣が異なっている - きしだのHatena
先日のJJUG CCC 2023 Fallの懇親会でクソコードを研究しているという学生がいたのだけど、クソコードの研究は難しいという話をした。 人工的にクソコードを再現しても、あの野生のクソコードのクソさには全く足りないわけで。 トルストイが言うように「すべてきれいなコードは互いに似通っているが、クソコードはそれぞれにクソの趣を異にしているものである」なので、なかなか「これがクソコード」のように類型化するのも難しい。 典型的なクソコードを書いてみても、なんだかきれいなクソコードができてしまう。 クソコードはネットに出回らないので、資料の収集もまた難しい。ネットにないということは、ネットの情報に基づいている「AI」もホンモノのクソコードには触れていないことになる。 クソコード収集サイトをつくっても、実際のクソコードは業務固有処理も含まれるので、掲載できる形に整理していくと本来のクソさが薄れて
GitHub - yorickpeterse/pattern-matching-in-rust: Pattern matching and exhaustiveness checking algorithms implemented in Rust
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
BM25を数式から説明する - Qiita
はじめに BM25は特に検索アルゴリズムに使われる自然言語処理の一つで、tf-idfの進化系である。具体的には単語の出現頻度に基づいて、文章の順位付けを行う。tf-idfとの違いはドキュメントが短いほど順位が高くつき、長いほど順位が低くつく傾向があるというところである。この記事では数式を紐どいて、BM25の性質を説明する。 数式 BM25の数式についてまず説明する。$D$を文章全体の集合(以下全文章と呼ぶ)、$d$は文章であり$D$の要素、$q$を検索クエリ($q_i\in q$)とした時のBM25の数式は以下のようなものである。 $$ score(q, d) = \sum_i idf(q_i)\times\frac{(k_1+1)f(q_i, d)}{f(q_i, d)+k_1(1-b+b\frac{|d|}{avg(dl)})} $$ $idf(q_i)$は単語$q_i$のidf、$f
はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A
SHAPやLIMEなどの説明AI（XAI）のご紹介 / SHAP LIME PDP Grad-CAM
************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・SHAPに近い手法「LIME」との比較及び考察も記載 ・SHAP 以外の手法で算出した Feature Importance との比較及び考察も記載 ・オープンソースのデータ及びコードを使ってハンズオン ┗テーブルデータ and 画像データに適用 ・SHAP 以外の画像説明モデル Grad-CAM, Guided Grad-CAM の紹介
概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善することを確認した。 背景・目的 この記事は以下の記事の続編です。 tech.drobe.co.jp 以前の記事で、私たちはプロのスタイリストが作成した評価データセットを用いて、複数のアルゴリズムを類似商品検
The game of Othello is one of the world's most complex and popular games that has yet to be computationally solved. Othello has roughly ten octodecillion (10 to the 58th power) possible game records and ten octillion (10 to the 28th power) possible game position. The challenge of solving Othello, determining the outcome of a game with no mistake made by either player, has long been a grand challen
今回は、何も知らないところからバンディットアルゴリズムを学びました。 シンプルなバンディットアルゴリズムから、各ユーザーごとに最適化するContextual Bandit、順序を最適化するCascading Banditまで解説します。 学んでいて疑問に思ったことを解消しつつ記載しています。 ソースコード https://github.com/birdwatcherYT/bandit 対象読者 バンディットアルゴリズムを理解して実装したい人 ユーザーごとにカスタマイズしたバンディットを理解して実装したい人（Contextual Bandit） 順序を最適化するバンディットを使いたい人（Cascading Bandit） バンディットアルゴリズム バンディットの問題設定を説明します。 スロットマシンN台がある スロットマシンの腕を引くと報酬がもらえる 累積報酬を最大化したい バンディットアル
何でも微分する
IBIS 2023 企画セッション『最適輸送』 https://ibisml.org/ibis2023/os/#os3 で発表した内容です。 講演概要: 最適輸送が機械学習コミュニティーで人気を博している要因として、最適輸送には微分可能な変種が存在することが挙げられる。微分可能な最適輸送は様々な機械学習モデルに構成要素として簡単に組み入れることができる点が便利である。本講演では、最適輸送の微分可能な変種とその求め方であるシンクホーンアルゴリズムを紹介する。また、この考え方を応用し、ソーティングなどの操作や他の最適化問題を微分可能にする方法を紹介するとともに、これらの微分可能な操作が機械学習においてどのように役立つかを議論する。 シンクホーンアルゴリズムのソースコード：https://colab.research.google.com/drive/1RrQhsS52B-Q8ZvBeo57vK
「Steam Storeがゲームをピックアップする仕組み」をVALVEが日本語で解説。内容をまとめ、補足してみました。 — NeonNoroshi
「Steam Storeがゲームをピックアップする仕組み」をVALVEが日本語で解説。内容をまとめ、補足してみました。 2か月前、VALVEがSteamでゲームが目立つ位置に表示されるための表示アルゴリズム、仕組みを説明する資料を公開したため、要点を日本語でまとめたものをNeon Noroshiで公開しました。 STEAM上でゲームが目立つ位置に表示するアルゴリズム・仕組みをVALVEが公開。英語資料の要点を日本語でまとめました。 その後、VALVEに資料の日本語訳を公開する許諾を求めていたのですが「日本語版を公開する予定があるから出さないで欲しい」と止められ……日本語版がやってきました。 日本語字幕対応の動画で。 以下に公開されているので、日本でSteamの開発に興味がある皆さん、マーケティング担当の皆さんはぜひご覧ください。 さて、この動画の元になった文書を紹介したとき、「この資料は有
独自試験を作成できるコーディングテストツール「Track Test」 Track Testは、600問以上ある問題ライブラリーから求人企業が扱う技術領域と求める難易度で独自試験を作成できるコーディングテストツールである。試験のスコアリングやソースコードを元にした対象者の選定や、面接での活用にも役立つ。 コーディングテストツール「Track Test」とは？ 問題作成は、AtCoderのレッドコーダーやICPC世界大会の出場者、大手GAFAなどに属しているエンジニアなど、総勢100名以上のトップクリエイターによるコミュニティメンバーによって開発されている。 今回のセッションでは、Track Testの初級問題と上級問題を用意し、株式会社10Xの石田光一氏と、GMOグローバルサイン・ホールディングス株式会社の津田良太郎氏がChatGPTで挑戦。その検証結果についてディスカッションを行った。 T
人生の上級テクニックとして「数手先を読んで、相手を悪人にするようなルートを避ける」というのがある→ 夫が結婚記念日を忘れていそう、さてどうする？
砂鉄 @satetu4401 人生の上級テクニックとして「数手先を読んで、相手を悪人にするようなルートを避ける」というのがある 例えば、夫が結婚記念日を忘れていそう。これまでの経験からプレゼントに望みの物が来る可能性が低い。なら事前に「もうすぐ結婚記念日ね、私欲しいものがあるから買って欲しいんだけど」と言う 2023-10-27 00:19:11 砂鉄 @satetu4401 そうすることで、夫を「結婚記念日を忘れた悪人」「変なものを送り付けてくる悪人」にするルートを回避して「結婚記念日に理想のプレゼントをくれる素敵な夫」にするわけだな このテクニックを持ってない人間は、どんなに優れた能力を持っていても、一生無駄に戦い続けて能力を浪費する事になる 2023-10-27 00:21:04
50代半ばでAtCoder入水しました - Qiita
オンライン DDL を期待して ALTER 文を実行したら障害になりかけた話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシではマルチプロダクト化に向けて、認証・認可の切り出しを進めています。その対応を進める中で、既存テーブルへのカラム追加が必要になりました。 先日、そのリリースのために本番データベースにマイグレーションの ALTER 文を実行したところ、クエリが詰まって危うく障害になるところでした（幸いすぐにキャンセルして事なきを得ました）。 原因を調べたところ、オンライン DDL は複数の条件が関係することがわかりました。オンライン DDL に対する知識不足と事前検証の甘さゆえのミスでしたが、結果的には良い学びが得られました。 カミナシのバリューのひとつである「全開オープン」の気持ちで、事の顛末やそこから得た学びを公開します。 なお、今回の話は MySQL 5.7 互換の Amazon Aurora MySQL 2 で確
概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50（自己教師あり学習）とCLIPの性能が高かった 定性評価によって、取り扱うモーダルの違いによる各モデル出力の顕著な差異が確認できた 背景・目的 小売において、商品の在庫は無数に存在しています。そのため、消費者やサービス提供者が商品に紐づく情報（画像、商品の説明文など）を解釈して、特定の商品と類似したアイテムを人手で行うのは困難です。 この課題を解決するために、機械学習手法の活用が注目されています。 機械学習を用いた処理の流れは、 商品に紐づく情報を適切に 「要約」 し、 1.で 「要約」 した商品情
GPT-4をセラピストとして実行し、「認知の歪み」を診断させるためのフレームワーク『Diagnosis of Thought (DoT)』と実行プロンプト | AIDB
はじめに ヘレの海底都市計画 ～箱庭に空気を植えるSLG～ というゲームの開発に携わらせていただきました。 主にいくつかの主要な機能の全体的な設計と実装、UI の MVP モデル設計、また開発中に問題が生じた際の抜本的な再設計を担当しました。 せっかくなので、本プロジェクトで行った設計のエピソードについてお話していこうと思います。 第一弾は セーブデータ設計について 扱いました。 本記事は第二弾となります。 今回は本ゲームの中で、規模的にもゲーム的にも最も大きい要素の一つだった、住民の管理部分の設計をさせていただいた話です。 私が設計について学び始めた際、設計ができる人はどうしてその設計に至ったのかがわからずにもどかしい思いをしたので、当時の自分の様な設計を学び始めた人にとって助けになればと思います。 （本記事では説明のために具体的なコードを記載しておりますが、これらはこの記事のためのコー
以下のstapy#98にて発表したスライドです https://startpython.connpass.com/event/296755/ PythonのPackage Managerを深く知るためのリンク集 https://gist.github.com/vaaaaanquish/1ad9…
影響が出ているのは、三菱UFJ銀行、りそな銀行、埼玉りそな銀行、関西みらい銀行、山口銀行、北九州銀行、三菱UFJ信託銀行、日本カストディ銀行、JPモルガン・チェース銀行、もみじ銀行、商工組合中央金庫。 関連記事 「払い戻しは○○ペイで行います」に要注意 ネットショッピングに新手の詐欺 国民生活センターは、ネットショッピングで決済アプリを使った新手の詐欺について注意喚起する声明を発表した。返金手続きを行う際、販売業者から「払い戻しは○○ペイで行います」と誘導され、返金ではなく送金をさせるという。 「人を審査するAI」のリスクとは？ 現金給付アルゴリズムが“暴走”した世界銀行の事例 世界銀行は、貧困層向けの現金給付プログラムの受給者を自動的に選別するアルゴリズムを開発した。しかし、アルゴリズムに不備があり、本来受け取れる人たちも選ばれない事態に。AIの暴走を防ぐためにも重要なのが「透明性」の確
プロンプトを遺伝的アルゴリズムで自動最適化するプロンプトエンジニアリング手法『Promptbreeder（プロンプトブリーダー）』 | AIDB
関連研究 ■GPT-4などのLLMに「自らの論理的な整合性をチェック」させるフレームワーク『LogiCoT』と実行プロンプト ■LLMの出力から誤り（ハルシネーション）を減らす新手法『CoVe（Chain-of-Verification）』と実行プロンプト ■LLMに自身のハルシネーション（幻覚）を「自覚」させ、減らす方法 従来の課題 手作りのプロンプト戦略 現在、プロンプトエンジニアリングの分野で広く用いられているChain-of-Thought（CoT）やその派生テクニックは、基本的には手作りです。特定のタスクや問題に対して最適なプロンプトを設計する際に、人の専門家が手動でプロンプトを生成しています。 自動化の必要性 手作りのアプローチは効果的である場合も多いですが、スケーラビリティに欠けるという問題があります。大規模言語モデル（LLM）が多様なタスクで使用される現代においては、プロン
Have you heard about CRDTs and wondered what they are? Maybe you've looked into them a bit, but ran into a wall of academic papers and math jargon? That was me before I started my Recurse Center batch. But I've spent the past month or so doing research and writing code, and it turns out that you can build a lot with just a few simple things! In this series, we'll learn what a CRDT is. Then we'll w
VFXと色収差
入門 B-link tree
概要 DBMS で広く利用されている B+ tree には様々な variant が存在するが、B-link tree もその1つ。 シンプルなラッチプロトコルで並行アクセスをさばけるよう、リーフノード以外のノードにも右の隣接ノードへのポインタを持たせた構造となっており、PostgreSQL で使われていることでも有名。 この記事では主にこの B-link tree に焦点を当てる。 B+ tree 全般やその他インデックス技術自体に興味がある場合は「最強DB講義 #10 いまどきのデータベース索引技術（石川佳治 教授）」の講義資料を読むのがおすすめ。 B-link tree 理解する上で必須な知識「ラッチ」 「ラッチ」というのはいわゆるロックのことだが、DB においては「ロック」というとトランザクション分離のための高価な(数千CPUサイクルを要する)処理を指すことが多く、「ラッチ」という
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RAGにおけるドキュメント検索精度向上について(概要編)
（続）ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ
https://www.jstage.jst.go.jp/article/sugaku/65/1/65_0651093/_pdf/-char/ja
オセロの必勝法が見つかった件 | やねうら王 公式サイト
Othello is Solved 論文解説 (私見) - Qiita
Othello is Solved
いろんなバンディットアルゴリズムを理解しよう - Qiita
ChatGPTはコーディングテストをどこまで解けるか？ AI時代の「エンジニア採用選考」を考える
東大、これまでに解かれたことのない次元の暗号解読を実現
ファッションにおける類似商品検索アルゴリズムの性能評価 - DROBEプロダクト開発ブログ
【西川善司が語る“ゲームの仕組み” Vol.4】実際のゲームの「当たり判定」はカプセル剤で出来ていた！？
街づくりゲームの住民管理システムを設計した話 - Qiita
Pythonのパッケージ管理の中級者の壁を超える stapy#98
全銀ネットでシステム不具合 三菱UFJやりそななど、11の銀行で振込できず 原因、復旧時期不明
Microsoft、日本のAIガバナンスに関するレポート公開 「日本のリーダーシップを多くの国が期待」
An Interactive Intro to CRDTs | jakelazaroff.com
「人を審査するAI」のリスクとは？ 現金給付アルゴリズムが“暴走”した世界銀行の事例
Pythonの麻雀ライブラリを作る - TadaoYamaokaの開発日記
MySQLのインデックスですが、B-treeではなくB+treeを使用するのはどうしてなのでしょうか？ | mond
コンピュータサイエンスで1冊ずつ本を上げるとしたら何になりますか？就職前にバイブル的な本を勉強したいと思いました。 -コンピュータアーキテクチャ -データベース -os -アルゴリズムとデータ構造 -セキュリティ -ネットワーク -プログラミング -仮想化技術 | mond
コンピュータサイエンスで1冊ずつ本を上げるとしたら何になりますか？就職前にバイブル的な本を勉強したいと思いました。 -コンピュータアーキテクチャ -データベース -os -アルゴリズムとデータ構造 -セキュリティ -ネットワーク -プログラミング -仮想化技術 | mond
天才プログラマだと言われる人が書くコードは、どんな観点が天才的なんでしょうか？ | mond
BudouX: 読みやすい改行のための軽量な分かち書き器