概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Implementing Nearest-Neighbour Recommendations in Ruby 原文公開日: 2023/08/28 原著者: Domhnall Murphy 日本語タイトルは内容に即したものにしました。 参考: 最近傍法 - Wikipedia Webのユーザーに関連度の高いコンテンツを自動的におすすめする機能は、Webの多くの機能を成功に導くうえで欠かせません。そのために多種多様な手法が利用されており、最大規模のWebサイトや企業では、非常に高度な技術を取り入れて推奨機能を最適化しています。本記事では、基本原理に基づいた効果的な推奨システムをRubyで構築する方法について解説します。 🔗 はじめに 以前の記事では、距離測定を導入してRubyで実装する方法を紹介しました。そのときに、それらの距離測
普段使うツールをRustで作る場合、コマンドラインベースのものが多いと思います。それでも、Rustを使ってデスクトップアプリを作ることもできます。今回は、実績のあるGUIツールキットの「Tcl/Tk」をラップしたクレートを使って簡単なGUIを作成してみましょう。 Rustで単位変換ツールを作ったところ GUIツールキット「Tcl/Tk」のインストール Rustのライブラリを集約したcrates.ioを見ると、多くのGUIライブラリが存在します。Rustはさまざまな環境で動作することを想定していることもあり、「これこそGUIの定番」というものはありません。多くの選択肢があり、用途に応じて使い分けるのが正しい作法です。 WebブラウザベースのTauri、ゲーム開発と相性の良いegui、GTK+を利用するGTK-rs、Tcl/Tkをラップしたライブラリのtcl/tkなど、いろいろなクレートがあり
Ruby: 機械学習などで使われる距離測定アルゴリズムをRubyで実装する（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Common Distance Metrics Implemented in Ruby 原文公開日: 2023/07/22 原著者: Domhnall Murphy 日本語タイトルは内容に即したものにしました。 metricsの訳語は原則として「測定」としています。 機械学習や人工知能の分野は、基本的に2点間の距離（distance）を測定する機能に依存しています。本記事では、よく用いられる測定方法のいくつかを紹介し、それらの解釈について説明するとともにRubyで実装する方法を示します。 🔗 はじめに 機械学習がらみのタスクの多くは、エンティティを「特徴（features）のセット」という観点で記述することから始まります。 たとえばテキストベースの学習タスクであれば、おそらく語（word）ごとの出現頻度が特徴となるでしょうし、
とても良い本が出ます 概要 構成 第1部：確率的で簡潔なデータ構造 第2部：ストリーミングデータ構造とアルゴリズム 第3部：外部記憶データ構造とアルゴリズム 具体的なコードは少な目 参考文献がしっかり書いてある 数式は最低限 図がモリモリ 翻訳版特有の情報 内容的な修正 カタカナ表記 検索のしやすさ 読む際のリズム 表現について 訳注について 音引きについて いきなりでごめんなさい（誤植情報） とても良い本が出ます 大規模データセットのためのアルゴリズムとデータ構造 作者:Dzejla Medjedovic,Emin Tahirovic,Ines Dedovicマイナビ出版Amazon 『大規模データセットのためのアルゴリズムとデータ構造』という本が7月26日発売に発売されます。原書はAlgorithms and Data Structures for Massive Datasetsとい
malloc.c を読む (malloc / free)
鉄道・道路・電力などあらゆる種類のネットワークについて最小のコストで最大のトランスポートフローを最高速で計算できるアルゴリズムが爆誕
スイス連邦工科大学チューリッヒ校のラスムス・キン氏率いる研究チームが鉄道、道路、電力など、あらゆる種類のネットワークにおいて最小のコストで最大の輸送フローを計算するほぼ完璧なアルゴリズムを作成しました。計算速度は、「数学的にこれ以上は不可能」という速さだとのことです。 Researchers at ETH Zurich develop the fastest possible flow algorithm | ETH Zurich https://ethz.ch/en/news-and-events/eth-news/news/2024/06/researchers-at-eth-zurich-develop-the-fastest-possible-flow-algorithm.html 輸送フローアルゴリズムとは、例を挙げると東京から大阪までできるだけ多くの商品を輸送できる最速かつ最安
東京大学のAWS入門資料がいい感じだったので最新のAWS環境でも実行できるようにしてみた - Qiita
プログラム、下から作るか？上から作るか？
TL;DR プログラムは「下から組む方法」と「上から組む方法」がある プログラムを組む時は少しずつテストしながら組む はじめに なにかゼロからプログラムを組むとします。そのプログラムのアルゴリズムや、何をやるべきかはなんとなくわかっているけれど、どこから手をつけてよいかがわからず、ChatGPTに全部書かせて、その後修正できずに困る、という事例を何度か観測しています。 プログラムをゼロから書くのは慣れが必要です。プログラムをゼロから書く場合、小さな部品を一つ一つ作っていって、最後にそれらを組み上げる「下から書く」方法と、「こういう関数が必要であるはず」と外枠から書いていって最後に中身を埋める「上から書く」方法があります。その一般論を論じるのは私の能力を超えるため、以下では「下から」と「上から」の例を挙げて、その「気持ち」を説明してみようと思います。言語はなんでも良いですが、ここではPyth
世界1位取った後3年間オセロAIを作り続けたらﾅﾆﾓﾜｶﾗﾅｸなってﾁｮｯﾄﾀﾞｹﾃﾞｷﾙようになった話 - Qiita
2021年、ふとしたきっかけでオセロAIを作り始め、オセロAIコンテストに作ったAIを提出し、なんやかんやあって半年かけてそのコンテストで世界1位になりました。 それで満足…？と思いきや、全然満足せず、コンテスト関係なしにオセロAIを作って早3年。この記事ではオセロAIが色々なところに私を連れて行ってくれた話と、オセロAIが深いという話をします。 この記事は2年ほど前に書いていっぱい読んでいただけた以下の記事「ｶﾝｾﾞﾝﾆﾘｶｲｼﾀ話」の続編、みたいな立ち位置です。単体で読んでも、以下の記事と合わせて読んでも楽しめます。 世界1位からさらに高みを目指す 私が参加したオセロAIのコンテスト(CodinGame Othello)は、コンテストという特性上、かなり厳しい制約が設けられていました。例えば着手する時間です。これは1手あたり0.15秒以下でないといけません。また、コード長にも制限があり
NTTは、2024年6月25日、グラフ探索を高速化するアルゴリズムを開発したことを発表した。 多くの情報は事物のネットワーク構造として解釈可能であり、そのつながりを「頂点」と「辺」で表現するグラフは、都市インフラやAI、セキュリティ、創薬などの分野で重要視されている。 このグラフデータの活用に向け、同社ではグラフ処理における基礎的な要素技術であるBFS（幅優先探索）の研究を続けてきた。BFSは、グラフ全体の頂点を近い順に辿る計算方法となる。 木構造の事前分離により BFS木構築を高速化 今回NTTが確立したのは、「Forest Pruning」という、始点から近い順に頂点を辿るための「BFS木」の構築を高速化するアルゴリズムだ。 まず、事前計算でグラフの一部（木構造部分）を分離。始点が与えられた際に、残ったグラフで頂点を辿って部分的なBFS木を構築する。そこに分離しておいた木構造部分を接合
最初に 決定木の理論とフルスクラッチ実装とその解説というと、既に使い古された話題の様に感じてしまいますが、今回の記事から派生して、ランダムフォレスト、GBDT、XGboost(LightGBMは扱わないつもり)、因果木、因果フォレスト、ランダムフォレスト-learnerの理論とできる部分はフルスクラッチ実装、めんどくさいものは、理論と解説に抑えて扱っていこうと考えており、そのまず初めとして、決定木自体の理論に触れないことは、できないなと思い、決定木の記事を書こうと思った次第です。(めんどくさくなって書かないパターンも全然あり得るのでご了承ください)他の記事との差別化は、数式を含めた解説と、フルスクラッチ実装のコードと数式を絡めた解説みたいな感じで、初心者に超優しい解説記事みたいな感じで仕上げて見せると、書き始めは思っております。書いていくうちに、初心者に超優しくないじゃんみたいなことになっ
「料理はアルゴリズムと気づいた」…そうすると「調理中も洗い物はどんどんやれ」が「終わったリソースは早く解放してメモリを空けろ」となり、実践的かつ納得感。
hyousuke @hyousuke デバッグと呼んでみてようやっと、料理はアルゴリズムであり、並列性、サブルーチン化、ライブラリの利用、局所最適と全体最適などのプログラミングのテクが役に立つ分野だと気づき始めてきた 2024-06-11 18:43:52
JJUG CCC 2024 Spring の発表資料です
UUIDとULIDを理解していない方は見た方がいい記事
Auto increment（自動採番）型を採用したくない場合 Auto Incrementは、データベースにおいて自動的に一意の識別子を生成するメカニズムです。通常、数値型の列が対象となり、新しいレコードが挿入されるたびにその列の値が自動的にインクリメントされます。典型的なIDですかね。 ここでは一意性の確保の話や、データ移行やバックアップのデメリットには言及せず、セキュリティとプライバシーの懸念にフォーカスして考えます。 予測可能性 Auto Increment型のIDは連番であるため、次に生成されるIDが容易に予測可能です。これにより、攻撃者がシステムの内部構造を推測し、不正アクセスを試みるリスクが高まります。 情報漏洩のリスク 連番のIDはデータベースの挿入順序を反映しているため、公開されることで企業の活動パターンやデータ生成の頻度が漏洩する可能性があります。 例） 競合他社は、公
Raftとは？ 仕組みから考える得意なこと苦手なこと/What is Raft? Strengths and Weaknesses Based on Its Mechanism
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
現地時間の2024年6月7日(金)、ニューヨーク州議会が「ソーシャルメディアプラットフォームが子どもに対して中毒性のある推奨アルゴリズムを使用すること」を禁止する法案を可決しました。 New York passes legislation that would ban 'addictive' social media algorithms for kids https://www.nbcnews.com/tech/social-media/new-york-passes-legislation-ban-addictive-social-media-algorithms-kids-rcna155470 Prodded by fed up parents, some in Congress try to curb kids’ use of social media - Nextgov/FCW
スパム防止などのためのレート制限を行うアルゴリズムは多数存在しています。さまざまなアルゴリズムの特徴をアニメーションでわかりやすくまとめたブログ記事をChatGPT関連のサービスsmudge.aiが開発ブログにて公開しました。 rate limiter – smudge.ai blog https://smudge.ai/blog/ratelimit-algorithms 配信のチャット欄にスパムが出現するという状況において、レート制限がない場合にはスパマーは短時間のうちに多数の投稿を行ってチャット欄を一人で埋め尽くしてしまいます。 左上の「Enable rate limiting」にチェックを入れるとレート制限を加えた場合の挙動が確認できます。レート制限が加わったことで、スパマーの投稿のほとんどをブロックしてチャット欄に与える影響を下げることができました。このとき、状況に応じて適切なアル
試してわかるGo ModulesとMinimal Version Selection @shino_nobishii(のびしー） for Go Conference 2024 (↓スライドURL)
株式会社リコー（社長執行役員：大山 晃）と、理化学研究所 数理創造プログラム（iTHEMS：Interdisciplinary Theoretical and Mathematical Sciences Program／青山 秀明客員主管研究員、相馬 亘客員研究員）はこのたび、過去に開発したアルゴリズムを応用し、特許と論文に共通して出現するキーワードを多重解析するアルゴリズムを開発しました。 本アルゴリズムは、大学や研究機関などのアカデミアサイドの研究が一段落し、企業などのビジネスサイドで事業化フェーズに移行しつつある技術を、「実用化の兆し」があるものとして捉え、実用化の兆しを数値によって判定することが可能となります。なお、本技術は特許出願済みです。 リコーと理化学研究所は2023年6月に、既存の技術文献データから新しいトレンドの変化点を定量的に測定し把握するアルゴリズムを共同研究により開
5月27日、シリコンバレー発で世界最大級のスタートアップ・起業家・イノベーター・クリエイターが集まるコミュニティ「Startup Grind」YouTubeチャンネルで、「アフリカ・南米を中心にグローバルで活躍するweb3起業家に聞く」（ゲストスピーカー：日置玲於奈氏）と題したアーカイブ動画が公開されました。イベントは2月20日に、Startup Grindの日本・名古屋拠点である「Startup Grind Nagoya」が開催しています。 ゲストスピーカーとして招かれた日置玲於奈（ひおき・れおな）氏は、暗号資産のイーサリアム（以降、Ethereum）を中心に暗号資産・ブロックチェーン関連技術を多く開発するエンジニアです。イベントでは自身の事業内容を中心に、暗号資産・ブロックチェーン開発において応用されている暗号技術について語りました。 本記事では日置氏の説明をベースにしながら、ビッ
最適化超入門
この「最適化超入門」は、『最適化したい！』と思った時に、最初に参考になりそうなものをつらつらと語りました。
プログラマ視点での生成AIとの付き合い方
めっちゃくちゃ久しぶりの記事です。 弊社のStampはTabisakiの運用を始めたこともあり、SEOに取り組む機会も増えてきました。そんなタイミングで、Googleの検索結果のランキングアルゴリズムが流出したとのことですので海外の記事をベースにAIで内容をまとめました。 ドメイン権威（Domain Authority） ドメイン権威（Domain Authority、DA）は、SEOの世界で広く使用される指標であり、特定のドメインが検索エンジンの結果ページ（SERP）でどれだけの影響力を持つかを測定するものです。この指標は主にMozが提供しているもので、0から100のスコアで表され、高いスコアほど検索結果でのランキングが高くなる可能性があるとされています。ドメイン権威は以下のような要因に基づいて計算されます。 リンクプロファイルの質と量: 外部サイトからのリンクの数と質。 ドメインの年齢
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
Mic King @iPullRank Ok, let's get this party started! A couple weeks ago I said I was publishing the most important thing I ever wrote. I was wrong. Documentation related to the Google Search algorithm leaked and I spent the weekend tearing it apart. ipullrank.com/google-algo-le… ✌🏾 2024-05-28 11:10:19 数週間前、私はこれまで書いた中で最も重要なものを発表すると言いました。それは間違いだった。 Google検索のアルゴリズムに関するドキュメントが漏洩したため、私は週末をかけてそれを徹底的に調
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
Suppose you have an array of floating-point numbers, and wish to sum them. You might naively think you can simply add them, e.g. in Rust: fn naive_sum(arr: &[f32]) -> f32 { let mut out = 0.0; for x in arr { out += *x; } out } This however can easily result in an arbitrarily large accumulated error. Let’s try it out: naive_sum(&vec![1.0; 1_000_000]) = 1000000.0 naive_sum(&vec![1.0; 10_000_000]) = 1
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
スーパーマリオシリーズで「クリア不可能なコース」が作成できることを数学的に証明 米MITの研究者ら【研究紹介】 レバテックラボ（レバテックLAB）
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
Collaboratively editing strings of text is a common desire in peer-to-peer applications. For example, a note-taking app might represent each document as a single collaboratively-edited string of text. The algorithm presented here is one way to do this. It comes from a family of algorithms called CRDTs, which I will not describe here. It's similar to the approaches taken by popular collaborative te
「アルゴリズム」という言葉の由来は？
アルゴリズムという言葉はGoogle検索やSNSでの分析や、特定のタスクを実行して処理するプログラム、人工知能の開発などで私たちの生活に不可欠です。だれもが聞いたことある「アルゴリズム(Algorithm)」というワードがどこから来たのかという由来と歴史について、メルボルン大学でデジタルヘルスの研究員を務めるデビー・パッシー氏が解説しています。 Why are algorithms called algorithms? A brief history of the Persian polymath you’ve likely never heard of https://theconversation.com/why-are-algorithms-called-algorithms-a-brief-history-of-the-persian-polymath-youve-likely-n
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ruby: 最近傍法による推奨アルゴリズムを実装する（翻訳）｜TechRacho by BPS株式会社
Rustで有名アルゴリズムに挑戦(20) RustとTcl/TkでGUIアプリを作ろう
大規模データセットのためのアルゴリズムとデータ構造 - カメヲラボ
三井住友カード、DM発送でAI活用 見込み客獲得率4.5倍 - 日本経済新聞
YouTube、話し声や効果音を残したまま、BGMだけ削除できる機能
NTTがグラフ探索の高速化アルゴリズム開発 スパコン富岳のBFS世界1位に貢献
決定木の理論とフルスクラッチ実装とその解説 - tomtom58’s blog
分散システムについて語らせてくれ
ソートできるUUID v7をJavaで使うときの話
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
18歳未満に対して「中毒性」のある推奨アルゴリズムをソーシャルメディアが使用することを禁止する法案をニューヨーク州が可決
さまざまなレート制限アルゴリズムをアニメーションでわかりやすく視覚化するとこんな感じ
試してわかるGo ModulesとMinimal Version Selection
リコーと理化学研究所、技術の実用化の兆しを察知する独自のアルゴリズムを開発 | リコーグループ 企業・IR | リコー
前編：Ethereumレイヤー2とゼロ知識証明を学ぶための手引 | gihyo.jp
Googleのランキングアルゴリズム流出から考えるSEO - Qiita
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
Googleの検索アルゴリズムの内部資料が漏洩か？「SEO業界で長年疑われていたものが明らかに」
電力不要「“ゴム”コンピュータ」 伸縮により「0」と「1」をカウント【研究紹介】 レバテックラボ（レバテックLAB）
Taming Floating-Point Sums | orlp.net
Rustで有名アルゴリズムに挑戦(18) Rustでライフゲームを作ってみよう
CRDT: Text Buffer - Made by Evan