ソートできるUUID v7をJavaで使うときの話
JJUG CCC 2024 Spring の発表資料です
JJUG CCC 2024 Spring の発表資料です
プロジェクトやタスクなどなんらかの計画が並んだリストの中で、それら個別の計画について直接的に優先順位を考えてはいけないのではなかろうか。 むしろ、考えて決めなければならないのは、それらの計画を立てた理由になっている目標の優先順位ではなかろうか。それが決まっていれば、それに紐づく個々の計画の優先順位は自動的に決まるだろう。SELECT * FROM 計画 ORDER BY 計画.目標の優先順位 というわけである。 そもそも、優先順位というものをあらかじめ決めておくのは、それを関係者との間で約束として機能させるためである。自分一人なら好きなものを好きな順にやるのと変わりない。集団が優先順位を決めることで結ぶのは、「われわれはこの優先順位に従って選択し、行動する」という約束であり、「優先されたものがあるうちは、劣後されたものを選択しない」という約束でもある。 であれば、優先順位について合意をとる
UUIDとULIDを理解していない方は見た方がいい記事
Auto increment（自動採番）型を採用したくない場合 Auto Incrementは、データベースにおいて自動的に一意の識別子を生成するメカニズムです。通常、数値型の列が対象となり、新しいレコードが挿入されるたびにその列の値が自動的にインクリメントされます。典型的なIDですかね。 ここでは一意性の確保の話や、データ移行やバックアップのデメリットには言及せず、セキュリティとプライバシーの懸念にフォーカスして考えます。 予測可能性 Auto Increment型のIDは連番であるため、次に生成されるIDが容易に予測可能です。これにより、攻撃者がシステムの内部構造を推測し、不正アクセスを試みるリスクが高まります。 情報漏洩のリスク 連番のIDはデータベースの挿入順序を反映しているため、公開されることで企業の活動パターンやデータ生成の頻度が漏洩する可能性があります。 例） 競合他社は、公
Raftとは？ 仕組みから考える得意なこと苦手なこと/What is Raft? Strengths and Weaknesses Based on Its Mechanism
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
現地時間の2024年6月7日(金)、ニューヨーク州議会が「ソーシャルメディアプラットフォームが子どもに対して中毒性のある推奨アルゴリズムを使用すること」を禁止する法案を可決しました。 New York passes legislation that would ban 'addictive' social media algorithms for kids https://www.nbcnews.com/tech/social-media/new-york-passes-legislation-ban-addictive-social-media-algorithms-kids-rcna155470 Prodded by fed up parents, some in Congress try to curb kids’ use of social media - Nextgov/FCW
スパム防止などのためのレート制限を行うアルゴリズムは多数存在しています。さまざまなアルゴリズムの特徴をアニメーションでわかりやすくまとめたブログ記事をChatGPT関連のサービスsmudge.aiが開発ブログにて公開しました。 rate limiter – smudge.ai blog https://smudge.ai/blog/ratelimit-algorithms 配信のチャット欄にスパムが出現するという状況において、レート制限がない場合にはスパマーは短時間のうちに多数の投稿を行ってチャット欄を一人で埋め尽くしてしまいます。 左上の「Enable rate limiting」にチェックを入れるとレート制限を加えた場合の挙動が確認できます。レート制限が加わったことで、スパマーの投稿のほとんどをブロックしてチャット欄に与える影響を下げることができました。このとき、状況に応じて適切なアル
試してわかるGo ModulesとMinimal Version Selection @shino_nobishii(のびしー） for Go Conference 2024 (↓スライドURL)
株式会社リコー（社長執行役員：大山 晃）と、理化学研究所 数理創造プログラム（iTHEMS：Interdisciplinary Theoretical and Mathematical Sciences Program／青山 秀明客員主管研究員、相馬 亘客員研究員）はこのたび、過去に開発したアルゴリズムを応用し、特許と論文に共通して出現するキーワードを多重解析するアルゴリズムを開発しました。 本アルゴリズムは、大学や研究機関などのアカデミアサイドの研究が一段落し、企業などのビジネスサイドで事業化フェーズに移行しつつある技術を、「実用化の兆し」があるものとして捉え、実用化の兆しを数値によって判定することが可能となります。なお、本技術は特許出願済みです。 リコーと理化学研究所は2023年6月に、既存の技術文献データから新しいトレンドの変化点を定量的に測定し把握するアルゴリズムを共同研究により開
最適化超入門
この「最適化超入門」は、『最適化したい！』と思った時に、最初に参考になりそうなものをつらつらと語りました。
プログラマ視点での生成AIとの付き合い方
めっちゃくちゃ久しぶりの記事です。 弊社のStampはTabisakiの運用を始めたこともあり、SEOに取り組む機会も増えてきました。そんなタイミングで、Googleの検索結果のランキングアルゴリズムが流出したとのことですので海外の記事をベースにAIで内容をまとめました。 ドメイン権威（Domain Authority） ドメイン権威（Domain Authority、DA）は、SEOの世界で広く使用される指標であり、特定のドメインが検索エンジンの結果ページ（SERP）でどれだけの影響力を持つかを測定するものです。この指標は主にMozが提供しているもので、0から100のスコアで表され、高いスコアほど検索結果でのランキングが高くなる可能性があるとされています。ドメイン権威は以下のような要因に基づいて計算されます。 リンクプロファイルの質と量: 外部サイトからのリンクの数と質。 ドメインの年齢
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
Mic King @iPullRank Ok, let's get this party started! A couple weeks ago I said I was publishing the most important thing I ever wrote. I was wrong. Documentation related to the Google Search algorithm leaked and I spent the weekend tearing it apart. ipullrank.com/google-algo-le… ✌🏾 2024-05-28 11:10:19 数週間前、私はこれまで書いた中で最も重要なものを発表すると言いました。それは間違いだった。 Google検索のアルゴリズムに関するドキュメントが漏洩したため、私は週末をかけてそれを徹底的に調
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
Suppose you have an array of floating-point numbers, and wish to sum them. You might naively think you can simply add them, e.g. in Rust: fn naive_sum(arr: &[f32]) -> f32 { let mut out = 0.0; for x in arr { out += *x; } out } This however can easily result in an arbitrarily large accumulated error. Let’s try it out: naive_sum(&vec![1.0; 1_000_000]) = 1000000.0 naive_sum(&vec![1.0; 10_000_000]) = 1
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
スーパーマリオシリーズで「クリア不可能なコース」が作成できることを数学的に証明 米MITの研究者ら【研究紹介】 レバテックラボ（レバテックLAB）
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
Collaboratively editing strings of text is a common desire in peer-to-peer applications. For example, a note-taking app might represent each document as a single collaboratively-edited string of text. The algorithm presented here is one way to do this. It comes from a family of algorithms called CRDTs, which I will not describe here. It's similar to the approaches taken by popular collaborative te
「アルゴリズム」という言葉の由来は？
アルゴリズムという言葉はGoogle検索やSNSでの分析や、特定のタスクを実行して処理するプログラム、人工知能の開発などで私たちの生活に不可欠です。だれもが聞いたことある「アルゴリズム(Algorithm)」というワードがどこから来たのかという由来と歴史について、メルボルン大学でデジタルヘルスの研究員を務めるデビー・パッシー氏が解説しています。 Why are algorithms called algorithms? A brief history of the Persian polymath you’ve likely never heard of https://theconversation.com/why-are-algorithms-called-algorithms-a-brief-history-of-the-persian-polymath-youve-likely-n
Visualizing algorithms for rate limitingMay 15, 2024Why rate limit?Imagine a Twitch chat with many active participants and just one spammer. Without rate limiting, the sole spammer can easily dominate the entire conversation. With rate limiting, each user has a fair chance to participate. A rate limiter lets you control the rate of traffic that your service processes by blocking requests that exce
インタビュー記事はこちら https://www.piratewires.com/p/interview-with-jack-dorsey-mike-solana GIGAZINEはBlueskyのかなり初期から分散SNSを追っていて他のメディアより比較的コンテキストがわかっていると思いますが、今回は是非元になったインタビュー記事を読んでほしいです。SNSと言論の自由、検閲について興味があるなら特に 私とBlueskyそれでお前は誰やねんって話なので、ちょっと自己紹介します 多分bsky.appの日本人だと一番古いか、三番目くらいに古いユーザーで、多分世界初のBlueskyのサードパーティサーバー（PDS）のboobee.blueを運営しています。 その時の記事はこれ https://note.com/kingyosun/n/n45d3b1ff89bf 上の記事のときは「プロトコルはマジで
githublog/2024/5/10/cordic.md at main · francisrstokes/githublog
This post is an adaptation of a twitter thread I put together a few days ago. CORDIC is an algorithm for computing trig functions like sin, cos, tan etc on low powered hardware, without an FPU (i.e. no floating point) or expensive lookup tables. In fact, it reduces these complex functions to simple additions and bit shifts. I'll cut right to the chase and tell you why I love this algorithm so much
この動画は3Blue1Brownの動画を東京大学の学生有志団体が翻訳・再編集し公式ライセンスのもと公開しているものです。 チャンネル登録と高評価をよろしくお願いいたします。 日本語版Twitter https://twitter.com/3B1BJP 元チャンネル（英語） https://www.youtube.com/c/3blue1brown 元動画（英語） https://youtu.be/wjZofJX0v4M?si=9YsuEzHATlhPtpOF Check out our new channel Ufolium https://www.youtube.com/watch?v=wrNCjIjIzuk&pp=ygUj5aSn57Wx6aCY6YG45oyZ44Gu5LuV57WE44G_IHVmb2xpdW0%3D Richard Turner's introduction
実務につなげる数理最適化
By Francesco Bertolaccini You’ve reached computer programming nirvana. Your journey has led you down many paths, including believing that God wrote the universe in LISP, but now the truth is clear in your mind: every problem can be solved by writing one more compiler. It’s true. Even our soon-to-be artificially intelligent overlords are nothing but compilers, just as the legends foretold. That sma
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成 - Qiita
ED法と3値(+1,-1,0)のアイデアを元に新しい活性化関数(ExP2)を作ってGELU、ELUと性能比較してみた。MINIST精度 99.43%以上達成DeepLearningPyTorch活性化関数誤差逆伝播法ED法 追記 ELUとの比較を追加しました、金子さんのアイデアの凄さが明確に結果に出ています。 また最後にニューロンが正・負どちらに発火しているのか可視化したチャートも追加しました。 初めに 誤差逆伝播法を用いずに、興奮性・抑制性ニューロンの出力を調整することでニューラルネットワークの学習を進める金子さんの誤差拡散法はとても衝撃的でした。 しかし、誤差拡散法は現在広く使用されているニューラルネットワークのアーキテクチャとは互換性がないため、 今すでに利用されているニューラルネットワークに興奮性、抑制性ニューロンのアイデアを直接反映できません。 そのため、今の誤差逆伝播法の範囲内
12.6. B-Trees — CS3 Data Structures & Algorithms
12.6.1. B-Trees¶ This module presents the B-tree. B-trees are usually attributed to R. Bayer and E. McCreight who described the B-tree in a 1972 paper. By 1979, B-trees had replaced virtually all large-file access methods other than hashing. B-trees, or some variant of B-trees, are the standard file organization for applications requiring insertion, deletion, and key range searches. They are used
For this second post in Zed Decoded, our blog & video series in which we're taking a closer look at how Zed is built, I've talked to Zed's three co-founders — Nathan, Max, Antonio — about the data structure at the heart of Zed: the rope. Companion Video: Rope & SumTree This post comes with a 1hr companion video, in which Thorsten, Nathan, Antonio, and Max use Zed to look at how Zed uses the Rope a
Flow field pathfinding
You may know me for my interactive tutorials. But before that, I was writing visual but non-interactive tutorials. In particular, there wasn't a lot of information about A* on the web, so I decided to collect all my notes about pathfinding together in one place in the 1990s. But then in the 2010s I started making interactive pages. The newer pages are narrower in scope; I covered a broader set of
2.3k{icon} {views} 複数のLLM（GPT/Claude3）とArxivの検索APIをRAGで統合し、論文サーベイの自動生成を作りました。検索結果の前処理や、サーベイ特有のプロンプトエンジニアリングやソートが重要で、最適化手法として古くからある巡回セールスマン問題（TSP）が有効に機能しました。また、生成部分ではGPTよりClaude3の明確な有効性を確認できました。 できたもの Arxivの検索APIを使って検索拡張生成（RAG）したらサーベイを自動生成できた やっていること Arxivの検索ワードをGPT-4-Turboで生成 ArxivのAPIを叩いてヒューリスティックでフィルタリング OpenAIのEmbedding APIを叩く Embeddingに対して巡回セールスマン問題（TSP）を解いてソートをかける 論文の要旨をGPT-3.5-Turboで要約 ソートした
GitHub - facebookresearch/searchformer: Official codebase for the paper "Beyond A* Better Planning with Transformers via Search Dynamics Bootstrapping".
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
グラフィック系の開発者であるニキータ・リシッツァ氏が、「自身のプロダクトのあらゆる場所で使用している」と述べるお気に入りのテクニックである「指数平滑法」について解説を投稿しました。 My favourite animation trick: exponential smoothing | lisyarus blog https://lisyarus.github.io/blog/programming/2023/02/21/exponential-smoothing.html リシッツァ氏は下図のようなトグルボタンを例に解説を行っています。クリックすると「オン」「オフ」が切り替わります。まだアニメーションを何も設置しておらず、トグルボタンは左端と右端を瞬間移動しています。 機能的にはアニメーションが設定されていなくとも問題はないのですが、アニメーションを設定することでユーザーは何が起こって
グラフニューラルネットワーク - Forkwell Library #50 https://forkwell.connpass.com/event/315577/ での講演スライドです。 サポートサイト：https://github.com/joisino/gnnbook グラフニューラルネットワーク（機械学習プロフェッショナルシリーズ）好評発売中！：https://www.amazon.co.jp/d/4065347823 連絡先: @joisino_ (Twitter) / https://joisino.net/
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
計画の優先順位ではなく目標の優先順位を決める | Marginalia
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
18歳未満に対して「中毒性」のある推奨アルゴリズムをソーシャルメディアが使用することを禁止する法案をニューヨーク州が可決
さまざまなレート制限アルゴリズムをアニメーションでわかりやすく視覚化するとこんな感じ
試してわかるGo ModulesとMinimal Version Selection
リコーと理化学研究所、技術の実用化の兆しを察知する独自のアルゴリズムを開発 | リコーグループ 企業・IR | リコー
Googleのランキングアルゴリズム流出から考えるSEO - Qiita
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
Googleの検索アルゴリズムの内部資料が漏洩か？「SEO業界で長年疑われていたものが明らかに」
電力不要「“ゴム”コンピュータ」 伸縮により「0」と「1」をカウント【研究紹介】 レバテックラボ（レバテックLAB）
Taming Floating-Point Sums | orlp.net
Rustで有名アルゴリズムに挑戦(18) Rustでライフゲームを作ってみよう
CRDT: Text Buffer - Made by Evan
rate limiter – smudge.ai blog
ジャック・ドーシーがBlueskyを辞めた理由をもうちょい詳しくエスパーする｜KingYoSun
GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning
詰将棋アルゴリズムdf-pnのすべて | やねうら王 公式サイト
The life and times of an Abstract Syntax Tree
Zed Decoded: Rope & SumTree - Zed Blog
Arxiv RAGによる論文サーベイの自動生成 | Shikoan's ML Blog
アニメーションをスムーズに見せるためのテクニック「指数平滑法」とはどんなものなのか？
僕たちがグラフニューラルネットワークを学ぶ理由