データベースの値をちょっとだけ書き換えたら検索に数十分かかる様になって障害になった裏話 - STORES Product Blog
はじめに 2024年1月にリテール(ネットショップ・レジ)部門からサービス(予約)部門に異動になった @ucks です。 異動してからはスマートリストという機能の開発を行っていて、5月6日に無事リリースできたのと、開発途中で障害に至ってしまった部分があるので、裏側を少し紹介しようかなと思います。 はじめに スマートリストとは スマートリストの設計 検索の仕様変更 高負荷時のハンドリング そして障害へ 見逃した点 DBの実行計画確認時の見逃し 動作確認時の漏れ 監視先の漏れ ログの損失 おわりに スマートリストとは スマートリストの開発についての話を行う前に、まずはスマートリストについて簡単に説明しておきます。 スマートリストとは、特定の条件の顧客をラベリングする機能です。 早い話、最終予約日がいつ、予約回数が何回以上等の顧客の検索条件を保存しておいて、閲覧時にラベリングして、視認しやすくし
3月のGoogleコアアップデートが、メディアやアフィサイトをいかに虐げたか、調査レポート【前編】 | Moz - SEOとインバウンドマーケティングの実践情報
この大幅な上昇は2023年秋に始まっており、グーグルによる「Hidden Gems（隠れた宝石）」アップデートの発表と密接に結びついていた。Hidden Gemsアップデートの目的は、検索結果でフォーラムやディスカッションといったコンテンツのビジビリティを高めることだった。 reddit.comのビジビリティが2023年秋から急上昇しているRedditのオーガニックトラフィックは、多くの種類のクエリやカテゴリで激増している ―― たとえば、健康、金融、商売、製品レビュー、成人向け、AI、著名人、その他のトピックなどだ。 またグーグルの検索結果では、Redditに対して複数のサイトリンクが表示されることが多いため、次のようにオーガニック検索結果1件がReddit内のURL最大8件にリンクされることもある。 検索結果内でRedditに対するリンクがさらに多く表示されることもグーグルとReddi
社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
こんにちは、羽山です。 みなさんは業務に LLM（生成AI）を活用していますか？ラクーングループでは生成系AI LT大会を開催するなど、積極的な利用を推し進めています。 そこで今回は私がその生成系AI LT大会で発表し、隙間時間で開発して、社内で幅広く利用されるに至った AIアシスタント「おっさんずナビ」を紹介します。 おっさんずナビは LLM + RAG（Retrieval-Augmented Generation）を利用した Slackボットで「ラクーンホールディングスの社風を教えてください」という質問に 社内事情を踏まえた回答 をしてくれます。 ファインチューニングを利用せず RAG のみで精度を高めているのと、ベクトルDBなどの外部リソースを必要としないのがポイントで、使い込まれた Slack ワークスペースさえあればアプリを起動するだけで 社内事情通のAIアシスタント ができあが
![社内用AIアシスタント「おっさんずナビ」を作った話、そして人間らしく振る舞う重要性を認識した話 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/292dc217b044ae9f6c9ffa45c4ee8295851f9349/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2024%2F07%2Fossans_navi_thumb.png)
Windows 11を使っていると、スタートメニューやエクスプローラー、ロック画面などいたるところにMicrosoftの広告や推奨事項が表示されます。PCで使うアプリやサービスを自分で決めたい人にとっては全くもって不要な広告ばかりなので、非表示にする方法をまとめてみました。 How to Disable Microsoft's Ads and Recommendations in Windows 11 https://www.howtogeek.com/how-to-disable-microsofts-ads-and-recommendations-in-windows-11/ ・目次 ◆1：スタートメニューからアプリの広告を削除 ◆2：エクスプローラーからOneDriveの広告を削除 ◆3：ロック画面からMicrosoft製品の広告を削除 ◆4：Microsoftへのデータ送信を無効化
Google は Google 検索における検索結果の連続ページスクロールを廃止し、従来のページ区切りのスタイルに戻すことが明らかになりました。 連続スクロールは2021年にモバイル検索から導入され、2022年にはデスクトップの検索でも導入されています。これはユーザーが検索結果のページをスクロールしていくと、Google 検索が自動的に多くの結果を読み込み続けるという機能です。しかし、ユーザー満足度が大きく向上しなかったことにより、従来のページネーションによる検索結果ページに戻すことを決定したようです。 これは Google が Search Engine Land に伝えたもので、この変更は2024年6月25日からデスクトップ検索ですでに提供されているとしており、モバイル検索でも今後数ヶ月以内で適用する予定であるとしています。なお、挙動はそれぞれ少しことなり、デスクトップの場合はページの
三菱電機が組み込みソフトウエア開発への生成AI（人工知能）活用を進めている。ソフトウエア開発に関連する過去数十年分のドキュメントの要約文を生成AIにより作成。これを検索用のインデックスとして使うことで、エンジニアの作業工数を最大40%削減できると見込む。 2024年6月20日に開催されたアマゾン ウェブ サービス ジャパン（AWSジャパン）の年次イベント「AWS Summit Japan」で、PoC（概念実証）の成果として明らかにした。今後は実用上必要最小の機能を備えたサービスであるMVP（Minimum Viable Product）として、従業員向けのアプリケーションを開発する予定だ。 三菱電機の組み込みソフトの開発部門では、製品開発部門から改修依頼を受けると、改修対象のソフトウエアの仕様書を検索して改修内容に関連する記述を確認。それを基にソフトウエアのソースコードを確認し、ソースコー
「PerplexityのAIがクローラーをブロックするrobots.txtを無視している」との指摘に対しCEOが「無視しているわけではないがサードパーティーのクローラーに依存している」と主張
生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘されています。これに対し、Perplexityのアラヴィンド・スリニヴァスCEOが、「robots.txtの指示を無視しているわけではない」「自社のクローラーだけでなく、サードパーティーのクローラーにも依存している」と釈明しました。 Perplexity AI CEO Aravind Srinivas on plagiarism accusations - Fast Company https://www.fastcompany.com/91144894/perplexity-ai-ceo-aravind-sriniv
書店在庫情報プロジェクト
読者が読みたいと思った本に出会ったとき、その本が読者の住んでいる地域の書店での在庫を知ることができれば、読者はその書店に足を運んでくれると私たちは考えます。現状では、たとえば新聞広告やテレビで紹介された本、SNSや動画共有サイトで紹介された「お目当ての本」が地域の書店にあることを調べるには実際にはとても煩わしく、電話で店舗ごとに問い合わせるか、ネットでも限られた書店のみの在庫情報しかありません。 本を検索して近くの書店の在庫がわかれば、ネット注文よりも早く手に入れることができることを知り、それまで知らなかった書店へも足を運ぶことになるでしょう。欲しい本が書店にあることがわかれば、書店読書好きの読者だけでなく、読書から離れている人にとっても書店へ足を運ぶきっかけにもなると考えます。 そこで、私たち業界団体が連携してできるだけ読者が簡便に書店の在庫を調べられるツールを提供側の負担を軽減する方法
ChatGPTほどまだ浸透してはいないかもしれない。だが、ソフトバンクも提携を発表し、じわじわとその勢力を拡大するスタートアップ企業「Perplexity（パープレキシティ）」。彼らが生み出した「回答エンジン」は、インターネットの検索システム自体を変えてしまうのだろうか。 ある日突然、グーグルの検索エンジンに取って代わるアプリケーションが出現したら──。これまでなら突飛な仮説でしかなかっただろう。だが、生成AIの新時代において、こうした仮説はますます現実味を帯びてきている。 もちろん、この技術を実質的に発明したと言える巨大企業グーグルは、まだ始まったばかりのAI戦争において、反撃するための資本と頭脳のリソースを充分有している。しかし、OpenAI（オープンAI）による「ChatGPT」のような対話エージェントの普及は、グーグルの主要な糧である「グーグル検索」を揺るがしつつある。何千ものスタ
Rakuten PLAYのコンセプトはコンテンツとの出会いを創出。動画配信ランキング情報を提供したり、Rakuten PLAY経由で各サブスクに加入していただくと、楽天ポイントがもらえてお得に！
[レベル: 初級] ハッシュタグ (#) で検索する機能が日本の Google で正式に公開されました。 ハッシュタグ検索は日本独自の機能 ハッシュタグによる検索は数か月前からテストされていました。 1 か月ほど前には、通常のウェブ検索にもハッシュタグ専用のブロックが差し込まれるようになり、公式発表がないまま正式公開したのではないかとも思われていました。 ハッシュタグでの検索機能を Google は次のようにリリース記事で紹介しています。 インターネットを利用する目的として、日本では諸外国と比べて、最新のトレンドや自分の興味や関心のあるトピックを深掘りして知りたいというニーズがより強いことが最近の調査でわかりました。そして、流行を調べたり、共通の関心をもつ人とつながる手段として、最近は「ハッシュタグ」がよく使われています。日本語は、単語の間にスペースが不要なため、より長い文章など表現力豊か
【サーベイ論文まとめ】RAG(Retrieval-Augmented Generation) - Qiita
グーグルの研究部門・Google Researchは降水予測のためのAIモデル｢MetNet｣を2020年に発表している。今回、日本の天気予測に使われるのは、2023年11月に発表された改良版｢MetNet-3｣になる。 グーグルは日本ではウェザーニューズとパートナーシップを結んでいるが、MetNet-3を基にウェザーニューズが蓄積したデータを用いて日本向けにカスタムされた雨量予測モデルを開発した。 このカスタムモデルにより、7月開始するGoogleナウキャストでは3km四方の解像度での最大12時間先まで・5分ごとの雨量および雪量予測を実現している。 Googleナウキャストは、Androidのホーム画面等からアクセスできる天気機能や、Google検索（｢東京 天気｣など）の結果画面から無料で利用できるようになる。
Google日本法人は6月19日、日本独自の新検索機能「ハッシュタグ検索」を発表した。日本独特の「最新のトレンドや興味関心のあるトピックを深く知りたい」というニーズに応えるための機能で、日本で言語設定を日本語にすると利用できる。 例えば「チョコレート」と検索すると、チョコレートの作り方や種類、購入先など、一般的な情報が表示されるが、「#チョコレート」とハッシュタグを付けると、X、Instagram、YouTube、TikTok、オンライン雑誌、ブログなど、広範囲の媒体から最新のコンテンツが、カード状に表示される。
日本デザインスクールでは年間1500名ほどの受講生を、未経験からWEBデザイナーに育ててきました。受講生を指導する中でよくあがってくるのが「参考がなかなか見つからない」というお悩み。 私も受講生にお伝えすべく、これまで100サイト近くの「参考になりそうなギャラリーサイト」を見てきました。 そこで今回は、これまで見てきたギャラリーサイトの中で、みなさんのデザイン制作のお役に立ちそうなサイトを全部で61個ご紹介していきます。 全てのサイトを おすすめ度 サイト内検索の可否 いいね/保存機能の有無 ランキング機能の有無 掲載サイト数 を基準にランクづけし、おすすめできるサイト順に載せているので忙しいという方は、とりあえず上から順にチェックしていただければ大丈夫です！みなさんのデザイン制作に活かしていただけると嬉しいです。 【全サイト徹底比較】超参考になるおすすめギャラリーサイトTOP38 ちょう
ニコニコ動画（Re:仮）検索
ガチャを楽しみたい方はニコニコ動画（Re:仮）公式へどうぞ！2009年の動画に対応しました！ニコニコ動画（Re:仮）で見られる動画が検索できるサイトです。 いちニコニコファンとして勝手に作ったサイトで、情報の正確性や網羅性は担保しません。 各コンテンツの権利はニコニコ及び動画投稿者に帰属します。 予告なくサービスを終了する可能性があります。
生成AI検索エンジンのPerplexityはクローラーを防ぐ「robots.txt」を無視してウェブサイトから情報を抜き出している
Perplexityは生成AIを利用した検索エンジンであり、ユーザーの質問に対してAIが直接回答を生成できるほか、ユーザーのプロンプトに基づいたウェブページを生成する「Pages」という機能を提供しています。そんなPerplexityが、検索エンジンやAIトレーニングなどのボット(クローラー)を制御するテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが判明しました。 Perplexity AI Is Lying about Their User Agent • Robb Knight https://rknight.me/blog/perplexity-ai-is-lying-about-its-user-agent/ GoogleやBingなどの検索エンジンやChatGPTをはじめとする生成AIは、ク
キャンペーン期間：2024.6.19~2025.6.18 Perplexity ProはPerplexity AI, Inc.が提供するサービスです ※1上記価格は2024年6⽉19⽇時点のAndroid OS版の価格です。他の2024年6⽉19⽇時点の通常価格は以下の通りです。 いずれもソフトバンク・ワイモバイル・LINEMOのユーザーは1年間無料となります。 iOS版 ⽉3,000円 / 年30,000円 | Android OS版 ⽉2,950円 / 年29,500円 | WEB ⽉$20 / 年$200 なお、最新の価格は各アプリストア⼜はWEB上でご確認ください。 ※1上記価格は2024年6⽉19⽇時点のAndroid OS版の価格です。他の2024年6⽉19⽇時点の通常価格は以下の通りです。 いずれもソフトバンク・ワイモバイル・LINEMOのユーザーは1年間無料となります。 i
ソフトバンクユーザーなら、生成AI検索「Perplexity Pro」が1年無料に ワイモバイル、LINEMOも対象
ソフトバンクは6月17日、生成AIスタートアップの米Perplexityとの戦略的提携を発表した。ソフトバンク、ワイモバイル、LINEMOユーザーであれば、AI検索エンジン「Perplexity」の有料版「Perplexity Pro」を1年無料で使用可能だ。 Perplexityは、質問を入力すると、インターネットの最新情報をもとに文章で回答する生成AIベースの検索エンジン。情報源も表示して回答するため、信頼性の高い回答を得ることができるとしている。 Perplexity Proは、月額2950円（年2万9500円）の有料サービスで、複数の大規模言語モデル（GPT-4o、Claude-3、Llama3など）を選択でき、分析のためのファイルアップロード回数が無制限で利用可能。Playground AI／DALL-E／SDXLによる回答の画像生成の他、検索結果をユーザーごとに最適化するAIプ
生成AIの登場により、検索市場が大きく変わろうとしている。米国ではグーグル対抗のAI検索エンジン「Perplexity」の検索から流入するトラフィックは毎月40％増加していることが判明。日本でもソフトバンクと連携して本格参入することが明らかになった。これに対抗してグーグルも生成AIを活用した検索システム「Search Generative Experiences（SGE）」を利用者全員に早期に展開する見込みだ。生成AIによる検索が増えるとSEO（Search Engine Optimization）にどのような影響が出るのかは多くのデジタルマーケターが注目するところ。生成AIの登場で、検索市場に何が起きるのか。
近似近傍探索のチューニングで気をつけること
本記事ではFaissやScaNNといったライブラリに実装されているIVF-PQ系の近似近傍探索手法のパラメータチューニングの際に気をつける点を紹介します。pythonのプログラム上で動かすことを想定していて、vertex AI vector searchのようなAPIで行うものは対象外です。ただ、OpenSearchではfaissを近似近傍探索として選ぶことができるため、チューニングの参考になるかもしれません。 はじめに: ANN-Benchmarksの罠 ANNの性能とパフォーマンスの参考になるサイトとして、ANN-Benchmarksというサイトがあります。このサイトでは各近似近傍探索のパフォーマンスが様々なベンチマークにより比較されており、近年ではFaissに実装されているFastScanやTensorFlow recommendersから使えるScaNNといった、高速化されたIVF
perplexity.aiが速攻で$20払って良いと思えたくらいに情報収集を効率化してくれた件 - 理系学生日記
従来の検索エンジン Perplexity.aiの検索 RAGとの関係 perplexity.aiでリサーチするときのプラクティス 英語で検索しよう しっかり調べたい時はPage機能を使う ちょっとした調べ物 今使えるモデル まとめ Perplexity.aiがすごく良かったです。何か知りたいことが出てきたら、Google検索するよりもPerplexity.aiで検索している。 Perplexity.aiは、生成AIを用いた検索エンジンと見なすことができるサービスで、情報収集の効率を劇的に向上させてくれます。ユーザーの質問に対してWebをクローリングし、関連情報を要約し、それらの参照リンクとともに高精度な回答を提供してくれる。 最初にネタバレしておくと、このエントリ自体もかなりの部分をperplexity.aiの要約と回答生成能力に頼りました（Github Copilotにもわずかに頼ってい
GraphRAGの簡易検証 ~Azure Document Intelligence, Neo4jを用いて~ - Qiita
GraphRAGの簡易検証 ~Azure Document Intelligence, Neo4jを用いて~rag事前学習生成AILLMDocumentIntelligence はじめに 本記事の背景 Retrieval-Augmented Generation（RAG）は、クエリに基づいた情報検索を行い、その結果を基に回答を生成する技術です。これは大規模言語モデル（LLM）の活用法の一つであり、新しい知識や企業文書などに対しても効果的に利用できます。しかし、RAGにはいくつかの課題があり、特に情報の関連付けや意味的理解の不足が精度の低下につながることがあります。 通常のRAGは、主にベクトル類似性を利用して情報を検索します。これは、情報断片の表面的な類似性を評価するものであり、深く複雑な関連性を捉えることが難しいです。また、ベクトル化された情報は独立したエンティティとして扱われるため、文
はじめに Elasticsearchではv8.12からLearning To Rankという機能が実装されました。これまでにもコミュニティープラグインでは同様のことが実現できていましたが、今回Elasticが公式にサポートしましたので概要について紹介したいと思います。 検索の良し悪しは主に以下の観点で評価できます。 適合率 / Precision : どれだけノイズが少ないか 再現率 / Recall : どれだけもれなく検索できているか Learning To Rank（LTR）はこのうち適合率 / Precisionを、事前に用意したデータを学習することによって向上させるための仕組みです。 この機能はElasticsearchの外部で機械学習によって作成したモデルを使って実現します。流れとしてはData Frame Analyticsやベクトル検索で実現しているのと同様、Pythonで
Appleのパーソナル人工知能システム「Apple Intelligence」のトレーニングにはWebクローラApplebotで収集した情報をプライバシーに配慮して使用し、Applebot-Extendedでオプトアウトも可能。
Appleがパーソナル人工知能システム「Apple Intelligence」のトレーニングにはWebクローラー「Applebot」で収集した情報をプライバシーに配慮して使用していると発表しています。詳細は以下から。 Appleは2014年にリリースしたOS X 10.10 YosemiteやiOS 8でSpotlightとインターネット検索を融合させ、SpotlightやSiriにキーワードを入力すると検索クエリや位置情報がAppleに送信され関連性の高い情報を表示したり、macOS 13 Venturaからはスポーツ選手やミュージシャン、テレビ番組、映画、ニュースなどの情報をWebページを開かずに表示できるようになりましたが、 Appleは現地時間2024年06月10日、世界開発者会議WWDC24の基調講演の中で発表した次期macOS 15 SequoiaやiOS 18, iPadOS
ElasticsearchによるZOZOTOWNへのベクトル検索の導入検討とその課題 - ZOZO TECH BLOG
はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。本記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日本語で簡単にまとめたものです。 「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に
I'm concerned by the number of times I've heard, "oh, we can do RAG with retriever X, here's the vector search query." Yes, your retriever for a RAG flow should definitely support vector search, since that will let you find documents with similar semantics to a user's query, but vector search is not enough. Your retriever should support a full hybrid search, meaning that it can perform both a vect
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windowsのあちこちに表示されるMicrosoftの広告を非表示にする方法まとめ
https://www.medee.jp/column/implant/implant-halitosis/
【歯科医院向け】LP制作で失敗しないために知っておきたいポイント -webma-
Google 検索の連続ページスクロールが廃止。まずはデスクトップユーザーから | HelenTech
「満足度が高まるわけではなかった」Google、検索結果を自動的に読み込む“無限スクロール”廃止へ【やじうまWatch】
三菱電機がClaude 3活用で「工数4割減」、仕様書の図表解析にマルチモーダルが威力
「Microsoft Edge」に新しいAI機能 ～テーマの自動生成とワークスペースの提案が追加／プロンプトでテーマを生成したり、検索ワードに関する複数ページを一括で開ける
パープレキシティは「インターネット検索」を根本から覆すかもしれない | グーグルを脅かすAIスタートアップ
【Rakuten PLAY】動画配信ランキング｜作品ごとの配信サービス情報が満載
楽天、国内動画配信サービスの映画/ドラマを横断検索できる「Rakuten PLAY」
Googleが「ハッシュタグ検索」、「#ねこ」などでYouTube、Instagram、Xなどをまとめて検索可能に
Googleハッシュタグ検索が日本独自の機能として正式リリース
グーグルが新しい検索機能を日本で発表。｢AIで1秒で雨量予測｣と｢ハッシュタグ検索｣
Google、日本独自の「ハッシュタグ検索」開始 インスタやXの投稿をカード状に表示
グーグル、12時間先まで5分刻みで降雨予測する「Google ナウキャスト」
グーグル、「ハッシュタグ検索」を開始 日本発の“推し”検索
私がWEBデザイン制作の参考になりそうだと思うサイトを61個挙げてみた。
脱毛サロン・クリニックのSEO対策！キーワード選定とサイト作りのコツ -webma-
Perplexity Pro | スマートフォン・携帯電話 | ソフトバンク
生成AIで検索市場が大変革、グーグル対抗の「Perplexity」が月40％も大躍進のワケ
【研究のススメかた】避けるべき論文の見分け方｜Dr. MM
ElasticsearchによるLearning To Rank(LTR)入門 - Qiita
エディタにAIが統合、「EmEditor」v24.3.0が正式版に ～マクロだけでなくアプリ本体にもAIを統合／正規表現で対象ファイルを指定したテキスト検索も実現
「Bing」で「rakuten」と検索するとサポート詐欺サイトを踏んでしまうかも／当面の間は自衛するしかなさそう【やじうまの杜】
RAGで人間の脳を再現。「HippoRAG」を理解する
Doing RAG? Vector search is *not* enough