Hatena Blog Tags

はてなブログ トップ
転置インデックス
このタグでブログを書く

言葉の解説

ネットで話題

関連ブログ

転置インデックス

(コンピュータ)
【てんちいんでっくす】

検索エンジンの実装などに使われる、索引構造のこと。書籍の末尾には索引として、ある単語がどのページに含まれて居るかを列挙しているページがあるが、それを計算機上で実現するものを指す。
例えば、文書が1,000文書あったとして、各文書には固有の番号(文書ID)が付与されているとする。この1,000文書すべてから単語を抽出し、各単語が含まれる文書IDを記録していく。例として、以下のような構造ができあがる
 
Pearl   1, 2, 304 ...
Perl    1, 5, 10, 12, 15 ...
Python  5, 10, 32 ...
上記は "Pearl" という単語が文書ID1, 2, 304 ... の文書に含まれるという意である。この構造を、何かしらのデータ構造で表現したものが転置インデックスである。
転置インデックスでは、単語さえ決まればそれに紐付く文書IDはすぐに探すことができるため、情報検索分野で広く利用される
このタグの解説についてこの解説文は、すでに終了したサービス﹁はてなキーワード﹂内で有志のユーザーが作成・編集した内容に基づいています。その正確性や網羅性をはてなが保証するものではありません。問題のある記述を発見した場合には、お問い合わせフォームよりご連絡ください。

datablogger’s blog•2年前

転置インデックス


転置インデックスの定義 転置インデックスは、情報検索システムにおいて、文書のコーパスに含まれる単語を格納し、整理するために用いられるデータ構造である。 文章にふくまえれる単語を記録するのではなく、特定の単語が含まれる文章を記録するため﹁転置﹂インデックスと呼ばれる。 転置インデックスの目的 特定の単語やフレーズを含む文書の高速な検索と取得を可能にすることができる。 ユーザーがクエリーを送信すると、システムはインデックス内の関連する単語を検索し、その単語を含む文書のリストを高速に返すデータ構造となっている。 データ構造 転置インデックスは、通常、コーパスの各単語を1行、各文書を1列とする表として…
#転置インデックス

ネットで話題

もっと見る
321ブックマークPythonで100万ドキュメントオーダーのサーチエンジンを作る(PageRank, tfidf, 転置インデックスとか) - にほんごのれんしゅうcatindog.hatenablog.com
271ブックマーク作って覚える転置インデックス、「検索エンジン自作入門」 - プログラマでありたいblog.takuros.net
234ブックマーク転置インデックスを実装しよう - mixi engineer blogmixiengineer.hatenablog.com
227ブックマーク[を] 転置インデックスによる検索システムを作ってみよう！chalow.net
74ブックマーク転置インデックスの圧縮技法takuya-a.net
45ブックマーク転置インデックスの圧縮 - tsubosakaの日記tsubosaka.hatenadiary.org
44ブックマーク転置インデックスで学ぶ検索エンジンの中身アプリ - シリコンの谷のゾンビsleepy-yoshi.hatenablog.com
39ブックマーク転置インデックス - Wikipedia転置インデックス︵てんちインデックス、Inverted index︶とは、全文検索を行う対象となる文書群から単語の位置情報を格納するための索引構造をいう。転置索引、転置ファイル、逆引き索引などとも呼ばれる。 概要[編集] 情報処理テクノロジにおける転置インデックスとは、単語や数字といった内容から、それが含まれてい...ja.wikipedia.org
36ブックマーク[IR] 転置インデックスとtop-k query - tsubosakaの日記tsubosaka.hatenadiary.org

関連ブログ

CLOVER🍀•1ヶ月前

Apache LuceneでkNN検索とANN＋HNSWを使い分ける（Codecを使ったHNSWのパラメーター設定付き）

これは、なにをしたくて書いたもの？ 前にApache Luceneでベクトル検索（kNN検索）を試してみました。 Apache Luceneでベクトル検索（kNN検索）を試す - CLOVER🍀 この後でANNに関係するHNSWのパッケージやクラスがあるのを見つけたので、今回はこちらを扱ってみたいなと思いまして。 kNN検索、ANNとHNSW 前回使ったのはkNN検索でした。これはQdrantの時にも扱いました。 Qdrantのチュートリアルから、「検索品質を測定する（Measure retrieval quality）」を試す - CLOVER🍀 あらためて内容を書いておきます。 k近傍法（…

techtekt•2ヶ月前

Azure AI Searchのセマンティックハイブリッド検索によるRAGの性能向上について

はじめに 以前、弊社より以下の記事を紹介させていただいておりました。 1. Azure OpenAI Serviceで社内版ChatGPTのChatPCAを構築した話 2. Azureで社内文書から回答可能な生成AIチャットサービスを作った話 今回は、以前紹介させていただいたChatPCA*1の社内文書検索機能において、Azure AI SearchのRAGの精度向上の取り組みについてお話しさせていただきます。 そちらにあたって、パーソルキャリアにおける生成AIチャットサービスの概要について気になる方は、まず上記の記事を一読いただけたらと思います。 Azure AI Searchは、Elast…

JBS Tech Blog•5ヶ月前

Azure AI Searchのシノニム機能【2. 実践編】


前回のブログ記事では、Azure AI Searchのシノニム機能について機能概要などを紹介しました。 blog.jbs.co.jp 今回はREST APIを使用して、実際にシノニム機能を操作して、その検索挙動を確認します。 はじめに シノニムマップ割り当て済みのインデックスを作成する インデックスを用意する REST APIでシノニムマップを作成する フィールドに対してシノニムマップを割り当てる 検索を実行する 検索方法 検索結果と考察 クエリNo.1‥America クエリNo.2‥USA クエリNo.3‥USA America クエリNo.4‥USA + America クエリNo.5‥…
JBS Tech Blog•5ヶ月前

Azure AI Searchのシノニム機能【1. 概要編】

RAG（Retrieval-Augmented Generation; 取得拡張生成）を利用したチャットシステム等を構築するにあたり、検索サービスであるAzure AI Searchへの需要が高まっています。 ドキュメント検索方法には、テキスト検索、ベクター検索、ハイブリッド検索などの様々なパターンがありますが、今回はテキスト検索の精度向上に寄与する「シノニム」機能に焦点を当てます。 この記事では、Azure AI Searchのシノニムの基本的な機能や検索処理の流れについて解説します。 Azure AI Searchのシノニム 用語やコンポーネントの整理 ルールの種類 同義性規則（Equiv…

電通総研 テックブログ•5ヶ月前

基本概念から理解するAzure AI Search - Azure OpenAI Serviceとの連携まで

こんにちは。XI 本部AIトランスフォーメーションセンター所属の山田です。 先日、部内の勉強会でAzure AI Searchについて紹介したので、テックブログでもその内容を紹介したいと思います。 Azure AI Searchとは？ Azure AI Searchに保存されるデータに関する用語と概念 Azure AI Searchのスケーラビリティに関する用語と概念 Azure AI Searchでサポートされる検索の仕組み 全文検索について Azure AI Searchのアナライザー ベクトル検索について ベクトルの近傍検索アルゴリズム ハイブリッド検索 検索インデックスのスキーマ設計 …

anone200909’s diary•5ヶ月前

『Apache Solr入門』（打田　智子他著、技術評論社、2017年5月10日発行）

LuceneはJavaインターフェイスなのに対して、SolrはJSON over HTTP ドキュメントの重みづけはLucene/Solr V6からOkapi BM25 スキーマは、フィールドとフィールドタイプ（数値、文字列、日付）を指定する。フィールドは非テキスト系とテキスト系に分かれる。非テキスト系には、製品名、ジャンルなど単語分割が必要ない文字列が含まれる。テキスト系はAnalyzerの指定が必要。 Analyserは、文字フィルタ、トークナイザ、トークンフィルタを指定する。 文字フィルター：例えば、文字フィルタで半角カタカナを全角カタカナに変換してからトークナイザに渡す。Mapping…

anone200909’s diary•5ヶ月前

『Elastic Stack 実践ガイド』（惣道　哲也著、インプレス、2020年8月11日発行）

Elastic Search は全文検索ソフトとして2010年に登場した。索引検索を行う。 用語 転置インデックスは、単語と単語が出現する文書の組み合わせで作成されるインデックスのこと。 検索ライブラリー：インデクサとサーチャの機能を提供する。Apache Lucene（JAVA） 検索サーバレイヤ：Apache Solr、Elasticsearch。REST APIのインターフェイスを持つ。いずれも検索ライブラリLuceneを呼び出す。 検索システムレイヤ：クローラーやWebユーザーインターフェイスを持つ。エンタープライズサーチ製品。オープンソースではnamazu、Fessがある。 Elas…

天に跼り地に蹐す•6ヶ月前

放送大学の教科書『自然言語処理』の改訂版と三訂版の比較

はじめに 本項では、放送大学教育振興会出版の黒橋禎夫『自然言語処理』の改訂版（2019年）と三訂版（2023年）を比較する。 自然言語処理の主流であった古典的手法が、ニューラルネットワーク的手法に圧倒されていくさまを見ることができる。 前著では比較的小さな扱いであったニューラルネットワーク的手法が後著では主役を占めることになるとは。 確かに歴史的場面を我々は見ている。 自然言語処理〔三訂版〕 (放送大学教材)作者:黒橋 禎夫放送大学教育振興会Amazon 自然言語処理〔改訂版〕 (放送大学教材)作者:禎夫, 黒橋放送大学教育振興会Amazon 目次の変化 改訂版から三訂版への改訂にあたって読者…

Ahogrammer•6ヶ月前

意味的知識グラフとApache Solrを使った関連語検索の実装

Manningから出版予定の『AI-Powered Search』（AIを活用した情報検索の意）を冬休み中に読んでいたら、その中で意味的知識グラフ（Semantic Knowledge Graph）と呼ばれるデータ構造について説明していて、関連語の計算やクエリ拡張などに使えるということで興味深かったので紹介しようと思います。最初に意味的知識グラフについて説明したあと、日本語のデータセットに対して試してみます。 AI-Powered Search（https://www.manning.com/books/ai-powered-search） 本記事の構成は以下のとおりです。 意味的知識グラフと…

Sansan Tech Blog•7ヶ月前

Elasticsearch ことはじめ


Contract One の開発チームでEMをやっている石畑です。Contract One は﹁契約データベースから、収益を最大化する﹂をタグラインに、契約業務や管理の効率化だけでなく、契約データをビジネスに活かすためにさまざまな機能開発を行っています。 その中で最近より検索機能の向上が重要になって来ているので、全文検索エンジンである Elasticsearch について調べてまとめました。Elasticsearch をざっくり把握したい人に役立つブログになれば嬉しいです。 なお、本記事は Sansan Advent Calendar 2023 25日目の記事です。
Stanby Tech Blog•7ヶ月前

検索エンジンをVespaへ移行しています

検索エンジンをVespaへ移行しています こんにちは、スタンバイで検索周りの開発を担当している鷹取です。 今回はスタンバイで利用している検索エンジンをVespaへ移行している話を紹介します。 検索エンジン移行の背景 Stanby Tech Blogのスタンバイ2+1年の軌跡の記事で説明されている通り、 スタンバイでは、主に求人検索機能を提供していますが、その中でもオーガニック(無料掲載)と広告(有料掲載)という２種類の検索が存在します。 この2種類の検索ではそれぞれで異なる検索エンジンを使用しています。 オーガニック検索: Yahoo! ABYSSという検索プラットフォーム 広告検索: Ela…

豪鬼メモ•8ヶ月前

追記型データベースと転置インデックス

データベースライブラリTkrzwは追記型データベースをサポートしているが、それを応用したら転置インデックスの作成が効率的に行えるのか、考えてみた。

Uzabase for Engineers•1年前

IAMロールでAmazon OpenSearch Serviceの手動スナップショットを作成しデータを復元してみよう


こんにちは。株式会社ユーザベース NewsPicksでエンジニアをやっております崔︵チェ︶です。現在は Data / Algorithm チームで検索エンジンの開発を担当しております。 弊社は、約2ヶ月前に検索システムをElastic社のElasticsearch︵以下、ES︶からマネージドサービスであるAmazon OpenSearch Service︵以下、OpenSearch︶に移行しました。前回のブログ記事では、移行と同時に検索システムのセキュリティを向上させた話をしました。主に、きめ細かなアクセスコントロール︵Fine-Grained Access Control、以下、FGAC︶を…