[B! elasticsearch] ledlizerdのブックマーク

ledlizerd id:ledlizerd

elasticsearchに関するledlizerdのブックマーク (9)

ベクトル検索（近似最近傍探索）でいい感じの MoreLikeThis を実現する | by mocobeta | Medium
この記事は，﹁情報検索・検索エンジン Advent Calendar 2019﹂23日目のエントリーです。モノは生煮えですが，背景含めて頑張って説明したいと思うので，ご容赦ください…。目次 Apache Lucene とはLucene にベクトル検索を実装してみたベクトル検索版 MoreLikeThisUnsolved issues︵積み残し︶雰囲気だけ知りたいという方は，﹁ベクトル検索版 MoreLikeThis﹂のところだけ眺めると良いかもしれません。 Apache Lucene とは Apache Lucene は，ピュア Java で書かれた，高速・スケーラブルな検索エンジンライブラリです。OSS 検索エンジンとして人気の高い Elasticsearch や Solr のコアエンジンとして使われているため [1]，検索システムに携わっている方なら，名前は聞いたことがあるかもしれ
ledlizerd 2019/12/25
elasticsearch
リンク
Elasticsearch で Learning-to-Rank を試してみた！ - Qiita
この記事は、ただの集団 AdventCalendar 2019の21日目の記事です。はじめに担当日前日に﹁Elasticsearch で Learning-to-rank やりたいので、環境構築の手順とその使い方についてまとめてね。ヨロピコ！﹂と振られたので、今回は Elasticsearch with learning-to-rank の構築手順とその使い方を紹介します。今回作成したものはコチラ Learning-to-rank とは検索エンジンにおける learning-to-rank とは、機械学習と検索するデータを使って、検索結果のランキングの順序を改善する手法のことです。順序学習やランキング学習とも呼ばれています。今回は、Elasticsearch の learning-to-rank のプラグインを使います。learning-to-rank のレポジトリにあるde
ledlizerd 2019/12/25
elasticsearch
リンク
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。今回は、リアルタイムログ解析基盤を紹介します。背景皆様はwebサーバログ監視︵アクセスログ・エラーログなど︶をどのように行われているでしょうか？スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。今回は、リアルタイムログ解析基盤を紹介します。背景皆様はwebサーバログ監視︵アクセスログ・エラーログなど︶をどのように行われているでしょうか？スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX地獄に陥りました。︵以下の図のような状態のことです。︶ログの確認が必要になった際に、この csshXを使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
ledlizerd 2016/06/02
分析

ログ

fluentd

elasticsearch
リンク
リクルート流Elasticsearchの使い方
タイトル‥ ﹃認証の課題とID連携の実装 �〜ハンズオン〜﹄概要‥ FIDO、ID連携︵OAuth・OpenID Connect︶をはじめとした最近の技術をご紹介します。FIDOは端末とサーバー間でユーザー認証を安全に連携するための仕組みです。OpenID Connectはユーザーの認証と認可を連携するためのID連携の仕組みで、OAuth 2.0を拡張した仕様であり、HTTP通信やJSONなど基礎的なWeb技術によって構成されています。FIDOとID連携の技術を学んだ後、実習ではGolangを用いてWebアプリケーション上にOpenID Connectを実装します。実装の注意点とそのリスク、仕様に施されているセキュリティー対策についてハンズオンを行いながら解説します。セキュリティ・キャンプ全国大会2019 専門講義選択コース B4 認証の課題とID連携の実装〜ハンズオン〜 Aug
ledlizerd 2016/05/27
elasticsearch

slide

リクルート
リンク
時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
※4/6 その後調べた情報などを記事末尾に追記前提となるニーズサーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。ここでは考えないことにする。選択肢になりそうなもの古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana Influx DB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと
ledlizerd 2016/04/11
elasticsearch

あとで読む

database
リンク
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
ledlizerd 2015/10/02
aws

あとで読む

elasticsearch
リンク
ハッカドールにおけるElasticsearch利用法について発表しました - mosa_siru’s blog
DeNA社内でのElasticsearch勉強会にて、アプリ﹁ハッカドール﹂におけるElasitcsearch利用法について発表してきました。スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。︵ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情︵ハッカドール︶の派生スライドです。︶ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com
ledlizerd 2015/09/03
elasticsearch

slide

DeNA

あとで読む
リンク
「Elasticsearch での類似文書検索と More Like This Query API 詳解」というタイトルで発表しました - stop-the-world
Elasticsearch 勉強会in大阪・京都で発表しました。最近、興味をもって調べていた More Like This Query API について、改めてソースコードリーディングしながら整理した内容になっています。 Elasticsearch 勉強会in大阪︵7/13 Yahoo! JAPAN 大阪︶ Elasticsearch 勉強会in京都︵7/14 はてな京都オフィス︶大阪と京都でElasticsearch勉強会を開催しました。 ( @johtani さんのブログ) この発表で使ったスライドを Speaker Deck にアップしました。大阪と京都で同内容の発表でしたが、スライドの体裁をよくして見やすくした、京都での発表スライドをアップしています。 Elasticsearch での類似文書検索と More Like This Query API 詳解 // Sp
ledlizerd 2015/07/22
elasticsearch

slide

あとで読む

検索エンジン
リンク
Elasticsearch を使った位置情報検索 - クックパッド開発者ブログ
ホリデー事業室の内藤です。ホリデー事業室は昨年の4月に発足した部署で、Holiday︵https://haveagood.holiday︶という新規サービスの開発を行っています。 Holiday とは、クックパッドが長年取り組んでいる﹁毎日の料理を楽しみにする﹂分野からは少しだけ離れ、﹁いつもの休日を楽しくすることで人生を豊かにする﹂ことを目指したサービスです。例えばこちらのおでかけプランのように、﹁〇〇に行くならここも行ったほうがいいよ﹂や﹁〇〇を散策するならこのコースだよね﹂など、おでかけのレシピを投稿したり探すことができるようになっています。今回は、全文検索エンジン Elasticsearch を使って、全文検索と位置情報を絡めた検索についてお話したいと思います。本稿で説明する内容は、実際に Holiday の中でも応用を加えた形で使われています。 Holiday では、複数
ledlizerd 2015/03/12
elasticsearch

あとで読む
リンク
1