タグ

関連タグで絞り込む (154)

タグの絞り込みを解除

自然言語処理に関するdenkenのブックマーク (118)

  • 自然言語処理

  • Python による日本語自然言語処理


    はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明　訳 ﹃入門 自然言語処理﹄ O'Reilly Japan, 2010. の第12章﹁Python による日本語自然言語処理﹂を、原書 Natural Language Processing withPython と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
    denken
    denken 2010/11/16
    「査読をしてくだり、多くの指摘をしてくださった小町守さん、中村敦さん、原川浩一さん、佐藤敏紀さん、内海慶さん、前澤敏之さん、奥野陽さん、坪坂正志さん」
    リンク

  • overlasting.net

    overlasting.net 2020 Copyright. All Rights Reserved. The Sponsored Listings displayed above are served automatically by a third party. Neither the service provider nor the domain owner maintain any relationship with the advertisers. In case of trademark issues please contact the domain owner directly (contact information can be found in whois). Privacy Policy

  • オライリーの入門自然言語処理をご献本いただきました！ - nokunoの日記


    こっそり誤植の指摘とかしただけなのに送っていただき、ありがとうございます！Amazon.co.jp‥ 入門 自然言語処理: Steven Bird, Ewan Klein, Edward Loper, 萩原 正人, 中山 敬広, 水野 貴明: 本著者の@mhagiwaraさんと@mizuno_takaakiさん、このような機会を下さった@overlastさんもありがとうございます。内容は原著のNatural Language Processing withPythonという本と同じく、NLTKというライブラリを使いながら自然言語処理の入門的な内容を実習形式で学んでいきます。言語処理のための機械学習とも違って、機械学習以外の言語学的な知見を使った処理も取り入れている感じ。見所は間違いなく12章で、色々と特殊な問題のある日本語処理について、文字コードの問題から形態素解析・構文解析︵係り受け解

  • dirichlet-topic.pl 1.0


    English dirichlet-topic.plはあるテキストのジャンルを良く表す単語を見つけてくれるスクリプトです。スムージングは割とちゃんとしているので、stop wordを指定したり、低頻度の単語を削除したりする必要はありません。 Apache License Version 2.0に基づいて配布しており、個人・研究・営利用を問わずぜひ使ってください。面白かったり、何かに使ったらりしたら、このページへのリンクを貼っていただけたら幸いです。 ここからダウンロードできます‥dirichlet-topic.pl Ver. 1.0 また、Wikipediaの﹁IT﹂・﹁スポーツ﹂・﹁国﹂に関する記事でテスト用のデータセットを作りました。 使い方 パッケージに3つのスクリプトが付いています‥ combine-counts.pl 2つ以上のファイルの単語頻度を数えて、1つの頻度付き辞書に組み
    denken
    denken 2010/09/05
    「dirichlet-topic.plはあるテキストのジャンルを良く表す単語を見つけてくれるスクリプトです。スムージングは割とちゃんとしているので、stop wordを指定したり、低頻度の単語を削除したりする必要はありません。」
    リンク

  • alarming description 違法 犯罪情報 検知

    127 | 126 | 125 | 124 | 123 | 122 | 121 | 120 | 119 | 118 | 117 | 116 | 115 | 114 | 113 | 112 | 111 | 110 | 109 | 108 | 107 | 106 | 105 | 104 | 103 | 102 | 101 | 100 | 99 | 98 | 97 | 96 | 95 | 94 | 93 | 92 | 91 | 90 | 89 | 88 | 87 | 86 | 85 | 84 | 83 | 82 | 81 | 80 | 79 | 78 | 77 | 76 | 75 | 74 | 73 | 72 | 71 | 70 | 69 | 68 | 67 | 66 | 65 | 64 | 63 | 62 | 61 | 60 | 59 | 58 | 57 | 56 | 55 | 54 | 53

    denken
    denken 2010/09/05
    犯罪の可能性のあるコンテンツ
    リンク

  • SimString - A fast and simple algorithm for approximate string matching/retrieval

    A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl

  • 自然言語処理勉強会＠東京 第1回 の資料 - 木曜不足


    本日の tokyotextmining こと 自然言語処理勉強会＠東京 第1回 で話す﹁Webページの本文抽出 using CRF﹂の資料(自己紹介は除く)です。 以前、Ruby で作った本文抽出モジュール を機械学習の技術を使って作り直してみたら、というお話。 CRF は Conditional Random Fields の略。 Web本文抽出 using crf from Shuyo Nakatani 実装はこのあたり。 http://github.com/shuyo/iir/blob/master/sequence/crf.py http://github.com/shuyo/iir/blob/master/sequence/pg.py http://github.com/shuyo/iir/blob/master/extractcontent/webextract.py ︻追記︼
    自然言語処理勉強会＠東京 第1回 の資料 - 木曜不足

  • 自然言語処理勉強会＠東京　のグループを作りました。 - nokunoの日記


    最近、統計・機械学習・データマイニング関係の勉強会に顔を出しているわけですが、自然言語処理の勉強会がなぜか無かったので作りたいと思い、とりあえずグループを作りました。きっと大学の研究室レベルとか研究会とかがいっぱいあるのだと思いますが、社会人でも週末で気軽に参加できるオープンな勉強会、という点では意義があるのではないかと思います。 自然言語処理勉強会＠東京 | Google グループ まだ何もありませんが、興味がありましたらご参加ください。自然言語処理︵Natural Language Processing; NLP)に関する勉強会です。自然言語処理について、理論と実践の両面について深く学び、発表と議論を通じて共有していくことを目的としています。 概要 主に東京で週末に開催されます。 発表者と会場提供を募集しています。 神経なんとかとの誤爆を避けるため、英名はtokyotextmining

  • Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog

    都会よりも田舎が好きなfujisawaです。Bayesian Setsというアルゴリズムを使って、関連する文書を高速・高精度に検索できるシステムを作成しましたので、そのご紹介をさせていただきます。 Bayesian Setsとは Bayesian Setsはいくつかアイテムを入力すると、それを補完するようなアイテムを返してくれるアルゴリズムです。原著論文の先頭に"Inspired by Google Sets"と書かれているように、Google Setsを参考にして作成されています。実際にどのような出力が得られるか、Google Setsに以下の表のクエリを検索して試してみますと、 クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,

    Bayesian Setsによる関連文書検索システムStupa - mixi engineer blog

  • Não Aqui! » μ


    先週まで論文執筆モードだったので，ご報告が遅れましたが，娘の名前は心優︵みゆ︶にしました．この名前を聞いて﹁当て字っぽくて読めねー﹂と感じるか，﹁ありがちな名前﹂と感じるかで，最近の子供の名前に対する精通度が分かります．人気の名前はあまり付けたくなかったのですが，2009年の名前のランキングに普通に出てきます．文字通り﹁心優しい﹂ですが，﹁優﹂を漢語林で引くと，﹁上品で美しい﹂﹁みやびやか﹂﹁おだやか﹂﹁しとやか﹂﹁情深い﹂﹁のびやか﹂﹁ゆるやか﹂など，女の子にはうってつけの多義が並べられています． 名前を決めるのは本当に大変でした．考えれば考えるほど，自分の探索空間が足りているのか不安になりました．結局は，コンピュータが生成した6,084個︵読みで数えた数︶の名前の候補から，私と嫁で一つ一つチェックしながら結論を出しました． 名前の候補を生成する流れは，次の通りです． 名前辞典などを見な
    denken
    denken 2010/02/25
    「娘の名前は心優（みゆ）にしました．この名前を聞いて「当て字っぽくて読めねー」と感じるか，「ありがちな名前」と感じるかで，最近の子供の名前に対する精通度が分かります．」
    リンク

  • 真の違法・有害コンテンツの所在 : 研究開発

    18歳未満の飲酒、喫煙 ※ 20歳未満でもダメですが、条件をこのように厳しくしてもなおこの件数です。 20歳未満のユーザは本当の自分の年齢で登録している場合が多いです。 日記の内容を読む限り、年齢は高い確率で真実です。 逆に、年齢を偽って登録していても、日記の内容を読む限り、明らかにずっと下の年齢であるということが明白な者もいます。 煙草の税収を支えているのは未成年の割合が非常に多いのではないかと思えてきました。 実際、（未成年にも関わらず）煙草増税のことを気にしている者が多数います。 こういう問題があるとなると、 マーケティングの観点からは、 ユーザ（特にリテラシーが低い低年齢）に対しコンテンツの閲覧にフィルタリングをかけるだけではなく、 コンテンツのPOSTにもフィルタリングが必要なのではないかと思います。 「KFCでゴキブリ揚げた」 みたいに、 例え事実ではなくとも冗談では済まないこ

    真の違法・有害コンテンツの所在 : 研究開発

  • 検索クエリログからのスペル訂正辞書の自動生成 - mixi engineer blog


    先月ハワイに行ってきてオルオルな ︵ハワイ語で '楽しい' という意味︶ 気分の takahi-i です。最近ログデータの有効活用が話題になっていますが、検索エンジンが出力する検索クエリログを使用してどんなことができるのかについて紹介させていただきます。 検索クエリログ 検索クエリログ (以下検索ログ) は検索エンジンを使用するユーザから発行された検索の履歴を保存したファイルです。検索ログのフォーマットは使用する検索エンジンや Web サーバによって異なります。さらにまた検索ログが含む情報にも差異があることが考えられますが、本稿では検索ログは解析を行う上で重要な三つの要素を含むと仮定します。三つの要素とはユーザID︵もしくはIPアドレス︶、クエリ文、そしてクエリが検索エンジンに処理された時間です。以下検索ログの一例を載せます。 ユーザIDクエリ文 クエリ発行時 438904 Su
    検索クエリログからのスペル訂正辞書の自動生成 - mixi engineer blog

  • 単語クラスタリング - toilet_lunchの日記


    単語のクラスタリングをしています。 文書のクラスタリングが単語の出現︵tf*idfとか︶を素性にして行われているので、それを転置すりゃ単語のクラスタリングもできんじゃね、と思ってやってみましつた。で、結果がまあ出てはきたんですけど、ふと疑問に思いました。これ、まずいんじゃなかろうか。 転置行列1単語 D1 D2 D3 D4 … W1 1.5 0.7 0.1 0.2 … W2 1.1 0 0 0.5 … W3 2.4 0.3 0.1 0 … W4 0 0 0 8.2 … Wnはn番目の単語、Dmはm番目の文書、中のカラムは﹁文書Dmに出現した単語Wnのtf*idf値﹂。ベタな文書クラスタリングを転置するとこんな感じになって、これをもとにbayonとかでクラスタリングしました。 このクラスタリングは、言葉で説明すれば﹁出現する文書が同傾向にある単語同士は似ている﹂という仮定の下に行われていま
    単語クラスタリング - toilet_lunchの日記

  • 形態素解析で『ボジョレー・キャッチコピーメーカー』作ってみた - 5.1さらうどん

    ボジョレー・ヌーヴォー　毎年「今年は最高！」の怪 - Ameba News求むボージョレ・ヌーヴォーのはずれ年 - タケルンバ卿日記ボジョレーの評価が毎年、少年漫画並にパワーインフレを起こしているよねー、というお話を聞いてしこたま笑ってた。 95年「ここ数年で一番出来が良い」96年「10年に1度の逸品」97年「1976年以来の品質」98年「10年に1度の当たり年」99年「品質は昨年より良い」00年「出来は上々で申し分の無い仕上がり」01年「ここ10年で最高」02年「過去10年で最高と言われた01年を上回る出来栄え」「1995年以来の出来」03年「100年に1度の出来」「近年にない良い出来」04年「香りが強く中々の出来栄え」05年「ここ数年で最高」06年「昨年同様良い出来栄え」07年「柔らかく果実味が豊かで上質な味わい」08年「豊かな果実味と程よい酸味が調和した味」09年「50年に1度の出来

  • Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit

    Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit Steven Bird, Ewan Klein, and Edward Loper This version of the NLTK book is updated for Python 3 and NLTK 3. The first edition of the book, published by O'Reilly, is available at http://nltk.org/book_1ed/. (There are currently no plans for a second edition of the book.) 0. Preface 1. Language Processing and P

  • 日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft


    今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに﹁日本テレビ東京﹂を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS ﹁日本 | テレビ東京﹂と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに﹁フジテレビ東京﹂ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,

  • Twitterの投稿内容から鬱度を測定する - Unchained Life


    もうすぐ5月です。 Twitterの投稿内容から鬱度を測定するRubyスクリプトを書いてみました。 これには東京工業大学の高村さんが公開している単語感情極性対応表というものを使っています。 http://www.lr.pi.titech.ac.jp/~takamura/pndic_ja.html これはある単語がどの程度の感情を表すかを数値化した表で、-1 ~ +1 までの値が特定の単語に割り当てられています。 その単語がネガティブな感情表現だとマイナスの値、ポジティブな感情表現だとプラスの値になっています。 なので、鬱度を測定といってもポジティブな投稿内容が多いときにはプラスの値を返します。 また日本語文の形態素解析にはYahoo!の日本語形態素解析APIを使っています。 http://developer.yahoo.co.jp/webapi/jlp/ma/v1/parse.html ア
    Twitterの投稿内容から鬱度を測定する - Unchained Life

  • はてなブックマーク開発ブログ

    はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。2024年2月のトップ50です*1。 順位 タイトル 1位 マンションリフォーム虎の巻 2位 死ぬほど嫌でした｜佐藤秀峰 3位 「面倒なことはChatGPTにやらせよう」の全プロンプトを実行した配信のリンクを整理しました｜カレーちゃん 4位 管理職必読 順番に読むと理解が深まる「マネジメントの名著」11冊 | 日経BOOKプラス 5位 メルカリで値段の「¥マーク」を小さくしたら購入率が伸びた理由、ペイディがサービス名を「カタカナ表記」にする理由など、プロダクトのマーケ施策まとめ30(2023)｜アプリマーケティング研究所 6位 7年適当に自炊してきて調味料について思ったことを書く 7位 ウクライナ軍に入隊したアジャイルコーチが、さまざまなメソッドを駆使して中隊長としてのリーダーシップを実現した話（

    はてなブックマーク開発ブログ

  • 転置インデックスを実装しよう - mixi engineer blog


    相対性理論のボーカルが頭から離れないmikioです。熱いわっふるの声に応えて今回はTokyo Cabinetのテーブルデータベースにおける検索機能の実装について語ってみたいと思います。とても長いのですが、最後まで読んだあかつきには、自分でも全文検索エンジンを作れると思っていただければ嬉しいです。 デモ モチベーションをあげていただくために、100行のソースコードで検索UIのデモを作ってみました。Java6の日本語文書を対象としているので、﹁stringbuffer﹂とか﹁コンパイル﹂とか﹁倍精度浮動小数﹂とかそれっぽい用語で検索してみてください。 インデックスがちゃんとできていれば、たった100行で某検索エンジン風味の検索機能をあなたのデータを対象にして動かすことができます。ソースコードはこちら︵テンプレートはこちら︶です。 でも、今回はUIの話ではないのです。ものすごく地味に、全文検索
    転置インデックスを実装しよう - mixi engineer blog
  • 1 2 3 4 5 6 次のページ

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.