[B! Perl] nozomのブックマーク

Locality Sensitive Hashing に挑んでみた - download_takeshi’s diary

久々のエントリです。 Locality Sensitive Hashing を perl で使うためのモジュールを書いてみました。Algorithm::LSHと名付けました。先ほどDeveloper ReleaseとしてCPANにあげましたが、反映されるまで時間かかるので、興味ある方はcodereposからみてください。Algorithm::LSH CPAN: http://search.cpan.org/~miki/Algorithm-LSH/ coderepos: http://coderepos.org/share/browser/lang/perl/Algorithm-LSH 超アルファバージョンな状態ですが、そのうちgithubにもupする予定。そうそう、そう言えば WEB+DB PRESS Vol.49 にレコメンドエンジンの特集があって、その中に偶然にもLocality

nozom 2009/12/24

リンク

livedoor Developers Blog:String::Trigram でテキストの類似度を測る - livedoor Blog（ブログ）

こんにちは。検索グループ解析チームの nabokov7 です。今回は、livedoor キーワードでの事例より、テキストの類似度を測るのに便利な手法を紹介します。 livedoor キーワードは、livedoor ブログでその日その日で話題になった語をランキング表示するサービスです。当初、はてなキーワードやWikipediaを足して2で割ったようなサービスを作れといった開き直った指示のもとで開発が開始されたともいう、分社化前の芸風の名残で、キーワードの検索結果にはユーザが自由に解説を書き込める Wikipedia 的スペースもついています。で、この解説部分に、さまざまなサイトから文章をまる写ししちゃう人がとても多いのですね。特に多いウィキペディア日本語版からの剽窃を防止するために、livedoor キーワードでは以下のような対策を講じることにしました。ウィキペディア日本語版の解説

nozom 2009/07/19

NLP
Perl

リンク

[J] テキストの類似度をプログラムで処理するには - Jamz

String::Trigram 手軽にできないかと調べてみると Perl には String::Trigram (cpan) というモジュールがあって比較結果を数値化して判断する、というようなことができるみたい。 n-gram 形式で処理するので単語辞書などがいらない。辞書のメンテナンスが入らない反面、n-gram のウィークポイントはスピードだった気がする... String::Trigram でテキストの類似度を測る文Aと文Bでは語順が入れ替わっていますが、トライグラムに分解して要素比較すると、それぞれ10あるトライグラムのうち、6つまで (図中 '*' で示したもの) が共通であることがわかります。このような手法で文章同士の類似度を測ったり、もっとも似ている文章を引っ張ってきてくれたりするのが、この String::Trigram なのです。livedoor Developers B

nozom 2009/07/19

リンク

MapReduce - naoyaのはてなダイアリー

"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること

nozom 2009/02/06

Perl

リンク

livedoor Developers Blog:オープンソースなPCエミュレータ QEMU - livedoor Blog（ブログ）

こんにちは。垣内です。 Windows PCを開発に利用する場合、ローカル開発環境ってどうされていますでしょうか。代表的なところだとcoLinuxやVMWarePlayer、最近だとVirtualBoxがフリーで公開されています。マイナーかもしれませんが、今回はオープンソースで開発されているQEMUを紹介してみようと思います。他のエミュレータとは違い、QEMUにはx86以外のArmやPowerPC等のシステムのエミュレートもできます。ですが、今回は開発環境構築と言う事でx86エミュレートのみを紹介します。組み込みのLinux、OpenBlockS、玄箱等の小型LinuxBOXのテストに使う場合にはArm等の環境構築もおもしろいかもしれません。準備 Windows版のバイナリはQEMU on Windowsからダウンロードします。インストーラーもありますが、ここではZIP版の﹁qemu-

nozom 2008/11/15

QEMU
Perl

リンク

Perl on App Engine? - O'Reilly Radar

I am a Perl hacker. I have written parts of the core, created CPAN modules and written tons of perl code. In fact I am addicted to it ; or rather, CPAN. I have been wanting to play around with Google App Engine, but I haven’t had time to get up to speed in Python. Today at OSCON I met up with Brad Fitzpatrick, who told me he had permission from Google to talk about and work on a Perl on App Engine

nozom 2008/07/26

Perl
GAE

リンク

ライブドアブログ｜無料で豊富な機能が充実

週末はこれ！柔らか～&うまみたっぷり！焼くときに飛び散りにくい特製もみだれの焼き肉と秋野菜のグリルで決まり！

nozom 2008/02/27

Perl
jQuery

リンク

「Perl is Dead. Long live Perl.」を訳してみた - 理系学生日記

ぼくはスクリプト言語としてはPerlを使っているのですが、最近の動向を見てるとRubyとかPythonとかに押されている今日このごろだったりします。いい加減Ruby使えｗｗという圧力も日に日に大きくなり、ぼくはPerlと一緒に大粒の涙をこぼしつつ虐げられる過酷な毎日を送っているわけですが、今日RSSで受信したあるエントリ(http://www.oreillynet.com/onlamp/blog/2007/08/perl_is_dead_long_live_perl.html)がPerlを必死で擁護してくれてたので意訳してみます。Perl必死だなとか言うな。ニュアンスも変わってるし、飛ばしてるところもあるし、ぼくの英訳能力はアレなのにもかかわらず速攻でやったので、ちゃんと読みたい人は原文読んでください。訳変なところがあったら︵あるけど︶指摘してもらえると直します。追記:意訳を要約に変更し

nozom 2008/02/22

Perl

リンク

フレームワークや言語における思想の違い - kなんとかの日記

これだけだと単なる Java 批判と取られるだろうから、そうじゃないことをアピールしてみる。私の個人的な意見としては、一部の人(例えばアーキテクト)だけ、フレームワーク全体を把握していて、残りのメンバーは﹁限定されたことだけやっとけ﹂みたいなことは好きではありません。 2008-02-13 - yvsu pron. yas これにはすっごーく同意。これって、役割を分けるためにそうなってるんじゃくて、全体を把握できないくらい複雑で大規模になっているから、全体を理解できるのが一握りの頭のいい人になってるだけなんだよね。それを役割分担がどうのこうのといってごまかしているだけ。もっというと、中身の見えない、blackbox 化したフレームーワークは間違いじゃないかと最近は思ってる。具体的には RubyonRails のことなんだけど。Rails って確かに便利だし、テストが最初から統合され

nozom 2008/02/16

リンク

素晴らしきPerlモジュールの世界

カテゴリー"Acme" CPANには大量のPerlモジュールが登録されています。暗号操作、Apacheとの連携、テキスト処理、データベースへの接続、MIDIやPDFファイルの操作等々、ありとあらゆるモジュールがプログラミングの手助けをしてくれます。これらは全てカテゴリー別に分類されています。例えば、今あげた暗号関連のモジュールなら"Crypt"に属しますし、テキスト処理に関するものは"Text"という具合です。このなかでも、"Acme"というカテゴリーには大変素敵で野心的なものがたくさんあります。いくつか紹介してみたいと思います。 Acme::Damn さて、Perlでオブジェクト指向プログラミングを行なう場合、blessという組み込み関数を使います。 bless $object,MyClass; で、blessというのは﹁祝福﹂という意味でしてTRPGやってた人にはお馴染みですね。CP

nozom 2008/01/24

Perl

リンク

Plagger::Plugin::CustomFeed::SVNLog

nozom 2007/11/30

リンク

Perl モジュールの作り方 - nDiki

1. モジュール名を決めるまず最初にモジュール名を決める。パッケージ名の命名規則などについては、Perl style guide (perlstyle) などを参考にする。既に CPAN に同名のものがないか検索してみる。 2. モジュールインストーラ方式を選ぶシンプルなモジュールであれば、ExtUtils::MakeMaker ベースで作成するのが良い。依存する CPAN モジュールが多い場合は Module::Install の利用も検討してみる。

nozom 2007/11/12

Perl
CPAN

リンク

ブログが続かないわけ | Web::Scraper 使い方(超入門)

3年前にこの本に出会って、僕はスクレーピングの虜になった。おかげで正規表現をたくさん書く機会が得られたし、CPANのモジュールともたくさん触れ合うことができたし、さらに自分自身でも構造化されたHTMLを書く習慣も身についた。ただ、やっぱり、スクレーピングは簡単ではない部分もたくさんあると思う。文字コードについても意識しなければならないし、なにより正規表現で必要な部分を抽出することそのものが結構骨のいる作業だ。HTML::TreeBuilderを使った方がいいのか、それとも正規表現だけでやったほうが楽なのか。そんなことを考慮しながらコーディングして行く。そこがスクレーピングの楽しいところでもあるのだが、そこがスクレーピングの敷居を高いものにしていることも否めない。そんな、愛らしくもあり憎たらしくもあるスクレーピングを簡単にやってしまうのがこのモジュール、Web::Scraper だ。

nozom 2007/10/31

Perl
Web

リンク

Plagger インストール　続き | ブログが続かないわけ

前回はうまくいかなかったPlagger をインストールしてみた。環境 Mac OS X (macmini) Perl 5.8.6 結局、Plagger自体はsvn でチェックアウトしなければならないことがわかった。そこで、まずsvnのインストールです。 $ fink install svn これは結構時間がかかるので気長に。その間にPlaggerを入れる準備をしましょう。準備とは依存するCPANモジュールのインストールである。あまりCPANモジュールをインストールしていない場合はかなりの量のモジュールをインストールする必要があります。以下に手順を列挙しますが、これは僕の環境でのことで、皆さんが同じとは限りません。ただし、僕の場合もまだCPANモジュールはあまりインストールされていない環境なのである程度は参考になると思います。 XML::Sipmle をインストールする際にExpatが

nozom 2007/10/31

リンク

CPANモジュールの一括バージョンアップ＆インストール | ブログが続かないわけ

下記のサイトから丸ごと引用なのですが、とても重要なので。 (ひ)メモ古くなっているモジュールの一覧 $ perl -MCPAN -e 'CPAN::Shell->r' 古くなっているのを一括してバージョンアップ # perl -MCPAN -e 'CPAN::Shell->install(CPAN::Shell->r)' 他の環境にインストールされているモジュールを一括してインストール例えばperl 本体をバージョンアップしたときはこんな感じで。 # perl-5.6 -MCPAN -e autobundle # perl-5.8 -MCPAN -e 'install Bundle::Snapshot_2006_04_18_00'

nozom 2007/10/31

Perl
CPAN

リンク

CGI-Application-Plugin-DevPopup-1.08 - Runtime cgiapp info in a popup window - metacpan.org

nozom 2007/09/18

"Runtime cgiapp info in a popup window"

Perl
CPAN

リンク

CGI-Application-Server-0.063 - a simple HTTP server for developing with CGI::Application - metacpan.org

The London Perl and Raku Workshop takes place on 26th Oct 2024. If your company depends on Perl, please consider sponsoring and/or attending.

nozom 2007/08/07

リンク

CGI-Application-Plugin-MessageStack-0.34 - A message stack for your CGI::Application - metacpan.org

nozom 2007/08/07

リンク

10分(？)で出来るDBIx::Class の導入｜Perlプログラムメモ｜プログラムメモ

■1. DBIx::Classのインストール例によってCPANコマンドでインストールします。 unixのシェルから perl -MCPAN -e shell cpan > install DBIx::Class cpan > install DBIx::Class::Schema::Loader でOK。（何か入力が促されたらそのままEnterを押せばいいです） ■ 2.テーブルスキーマの自動生成 unixのシェルでプログラムを作成するディレクトリに移ってから perl -MDBIx::Class::Schema::Loader=make_schema_at,dump_to_dir:./lib -e 'make_schema_at "Hoge::Schema", {relationships => 1, debug => 1}, ["dbi:mysql:hoge","user","pa

nozom 2007/08/04

Perl
CPAN

リンク

CGI::Application::Dispatchまとめ : おまえのログ

ここ1ヶ月ほど(ながいなぁ…)、ちまちまと勉強してきたCGI::Application::Dispatchについて、使い方もこなれて来たので、ここいらでひとまとめです。何するモジュール？この勉強中エントリーの1回目でも書きましたが、CGI::Applicationを利用したアプリで必要になるインスタンスCGIは作らずに、URI(PATH_INFO)から実行するモジュールとRunモードを決定する、というモジュールです。newしてrunするだけのインスタンスCGIなんか毎回書きたくないよ、というのがモジュール作者さんの意図のようです(PODにもあります)。 URIはこうなる CGI::Application::Dispatchを使った場合のURIは、となります。 CGI::Applicationを継承したMyApp::Indexというモジュールを作った場合、それを実行するためのURIを比

nozom 2007/08/03

Perl
CGI

リンク

はてなブックマーク

タグ

関連タグで絞り込む (100)

Perlに関するnozomのブックマーク (495)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス