タグ

関連タグで絞り込む (40)

タグの絞り込みを解除

grepに関するikeikeikeikeのブックマーク (11)

  • vmprof-flamegraph を作りました : DSAS開発者の部屋

    vmprof-flamegraph を作ったのでその紹介をしておきます。 まず、サンプルとして Sphinx を使って Python のドキュメントをビルドしたときの vmprof 結果を flamegraph にしてみたので、どんなものかはこちらを見てみてください。 http://dsas.blog.klab.org/img_up/sphinx-prof.svg flamegraph について flamegraph の一般的な紹介については省略して、リンクだけ置いておきます。 公式サイト: http://www.brendangregg.com/FlameGraphs/cpuflamegraphs.html 日本語の紹介記事: http://d.hatena.ne.jp/yohei-a/20150706/1436208007 他にプロファイル結果をビジュアライズするツールとしては cac

    vmprof-flamegraph を作りました : DSAS開発者の部屋

  • highway という高速検索ツールを作りました · けんごのお屋敷


    いまや grep、ack、ag、pt、sift など様々な grep ツールが存在し、高速 grep ツール戦線が激化している昨今ですが、いかがお過ごしでしょう。私は普段から検索ツールにはptを使っていますが、ふとしたことから文字列探索アルゴリズムに興味がわいてきて highway という高速パターンマッチングツールを開発しました。ptや sift が流行りの Go言語で実装されている中、我が道を行く highway はC言語での実装にしました (単に Go言語を知らないだけとも言う＼(^o^)／)。 highway (github) highway とは マルチスレッドで動作する高速パターンマッチングツールです。速そうな名前をつけたくて﹁高速﹂でググったら﹁高速道路﹂がたくさん出てきたのでこの名前になりました。そりゃそうだ。 機能 基本的な機能としてはptとほぼ同じです
    highway という高速検索ツールを作りました · けんごのお屋敷

  • mrep 0.1.1 をリリースしました


    先日、三浦海岸で行われたYANS合宿内で作った、形態素列パターンマッチャーmrepをリリースしました。 昨日行われたDSIRNLPでこれについて発表しました。 mrepとは何か？ mrepは形態素列に対して、正則言語によるマッチングをかけるためのツールです。 もともとMIURAという名前にするつもりだったんですが、すでにpypiに登録されていたので急遽リネームしました。 先にgithubで0.1.0をリリースしてしまっていたので、何故か0.1.1になります・・。 日常的にテキストデータなり、テキストを含んだjsonデータなりに対して、条件にマッチする行を検索することが有ります。 例えばお客さんからもらったデータの中で、特定の単語を含むところだけ抽出したり。 これには grep コマンドがよく使われて、その後は典型的には sort | uniq -c で数を数えたりしますよね。 ところがg

  • いまさらgrepが10倍高速化したのはなぜか – はむかず！

    最近GNU grepコマンドの最新バージョンがリリースされ、速度が10倍になったとのアナウンスがあった。それを聞いて、なんであんな枯れた技術に10倍もの高速化の余地があったのだろうと不思議に思った人も多いだろう。 ニュース記事：grepコマンド最新版、”-i”で10倍の高速化 本家のリリースノート：grep – News: grep-2.17 released [stable] 今回のリリースでは正確には、マルチバイトロケールで、-iオプション（–ignore-case、つまり大文字小文字を区別しないオプション）をオンにした時の速度が10倍くらいになったそうだ。 なぜそんなに速くなったのか？逆を言えば今までなぜそんなに遅かったのか？ そもそも、多くの日本人にとって「大文字小文字の区別」というと英語のアルファベットか、せいぜいフランス語とかドイツ語とかのアクサン記号・ウムラウトがついたものく

  • コンソールから切れたプロセスを標準出力につなげなおす - 絶品ゆどうふのタレ


    不慣れな環境を不意にいじった時にあるあるネタ。 とりあえずー とか言って勢いで書いたsetupスクリプトを実行してみたら意外と時間かかって、 ちょっと目を離した隙にsshの接続が切れちゃいました！ 。。。ありますよね。ほんとよくありますよね。 そうなる予感はあったんだ なんて後の祭りです。ふとした油断から、screenもnohupすらも使わずにやってしまって、こんなことに。 shellがHUPしなかったからプロセスは生きてるものの、ログが見れないから進行状況がわからない。 うまく行ってるのかどうかモヤモヤした気持ちのまま、プロセスが終わるのをじっと待つ。。。 まぁ実に切ないです。 こんな時、いつも思うこと。 このプロセスの出力、もっかいstdoutに繋げられたらいいのに。。。 はい。というわけでつなげましょう。 長い前座ですみません。 切り離したプロセスを用意 #!/bin/bash wh
    コンソールから切れたプロセスを標準出力につなげなおす - 絶品ゆどうふのタレ

  • データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

    Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記

    データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note

  • 最近の tar には a (--auto-compress) オプションなるものが追加されたために人類の生産性がおよそ1%程度（当社比）向上する． - Cry’s Diary

    $ mkdir test $ tar cavf test.tar.gz test test/ $ file test.tar.gz test.tar.gz: gzip compressed data, from Unix, last modified: Thu Mar 29 10:46:53 2012 $ rmdir test/ $ tar xavf test.tar.gz test/ $ mkdir test $ tar cavf test.tar.bz2 test test/ $ file test.tar.bz2 test.tar.bz2: bzip2 compressed data, block size = 900k $ rmdir test/ $ tar xavf test.tar.bz2 test/

    最近の tar には a (--auto-compress) オプションなるものが追加されたために人類の生産性がおよそ1%程度（当社比）向上する． - Cry’s Diary

  • psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々


    今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示H　　 スレッドをプロセスのように表示する。 -L　　 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T　　 可能ならば SPID カラムをつけてスレッドを表示する。m　　 プロセスの後にスレッドを表示する。 -m　　 プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
    psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々

  • find／grep／xargsコマンドを使いこなす　業務で楽するためのUNIXテクニック集「検索」編

    CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。

    find／grep／xargsコマンドを使いこなす　業務で楽するためのUNIXテクニック集「検索」編

  • grep(1)コマンドの使い方 | エンタープライズ | マイコミジャーナル


    The mainaim is to document the hurdles that most of us face as UNIX/Linux/BSD sys admin in our day today life. LinuxやFreeBSDでよく利用されるコマンドのひとつにgrep(1)がある。ファイルから特定のキーワードを含んだ行を取り出したりコマンド出力から特定のキーワードを含んだ行を取り出すために利用されるコマンドで、正規表現と組み合わせて利用されることが多い。多機能で単一行表示のみならず、前後の行を含んだ出力も可能など、使いこなせるとさまざまな操作が可能。 LinuxディストリビューションにはGNU grepが含められていることが多い。*BSD系では最近BSDライセンスで実装されたgrep(1)への置き換えが進められているが、それら実装系でもGNU grepと互換性が確保

  • grepの簡単な使い方


    mizutani@edu.tuis.ac.jp grepを実際に使ってみるために，サンプルファイルcopying.txt︵GNU GENERAL PUBLIC LICENSEの文書︶を利用してみよ． 目次 grepの使い方(I) grepの使い方(II) grepの主なオプション grepで使える正規表現 grepで使えるメタ文字 目次 grepの使い方(I) grepは次の形式に従って，指定したファイルfilenameに対してパターン/pattern/のパターンマッチを行う． % grep pattern filename filenameとして複数のファイル名を指定すると，それらのファイルを対象に処理を行う． パターンに正規表現を使わなくてもgrepは有用である． 以下の例では，検索対象となるファイル群があると思われるディレクトリにワーキングディレクトリを移動しているとする． そうでな
  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.