タグ

関連タグで絞り込む (21)

タグの絞り込みを解除

ioに関するakaneharaのブックマーク (10)

  • Linux におけるファイル I/O の基礎


    すべてがファイルというモデルの Linux (Unix) において、ファイル I/O (以降単に I/O と書く) を知っておいて損はない。 この記事では、基本的なファイルと関連する I/O について、対応する Linux システムコールも併せて説明する。 次回はこれらを実際に Linux 上で確認する予定。 ファイル Unix におけるファイルとは、普通﹁通常ファイル﹂のことを指し、バイトがリニアに並んだデータ (byte stream) のことである。 ファイル内のバイトは読み書きが可能で、指定されたバイトから開始する。この開始バイトはファイル内の﹁位置﹂と考えることができ、ファイルポジションまたはファイルオフセットという。 通常ファイルとは別に、スペシャルファイルというファイルとして表現されたカーネルオブジェクトがある。Linux では、スペシャルファイルとしてデバイスノード・名前付
    Linux におけるファイル I/O の基礎

  • nfsiostat で NFS の I/O レイテンシや IOPS を調べる - ablog


    NFS で iostat のawaitと svctm のような情報を取れるツールが欲しいと思っていたら nfsiostat という素敵なツールを見つけた。awaitにあたるのが avg exe (ms)、svctm にあたるのが avg RTT (ms) だと思う。 iostat のawaitと svctm の意味は Linux の iostat の出力結果を銀行のATMに例えて説明してみる - ablog参照。 書式 $ nfsstat <interval> 実行例 ops/s: 秒間の read またはwriteリクエストの発行回数 kB/s: 1秒間に read またはwriteされたサイズ︵KB︶ kB/op: 1回の read またはwriteの秒間の平均サイズ︵KB︶ avg RTT (ms): カーネルがRPC リクエストを発行してから応答までの時間
    nfsiostat で NFS の I/O レイテンシや IOPS を調べる - ablog

  • Linux ネットワークパフォーマンスの機能強化 - Qiita


    ソフトウェア割り込みが偏る？ Linuxを利用していて、ネットワーク負荷が高いサーバを運用していると、特定のCPU負荷が高くなっている事があるのですが、そのようなケースを経験されたことはないでしょうか？ topでみると特定CPU(topを起動して1を押すとCPU単位で確認できる)の%si(software interrupt)がやたら高くなっている場合、それはネットワークの負荷が原因かも知れません。(実際のtopを貼り付けたかったのですが、持ち合わせがなかった・・・。)何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります。ソフトウェア割り込みを確認するには、/proc/interruptsを確認しましょう。 # cat /proc/interrupts CPU0 CPU1CPU2CPU3 0: 129
    Linux ネットワークパフォーマンスの機能強化 - Qiita

  • プロセスのランキュー待ち時間とI/O待ち時間を調べる - ablog


    cat file|awk では実行時間 < CPU時間となっていますが、cat が I/O waitしていないとは限りません。実行時間は単純に終了時間 - 開始時間で算出しますが、CPU時間はプロセスのCPU時間を getrusageシステムコールで取得します。catのプロセスと awk のプロセスが並列実行されている期間があるため、実行時間 < CPU時間となっています。例えば、CPUバウンドな2プロセスがほぼ完全に並列実行されると、実行時間 * 2 ≒ CPU時間 となったりします。 ︵中略︶ 大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogと書きましたが、プロセスの ランキュー待ち時間は /proc//sched の2列目(sched_info.run_delay) I/O待ち時間は /proc//schedstat の se.stati
    プロセスのランキュー待ち時間とI/O待ち時間を調べる - ablog

  • 大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

    以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてます はじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。 ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92

    大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

  • TCPサーバーの非同期処理はけっきょくどの手法がいいのか？ - Qiita


    昔Unix系システムではselect()でIO処理を非同期にして、ファイルディスクリプタの状態に変化があった場合のみ処理を行うことができた。これはメモリやサーバーリソースが極端に少なかった時代に有効な手法だった(らしい)。90年代後半、00年代前半にはマルチスレッドが主流になり、サーバーサイドではAcceptして受け入れたクライアントのソケットをスレッドに渡して送受信を行うことでコネクションの多重化を行った。(もちろん目的に応じて非同期も活躍していた) 00年代後半からC10K問題が騒がれ、node.jsやnginxが登場した。大量のスレッドを生成してリソースやメモリを消費する方法よりも、再びソケットをノンブロッキングにしてディスクリプタの状態を監視する非同期処理が注目されるようになる。そして最近ではjavascript promise、RX、Reactive Extensionなどクライ
    TCPサーバーの非同期処理はけっきょくどの手法がいいのか？ - Qiita

  • Linux システムコールのブロック・ノンブロックまとめ


    はじめに Linux にはブロックするシステムコールとノンブロックなシステムコールがあります。さて、システムコールが﹁ブロックする﹂とはどういうことでしょうか。よく、ブロックするシステムコールとは﹁処理が完了するまでプロセスの動作が中断され待たされること﹂という説明を見ますが、より詳細に、どういう処理の場合に待たされるのか、整理してみましょう。 ﹁ブロックする﹂とは Linux において、システムコールがブロックするとは、﹁プロセスが、システムコール呼び出しの延長で待状態(TASK_INTERRUPTIBLE or TASK_UNINTERRUPTIBLE) に遷移し、CPU時間を消費せずにあるイベントが完了するのを待つようになる﹂、ことを指します。ブロックするシステムコールのうち代表的なものと、完了待ち対象イベントをまとめると、以下のようになります。 システムコール待ち対象イベントre

  • Charming Python: Functional programming in Python, Part 3

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    Charming Python: Functional programming in Python, Part 3

  • Node.jsと非同期I/Oと混乱した私 - shutdown -r now


    最近、Node.jsに興味があります。Node.jsを調べていると、I/O関係で、非同期I/O、ノンブロッキング、コールバック等、いろいろとキーワードがでてきて混乱してきます。 そこで、ブログに書いて整理しよう思います。間違いがあれば是非、指摘してください。 言葉の定義 ◇非同期呼び出し︵Asynchronous Call︶と同期呼び出し︵Synchronous Call︶の違い 同期呼び出し︵Synchronous Call︶ 通常メソッドを呼び出すとメソッド内の処理が完了するまで、呼び出し元には戻ってこない。このようなメソッド呼び出しのこと。 非同期呼び出し︵Asynchronous Call︶ メソッドを呼び出した瞬間に呼び出し元に処理が戻ってくるような呼び出しのこと。非同期で呼び出されたメソッドは、環境によって処理されるタイミングが変わる。 ◇マルチスレッド︵multithread
    Node.jsと非同期I/Oと混乱した私 - shutdown -r now

  • 宁波逼拘旅行社

  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.