[B! kernel] babydaemonsのブックマーク

Netflixはどのようにして800Gb/sものデータ転送を実現しようとしているのか？

近年は動画ストリーミングサービスの利用者が増加しており、インターネットトラフィックの大部分を占めていると指摘されています。世界最大級の動画ストリーミングサービスであるNetflixが、日々大量のデータを全世界のユーザーに送信するためにどのような工夫を凝らしているのかを説明するスライドを公開しています。 2022-Streaming-Summit-Netflix.pdf (PDFファイル)http://nabstreamingsummit.com/wp-content/uploads/2022/05/2022-Streaming-Summit-Netflix.pdf Netflixは800Gb/sもの動画データを1つのサーバーで送信するシステムの構築を目指し、長い道のりを歩んできました。 Netflixのワークロードでは、動画を﹁静的メディアファイル﹂として送信しており、すべてのコーデック／

babydaemons 2022/08/22

斜め読みでは、TLSとNUMA関係しか判らなかったけど、こういうの読むとワクワクする

リンク

Man page of MMAP

Section: Linux Programmer's Manual (2) Updated: 2015-01-22 Index JM Home Page roff page 名前 mmap, munmap - ファイルやデバイスをメモリーにマップ/アンマップする書式 #include <sys/mman.h> void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); int munmap(void *addr, size_t length); 機能検査マクロの要件に関する情報は「注意」の節を参照。説明 mmap() は、新しいマッピングを呼び出し元プロセスの仮想アドレス空間に作成する。新しいマッピングの開始アドレスは addr で指定される。マッピングの長さは length 引

babydaemons 2022/07/14

“addr が NULL の場合、カーネルがマッピングを作成するアドレスを選択する。この方法は最も移植性のある新しいマッピングの作成方法である。”

リンク

マルチスレッドのコンテキスト切り替えに伴うコスト - naoyaのはてなダイアリー

また Linux カーネルの話です。 Linux では fork によるマルチプロセスと、pthread によるマルチスレッドでの並行処理を比較した場合、後者の方がコストが低く高速と言われます。﹁スレッドはメモリ空間を共有するので、マルチプロセスとは異なりコンテキストスイッチ時にメモリ空間の切り替えを省略できる。切り替えに伴うオーバーヘッドが少ない。﹂というのが FAQ の答えかと思います。が﹁オーバーヘッドが少ない﹂と一言にいわれても具体的にどういうことなのかがイメージできません。そこで Linux のスレッド周りの実装を見て見ようじゃないか、というのが今回のテーマです。3分でわかる(?) マルチプロセスとマルチスレッドまずはうんちく。マルチプロセスとマルチスレッドの違いの図。以前に社内で勉強会をしたときに作った資料にちょうど良いのがあったので掲載します。Pthreadsプログラミ

babydaemons 2017/10/19

LinuxだとOSSだからこんなに丁寧に解説してくれる人がいるんだよなぁ。。。 ●kernel ●pthread ●process ●linux

リンク

Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ

本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を

babydaemons 2015/03/31

帽子なベンダーの2.4系カーネルへの執着がすごい【RHLE 系は 5.9 ぐらい以降でバックポートされていたと思います】

リンク

米Akamai、Linux上のIptabLesおよびIptabLex感染とDDoS攻撃について警告

米Akamai Techno logiesは、同社のProlexic Security Engineering & Research Team︵PLXsert︶を通じて、新しいサイバーセキュリティThreat Advisory︵脅威アドバイザリ︶を、9月3日︵現地時間︶に発行した。このアドバイザリでは、Linuxシステム上でのIptabLesおよびIpta bLex感染への高いリスクをともなう脅威について警告を発している。同社は、2014年における最大のDDoS攻撃作戦の1つが、Linuxシステム上のIptabLesおよびIpta bLexマルウェア感染に起因するものだと突き止めており、悪意ある攻撃者が、パッチの当たっていないLinuxソフトウェアの既知の脆弱性を利用して、DDoS攻撃を仕掛ける可能性を指摘する。 IptabLesおよびIpta bLexの大量感染では、攻撃者が、Apache S

babydaemons 2014/09/05

Linuxカーネルを信用しすぎてました。小まめにパッチ当ててリブートします！【リブート面倒くさい】

リンク

Linux 3.10 が長期サポートカーネルに | ニコニコニュース

babydaemons 2013/08/07

さすがに2.6系列はなーと思ったけど、メモリ要求が厳しくネットワークから切り離された組込用途で使われてるのかもしれん

Linux
kernel

リンク

【レポート】ZFS、Linuxで登場へ | エンタープライズ | マイコミジャーナル

ZFS is a new kind of file system that provides simple administration, transactional semantics, end-to-end data integrity, and immense scalability. FreeBSDにZFSが移植されてから、ZFSについてMLで話題がでない日はないほどFreeBSD開発者やユーザの間でZFSが関心ごとであり続けている。もしかするとこれと同じことがLinuxでもおこるかもしれない。GPLとの衝突を避けるためにLinuxにおけるZFS導入はFreeBSDほど導入は簡単にならないが、Linuxでネイティブに使えると使えないのとでは大きな差がある。9月15日ごろにZFS Linuxカーネルモジュールが公開される可能性があることがPhoronixの記事Native ZFS

babydaemons 2011/05/16

リンク

OpenZFS on Linux

OpenZFS Releases Version Verify Changelog Man Pages Release Date

babydaemons 2011/04/27

"the current 0.5.2 stable release does not yet support a mountable filesystem. This functionality is currently available only in the 0.6.0-rc3 release candidate."

リンク

LinuxカーネルHack: Btrfsのコードに散りばめられたBUG_ONマクロが示す兆候 - 佐野デジタル研究所

BUG_ONマクロは、Linuxカーネルにおいて、引数に与えられた式を評価した結果が真となることが想定されない箇所(つまり、真ならバグ)で使われる。簡単に言うと、Cのassertのようなもの。ただし、assertよりもきつくて、BUG_ONの引数が真になると、カーネルパニックを引き起こす。つまり、BUG_ONの引数が真になったらカーネルが即死なので、利用には十分に気をつけるべきマクロである。 Btrfsのコードを読み始めて薄々感じていたけれども、BtrfsではこのBUG_ONマクロが過剰なまでに多く使われている。他のファイルシステムと比べて、どの程度過剰か数字を取ってみた。(数字は、最新のメインラインより計測。tail -n +2は、findの結果の1行目にfsが含まれることで、xargs grepで2重に計測してしまうのを防ぐトリック。BUILD_BUG_ONは、無害とみなした。) 枯

babydaemons 2011/04/27

リンク

naoyaのはてなダイアリー - tmpfs は本当に容量が動的なのか

Linux には tmpfs という便利なファイルシステムがあります。 $ mount -t tmpfs -o size=64m tmpfs /dev/shm $ mount -t tmpfs -o size=64m /dev/shm /var/tmpとすると、/var/tmp がディスク上ではなくメモリ上に作られたファイルシステムとして mount されます。なので、/var/tmp は I/O 時にディスクI/Oが一切発生しない高速なディスクとして使えると。いわゆる RAM ディスク。(もちろんサーバーの電源を落とすと保存したファイルは消えます。) この tmpfs はなかなかに便利で、キャッシュとかそういうものでディスクにおいてたものここ置くと、ディスク I/O がカットできて超高速になります。はてなでは MySQL のスレーブの MyISAM のファイルを tmpfs において、オ

babydaemons 2010/07/07

リンク

Linuxカーネル開発者、LinuxカーネルからAndroidコード削除について説明 | OSDN Magazine

Linuxカーネル開発者は2月2日、Linuxカーネルから米Googleの﹁AndroidOS﹂のドライバコードを削除した理由について、ブログで説明した。AndroidがLinuxのメインのカーネルツリーから分岐する可能性がありそうだ。 Android向けドライバコードは、2009年12月にLinuxのソースツリーから削除され、Linuxカーネル2.6.33には含まれない。米Novellに籍を置きLinuxドライバのメンテナンスを担当するカーネル開発者、Greg Kroah-Hartman氏によると、サブディレクトリ﹁drivers/staging/android﹂をコードベースから削除した理由は、﹁誰も気にしていないため﹂という。ステージングツリーにあるコードはメインカーネルツリーにマージするか、そうでなければ削除するというポリシーがあり、それに沿っての対応と説明している。 Kroah

babydaemons 2010/05/23

リンク

Linuxカーネル 2.6.34リリース、新ファイルシステム対応や電源管理機構の強化など改善点多数 | OSDN Magazine

Linus Torvalds氏は5月16日、Linuxカーネル 2.6.34のリリースを発表した。2月末の2.6.33公開以来、約3か月ぶりのリリースとなる。﹁特に興味深いものはない﹂とTorvalds氏は記しているが、新たに2種類のファイルシステムに対応するなど、多数の機能強化が図られている。ファイルシステムでは、﹁Ceph﹂と﹁LogFS﹂に新たに対応した。Cephは数ギガバイトから数ペタバイト以上まで、シームレスにスケールできる分散ファイルシステム。信頼性や障害復旧性能、柔軟なメタデータ管理機能などが特徴。LogFSはSSDやUSBメモリといったフラッシュメモリ系ストレージ向けのファイルシステムで、高速なマウントやメモリ︵RAM︶の利用効率の高さなどが特徴。ただし、現在はまだ実験的サポート段階としている。また、次世代ファイルシステムとして開発が進められている﹁Btrfs﹂にも多数の

babydaemons 2010/05/23

リンク

Free NIC drivers for Solaris

Free NIC drivers for Solaris What's new? 10/10/2008 ife-2.6.1 was released 10/5/2008 atge-2.6.1 was released 8/24/2008 myk-2.6.2 was updated 8/18/2008 atge-2.6.0 was released 6/30/2008 myk-2.6.1 was updated 4/20/2008 ae-2.6.1 was updated 4/20/2008 myk-2.6.0 was updated 4/16/2008 sige-2.6.2 was updated 3/1/2008 vel-2.6.0-was updated CAUTION: They are NO WARRANTY and distributed under the BSD licens

babydaemons 2010/04/07

リンク

Linux開発は活動はさらに活発化、開発者は年10％増、1日約1万行が追加 | OSDN Magazine

非営利団体Linux Foundationは8月19日︵米国時間︶、Linuxカーネル開発に関する最新の調査結果を発表した。Linuxカーネル開発に関わる開発者は1年4か月で10％増加し、1時間に5.45件のパッチが承認されるなど、活動がさらに活発化していることがわかった。調査では、Linuxカーネル2.6.24から2.6.30までのカーネル開発の実態を調べた。2008年4月に同団体が発表した報告書の改訂版として、﹁Linux Kernel Development: How Fast is it Going, Who is doing itand Who is Sponsoring it？﹂というタイトルでLinux FoundationのWebサイトで公開されている。前回の調査から1年4か月の間で、Linuxカーネルには270万行が加わった。平均すると1日に10923行が加わり、5

babydaemons 2009/09/03

リンク

はてなブックマーク

タグ

関連タグで絞り込む (26)

kernelに関するbabydaemonsのブックマーク (14)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス