[B! system] hiro_yのブックマーク

何か決めなきゃ駄目ですか。 Linuxのbacklogについて

少しだけ突っ込んだ話。︵曖昧さは人間の脳内補完に委ねるとして・・・。︶ LinuxにはTCPの3Wayハンドシェイク︵即ち、SYN,SYN/SCK,ACK︶状態保持に関連して、次のようなパラメータを持っている。 net.ipv4.tcp_max_syn_backlog=1024 何それ？って人は # sysctl -a | grep tcp 等のコマンドで探します。 # sysctl -a | grep backlog？それじゃノイズが無さすぎて面白くｎ(ryこれは、﹁LinuxがSYNを受信し、SYN/ACKで応答した状態をいくつ保持するか﹂というもの。閾値を超えると、Linuxは新規に接続しようとするホストのリクエスト︵SYN︶を無視する。最近のLinuxを、最近のハードウェアにとりあえずインストールすると、初期値は上記のような1024とか言う数値になっていると思う。利用

hiro_y 2012/05/04

net.core.somaxconn

linux
system

リンク

net.core.somaxconnについて調べてみた - 祈れ、そして働け～ Ora et labora

概要 ↓ memcachedのtcp_backlogのデフォルト値は1024で、stats settingsにも1024と表示されているのですが、 stats settings ... STAT tcp_backlog 1024 ... END↓ net.core.somaxconnがデフォルト値のままだと128に切り詰められてしまい、 # cat /proc/sys/net/core/somaxconn 128負荷が高いサーバーでは接続要求を取りこぼしてしまうことがあるそうです。このnet.core.somaxconn、MemcacheやMySQLなど、高負荷時に多くの接続要求を受け付けるサーバーではチューニングが必要なカーネルパラメータのようです。いったいどういう値なのか、調べてみました。 net.core.somaxconnとは TCPソケットはlisten()関数の第二引数ba

hiro_y 2012/05/04

net.core.somaxconnの値を増やしてる

linux
system

リンク

LINE Storage: Storing billions of rows in Sharded-Redis and HBase per Month « NAVER Engineers' Blog

Hi, I’m Shunsuke Nakamura (@sunsuk7tp). Just half a year ago, I completed the Computer Science Master’s program in Tokyo Tech and joined to NHN Japan as a member of LINE server team. My ambition is to hack distributed processing and storage systems and develop the next generation’s architecture. In the LINE server team, I’m in charge of development and operation of the advanced storage system whi

hiro_y 2012/04/26

リンク

HPのサーバのハードウェア（RAIDの状態）を監視する

森川です。今回はハードウェアRAIDの状態をSNMPを使用して監視する方法の紹介です。当然といえば当然ですが、ハードウェアRAIDをしている場合に、ハードディスクが壊れたことを検知できないというのは、致命的です。それを検知する方法の紹介です。サーバは日本HPのML115 G5、OSはCentOS 5を使用しています。ハードウェアRAIDはSmartアレイ E200を使用しています。︵Debianの場合に同様の方法で検知する方法はよくわかりません。。。︶まずは、準備としてSNMP関連のパッケージを入れてしまいましょう。さっそくですが、SNMPでRAIDの状態監視を行うために、ハードウェア︵Smartアレイ E200︶のMIBを手に入れる必要があります。 hpacucliのインストール MIBやコマンドラインからRAIDの状態を見るためのツール一式がHPからRPMとして提供されている

hiro_y 2012/03/22

HPのRAIDの状態取得

system
linux

リンク

適当なスクリプトをデーモン化するのにSupervisorが便利 - id:anatooのブログ

適当なスクリプトをデーモン化しようと思った時の典型的な要件が以下であるが、この記事でも紹介したpython製のプロセス管理ツールであるSupervisorを使うことによって解決できる。プロセスの生死の監視するプロセスが死んだら勝手に再起動する標準出力やエラー出力のログを取る場合によっては複数プロセスを起動したいプロセスのステータスを簡単に確認したいこの記事では、プロセス管理ツールSupervisorの導入を簡単に紹介する。インストール easy_installからインストールできる。そもそもeasy_installが入ってない場合は以下みたいにインストール。 $ curl -O http://peak.telecommunity.com/dist/ez_setup.py $ python ez_setup.pySupervisorをeasy_installからインストールしま

hiro_y 2012/03/18

Supervisorの使い方

linux
system

リンク

Last.fm – the Blog · balance.fm

The open source tool balance is an essential part of the service infrastructure here at Last.fm. Multiple instances of balance are running on each and every web server node, on the various production back end servers, and also on our development machines. So at any given time there are probably thousands of instances running simultaneously on our machines. What does it do? balance is a so-called l

hiro_y 2012/03/05

balance、Last.fmで使われてるロードバランサー

system

リンク

「DNSの浸透待ち」は回避できる――ウェブ担当者のためのDNS基礎知識　

hiro_y 2012/02/28

DNSを円滑に切替

dns
system

リンク

AWKのススメ - クックパッド開発者ブログ

はじめまして。インフラチームの菅原といいます。今年の7月に入社してから、コンソールとにらめっこする毎日を過ごしています。クックパッドのようにアクセスの多いサイトのサーバを扱うことが今まで無かったので、いろいろと勉強になることが多いです。さて、インフラチームではサーバの状況をモニタリングして、サーバに問題がないかを常に把握するようにしています。そのため日常的にtailでログを追いかけているのですが、そんなときはAWKが非常に便利なことに気付き、最近はかなりAWKにハマっています。今回は絶賛マイブーム中のAWKの活用例をご紹介したいと思います。なぜAWKなのか？残念ながらAWKの知名度はあまり高くないようで、社内でも﹁なぜRubyでやらないのか？﹂と聞かれることがありました。僕も入社するまではcutの代わりぐらいにしか使っていなかったのですが、あるときログ出力の整形に使って以来、AW

hiro_y 2012/02/22

awk

linux
system

リンク

AWS クックパッドの運用事例

2017/04/25にDevOps Days Tokyo 2017で登壇した際の資料です。サーバレスアプリケーションのライフサイクル管理について。

hiro_y 2012/02/20

aws
system

リンク

alohakeakua.net - このウェブサイトは販売用です！ - alohakeakua リソースおよび情報

This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

hiro_y 2012/02/20

sarの見方

linux
system

リンク

#fluentd な今だからこそふりかえる scribed のすべて - たごもりすメモ

最近 fluentd というツールのことがたいへんよく話題に上がっており、かく言う自分もささやかながら使用している身なのだが、それはそれとして比較対象に上がってくるツールに scribed というものがある。これがどういうものなのか、話には聞いていてもよくは知らないという人が多いようなので、これもささやかながら触ってみている自分としてはここらで一度まとめておかねばなるまい、と思った次第である。日本全国に10人くらいはいるかもしれない scribed のヘビーユーザ各位に捧げる。なお記憶と経験だけを頼りに書き殴るので、意思決定の重要な局面とかで「これこれこういうブログにたごもりすなる者がこのようなことを書き残しており」などと引用するのはくれぐれも避けていただきたい。また途中から思いっきりビール飲みながら書いたので文章自体の品質にも問題のある可能性がある。そも scribed とは何か

hiro_y 2012/02/20

リンク

デブサミ2012の資料「大規模化するピグライフを支えるインフラ〜MongoDBとChefについて〜」を公開します - 元RX-7乗りの適当な日々

今年で10周年を迎えた﹁Developers Summit 2012﹂まずは10周年おめでとうございます。そして"いつも"ありがとうございます。そんな記念すべき(通称)デブサミで機会をいただいて話をしてきましたので、資料を公開します。私としては、2010年以来の2回目の登壇となりました。 ※ 参考: デブサミ2012で、Mongo DBとかChefを実サービスで使っている話をしますオープン3週間でユーザ数100万人を突破したピグライフは、これまでのアメーバのサービスの中でも類を見ないスピードで成長しています。そのため、このピグライフを構成するアーキテクチャや開発/運用についても、よりスケーラビリティが確保できるインフラが求められます。本セッションでは、それらを支える取り組みについて、実際の事例をベースにお話しします。10年後も世界で通じるエンジニアであるために Developers

hiro_y 2012/02/20

リンク

highscalability.com の Tumblr のアーキテクチャについての記事を読んだ - @kyanny's blog

High Scalability - High Scalability - Tumblr Architecture - 15 Billion Page Views a Month and Harder to Scale than Twitter を読んだ。すごく面白かった。 Kindle で引用したところを中心にメモ。 Tumblrのソーシャルグラフの特徴 The graph for Tumblr users has hundreds of followers. This is different than any other social network and is what makes Tumblr so challenging to scale. Tumblrだと follower が数百人いるユーザーはザラにいる。 follower の多いユーザーの post は多くのユーザ

hiro_y 2012/02/20

Tumblrのインフラのやつ。ダッシュボードの仕組みとか

リンク

Tumblr Architecture - 15 Billion Page Views a Month and Harder to Scale than Twitter - High Scalability -

« Sponsored Post: Percona Live, AiCache, Next Big Sound, ElasticHosts, Red 5 Studios, Logic Monitor, New Relic, AppDynamics, CloudSigma, ManageEngine, Site24x7 | Main | Stuff The Internet Says On Scalability For February 10, 2012 » With over 15 billion page views a month Tumblr has become an insanely popular blogging platform. Users may like Tumblr for its simplicity, its beauty, its strong focus

hiro_y 2012/02/14

Tumblrのインフラ

リンク

hbstudy# 28 SELinux HandsOn 公開版

Linux女子部「Fedora最新技術情報＆Systemd勉強会」 http://connpass.com/event/3859/ で使用した資料です。変更履歴 2013/11/04 ver1.0 初版 2013/11/05 ver1.1 誤植修正、少し追記 2013/11/06 ver1.2 daemon-reload,mask,テンプレート機能を追記 2013/11/12 ver1.3 User/Groupオプションの説明追加 2013/11/24 ver1.4 誤植修正 2014/05/05 ver1.5 imjournalモジュールの説明追加

hiro_y 2012/01/28

SELinux

linux
system

リンク

自サイトの死活監視にUptime Robotが便利、iOSのプッシュ通知も設定

うちのブログはよく落ちるので、死活監視が必要と思いつつ、別鯖が必要になるためそのままにしていたのですが、Uptime Robotという死活監視サービスを見知ったので一応書いておきます。登録したサイト等を5分ごとに死活監視。異常があれば通知してくれるというものです。設定は非常に簡単このブログの死活監視を設定します。 Monitor Type* 「HTTP(s)」を指定 Friendly Name* このブログなので「ひとりぶろぐ」を指定 URL* 「http://hitoriblog.com/」を指定 Aert contacts to notify 登録に使った自分のメールアドレスのチェックボックスをオン一番下の「Add Monitor」を押して完了。これで、もしブログが落ちたらメールが飛んでくるはずです。（続きは[Read More]から）メール以外の通知方法を設定「My S

hiro_y 2012/01/28

死活監視サービスUptime Robotの使い方

system

リンク

UptimeRobot: Free Website Monitoring Service

Website monitoring Be the first to know that your website is down!

hiro_y 2012/01/10

サイトの死活監視サービス、Boxcar経由でiPhoneにpush飛ばせる

リンク

スケーラブルで堅牢な参照用NFSサーバのつくりかた — ディノオープンラボラトリ

今開発しているサービで、約100台位のサーバに対し/usrマウントを提供しているのNFSサーバがあります。参照専用とはいえ、100台位になってくるとそこそこのパフォーマンスが要求されますし、/usrという重要なポイントをマウントしているため冗長化も重要です、また台数が日に日に増えているためとスケールアウトも出来なくてはなりません。そこで、スケーラブルで障害に強い参照用NFSサーバを構築してみました。簡単なイメージは下図のとおりです。 NFSサーバはA,Bの2台ありそれぞれrsyncで内容が同期されています。それぞれのNFSサーバには仮想IPアドレス(以下、VIP)がそれぞれついています。クライアントはマウント時に、nfs.mynet(mynet部分はサービスのドメイン名等)をDNSに問い合わせると、DNSはNFSサーバのVIPのどれかを返却します。問い合わせごとに返却されるVIPが変わ

hiro_y 2011/11/12

keepalivedとNFS

linux
system

リンク

Amepad lt(tmpfs)

This document discusses optimizations made to Ameba's infrastructure. It describes moving Nginx's temporary files to a tmpfs filesystem to reduce I/O load, balancing traffic across four servers, and using techniques like HTTP compression and a memory database to improve performance handling 6GB of traffic and 160GB of data per day on their systems.Read less