[B! tcp] negima1976のブックマーク

40年越しにTCPの仕様(RFC793)が改訂される RFC9293 - ASnoKaze blog

2022/08/09 追記﹁RFC 9293 Transmission Control Protocol (TCP)﹂として正式なRFCが出ました TCPのコア部分の仕様は1981年に発行された﹁RFC793 TRANSMISSION CONTROL PROTOCOL﹂で標準化されています。この、RFC793の改訂版となる﹁Transmission Control Protocol (TCP) Specification﹂は、2013年からIETFのTCPMWGで議論されてきましたが、4月4日にIESGによって承認されました(参考URL)。現在はRFC出版の準備に入っています(新しいRFC番号はこの後正式に決まります) www.ietf.org 改めてTCPの仕様を読みたい場合はこのドキュメントを読むのが良さそう。概要この改訂版の仕様(通称 rfc793bis)は、RFC793が

negima1976 2022/04/12

tcp
IETF

リンク

FTP is 50 years old

The 16th of April 1971 is not only the date when the Rolling Stone first released Brown Sugar, it is also marked with the publication of RFC 114 marking the birthday of FTP. Back in those days, the Vietnam war is at the forefront of the news, TCP/IP didn’t exist yet, Jimi Hendrix died 6 months ago, telnet was the new cool kid and some of the most influential rock n roll artists were about to relea

negima1976 2021/04/19

FTPパイセンまだまだ現役

リンク

Wireshark Tutorial: Examining Emotet Infection Traffic

This post is also available in: 日本語 (Japanese) Executive Summary This tutorial is designed for security professionals who investigate suspicious network activity and review packet captures (pcaps). Familiarity with Wireshark is necessary to understand this tutorial, which focuses on Wireshark version 3.x. Emotet is an information-stealer first reported in 2014 as banking malware. It has since evol

negima1976 2021/01/21

リンク

TCPパケットを解析して構造化ログでダンプするツール tcpdp を作った - Copy/Cut/Paste/Hatena

やっと形になってきました。 github.com ﹁データベースのクエリログを取得したい﹂例えば、データベース︵RDBMS︶のクエリログを取得したいとき一番確実な方法は、そのRDBMSに備わっているログ機構を利用することです。一方で、全てのクエリログを出力するとなるとそれなりにIO負荷がかかることが予想されるので、負荷状況によってはクエリログ出力︵のIO負荷︶を別サーバに分離したくなります。では、どうすればよいかというと、例えばアプリケーションサーバとデータベースサーバの間にプロキシサーバを挟んでそこで記録することでIO負荷を分離するアプリケーションサーバ側で︵notアプリケーションで︶記録することで︵大抵、サーバ台数の多い︶アプリケーション側にIO負荷を分散するというような方法を思いつきます。そこで、﹁もし、TCPコネクション上に流れている︵例えば︶クエリログを解析してログ

negima1976 2018/09/25

リンク

TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった - ゆううきメモ

Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモにて紹介したlstfのホスト上のTCPコネクション情報の取得処理において、/proc/net/tcpを読みだす代わりに、Netlinkソケットを利用することで、実行速度が1.6倍になった。lstfのバージョン0.4.0で使えるようになる。実験約40,000接続あるWebサーバ上にて、lstfコマンドの実行時間を名前解決時間を含まずに比較する。実験環境はEC2のc4.2xlarge、Debian 8.10、Linuxカーネル3.16であり、リバースプロキシとしてnginxが動作している。接続数は次のコマンドよりだいたい40,000接続であることを確認する。 [y_uuki@hoge ~]$ ss -tan | wc -l 39264 /proc/net/tcpを読む実装では、次のよう

negima1976 2018/06/18

リンク

net.ipv4.tcp_tw_recycle は廃止されました ― その危険性を理解する - Qiita

Disclaimer 私はネットワークの勉強もちゃんとしたことないし、Linux のソース読むのもはじめてな素人です。何かおかしなところなどあれば、遠慮なくコメント欄でまさかりをお願いいたします。ソースコードの引用に関して本文中で Linux のコード／ドキュメントを引用している箇所がありますが、すべてタグ v4.11 のものです。また、日本語のコメント・翻訳文は筆者が入れたものです。 TL; DR Linux のカーネルパラメータ net.ipv4.tcp_tw_recycle は、バージョン4.12から廃止されました。今後はこの設定は行わないようにしましょう︵というかできません︶。一方、net.ipv4.tcp_tw_reuse は安全であり、引き続き利用できます。 …というだけの話なのですが、自分用にメモがてら経緯・背景などを記録しておきます。なんで気がついたかこのパラ

negima1976 2018/01/04

リンク

ネットワークゲームにおけるTCPとUDPの使い分け

2017年10月27日、モノビットエンジン勉強会inサイバーコネクトツーにて、中嶋謙互が講演しました「ネットワークゲームにおける TCPとUDPの使い分け」のスライドになります。ネットワークゲームを製作する際にご参考頂けますと幸いです。登壇者：株式会社モノビット取締役 CTO 中嶋謙互Read less

negima1976 2017/11/03

リンク

AWS NLB についてあれこれ - 水深1024m

AWS ELB (ALB, CLB) には日頃からだいぶお世話になっているわけですが、新しい Network Load Balancer (NLB) がリリースされましたね。新しいNetwork Load Balancer – 秒間数百万リクエストに簡単にスケーリング | Amazon Web Services ブログ雑に言えば CLB TCP モードの次世代版というとこですかね。ざっくりドキュメントを読みつつ、いくつか気になる点があったのでまとめます。ドキュメントに記載されていない内容は私が検証した内容です。何か間違いがあればお気軽にご指摘ください。パケットはどのように流れるのか一応図にしておきます。なんというか懐かしい (とか言ったら怒られそうな) 流れですね。 ALB や CLB (HTTP, TCP 両方) ではロードバランサがそれぞれの通信を終端していわゆるプロキシの

negima1976 2017/09/21

リンク

TIME_WAITに関する話

3. 自己紹介 - まぁまぁ MySQL でご飯食べてます - 一時期は Resource Monitoring や KVS にも力入れてました - ネットワーク的には素人です - Linuxとハードウェアは嗜む程度 - disk I/O にはむかしから興味あります - その他 slideshare はこちら - http://www.slideshare.net/takanorisejima/ 4. 本日のお題 - kernel 新しくしたりすると、TCP的に意識したほうが良い変化が見つかるので - 今日は、Webアプリケーションサーバの観点から、 connect(2) する際に気になる TIME_WAIT について、書いてみようかと思います - 有識者からのマサカリを、強く歓迎いたします 5. 最初に参考資料 - この二つの記事を読んでいただけば、それで概ね良いと思うんですが

negima1976 2017/06/09

リンク

【書籍】プロフェッショナルSSL/TLS:Geekなぺーじ

一昨年、﹁インターネットのカタチ﹂や﹁マスタリングTCP/IP﹂を手がけた編集者の鹿野さんが、オーム社を退職して技術書を扱う、ラムダノート株式会社という出版社を起業しました。鹿野さんの会社が発売する最初の書籍である﹁プロフェッショナルSSL/TLS﹂と﹁RubyでつくるRuby﹂(参考‥書籍﹃Ruby でつくる Ruby﹄が発売されます)が今朝発売開始されています。﹁プロフェッショナルSSL/TLS﹂は、TLS(Transport Layer Security)の背景となる理論やプロトコルだけではなく、過去に発生したプロトコル上の脆弱性、運用上の脆弱性、実装上の脆弱性なども解説してあります。Webブラウザの問題も紹介されています。後半は、Apache、Tomcat、IIS、Nginx、などの設定方法の紹介です。編集者であり技術者な鹿野さん﹁プロフェッショナルSSL/TLS﹂を出版し

negima1976 2017/03/16

リンク

高速にリモートホストのポートがListenしているかを調べる - 人間とウェブの未来

hb.matsumoto-r.jp 以下のエントリは一部誤認が含まれていたので、上記エントリにその旨をまとめましたので御覧ください。とある事情でミドルウェア上から高速にリモートホストのポートのListenチェックをしたくなりました。ローカルホストのポートであれば、/procやnetlinkなどを使って素早くチェックする方法がありますが、今回は対象がリモートホストなのでソケットでなんとかする必要があります。そこで、誰もがまず思いつくのは、connect()システムコールによってリモートホストのポートに接続しにいって、connectできればOK、できなければNGと判定する方法があり得るでしょう。（高負荷時に接続できないパターンはListenしていないと判定してよい）そこで一旦、最低限socket()システムコールとconnect()システムコールで接続する時のパケットをtcpdumpで眺

negima1976 2017/02/14

リンク

TCP serverをSSL/TLS化するのに nginx の stream_ssl_module/stream_proxy_module が便利 - たごもりすメモ

最近 Fluentd の通信プロトコルまわりをアップデートするためにあれこれいじっている*1んだけど、これはおおむね fluent-plugin-secure-forward がサポートしていた内容を Fluentd 組込みの forward plugin でもサポートしますよ、というものになる。んで問題なのが secure-forward は SSL/TLS での接続のみしかサポートしてなかったんだけど forward では生の TCP で通信する*2ので、本当に secure-forward と forward それぞれの実装間で互換性が保たれているのか、直接的には確認する手段がない、ということになってしまう。 TCP server の SSL/TLS 化一方世の中には SSL/TLS ターミネータという機能があって、たとえばロードバランサなんかがこの機能を持っている。何をやるかと

negima1976 2016/08/24

リンク

マイクロソフト、より高速な「TCP Fast Open」など採用へ、Windows 10の大型アップデートとWindows Server 2016で

マイクロソフト、より高速な「TCP Fast Open」など採用へ、Windows 10の大型アップデートとWindows Server 2016でマイクロソフトは8月に行われるWindows 10の大型アップデート Windows 10 Anniversary Updateと、9月に正式リリースが予定されているWindows Server 2016で、「TCP Fast Open」の採用やTCPの初期ウィンドウサイズ（Initial Congestion Window）を10にするなど、より高速な通信を実現するTCPの新機能を明らかにしました。 Announcing: New Transport Advancements in the Anniversary Update for Windows 10 and Windows Server 2016 | Networking Blog 新

negima1976 2016/07/21

リンク

TCPを（少しは）理解しておくべきその理由 | POSTD

この記事はTCPの全てを理解する、あるいは﹃TCP/IP Illustrated﹄︵訳注‥日本語版: ﹃詳解TCP/IP︿Vol.1﹀プロトコル﹄︶を読破しようとか、そういうことではありません。ほんの少しのTCPの知識がどれほど欠かせないものなのかについてお話します。まずはその理由をお話しましょう。私が Recurse Center で働いているとき、PythonでTCPスタックを書きました︵またPythonでTCPスタックを書いたらどうなるかについても書きました︶。それはとても楽しく、ためになる経験でした。またそれでいいと思っていたんです。そこから1年ぐらい経って、仕事で、誰かが﹁NSQへメッセージを送ったんだが、毎回40ミリ秒かかる﹂とSlackに投稿しているのを見つけました。私はこの問題についてすでに1週間ほど考え込んでいましたが、さっぱり答えがでませんでした。こ

negima1976 2015/12/29

リンク

Test::UNIXSock で UNIX domain socket のサーバもテストする - Qiita

Perl5 Advent Calendar 2015 4日目の記事です。 Test::TCP というテストモジュールはご存じですよね？ TCP サーバを実際に (空いているポートを自動で見つけて) 起動して、それに対するテストを簡単に書ける素晴らしいものです。諸般の事情により、TCP ではなく UNIX domain socket を使用するサーバについても同じことをしたかったため、Test::UNIXSock を作りました。使い方はほぼ同じです。Test::TCP では port が渡ってくるところが一時的に生成された UNIX domain socket の path になっているので、それを使って server, client のコードを書いて普通にテストするだけです。以下はmemcached への接続をテストする例です。 use 5.12.0; use Test::UNIX

negima1976 2015/12/04

リンク

革命の日々！ Linuxカーネルの「TCP_TIMEWAIT_LEN」変更は無意味？の件について

なんかスラドにあげられてしまったので、備忘録てきにちょっとまとめますかね。きっかけは先月帰国したときに sonots がDeNAをはじめとして、Web企業では広く TCP_TIMEWAIT_LEN を変更してカーネルをリコンパイルして使っているという話を聞いたというもの。以下の様な議論を twitterで行い Togetter: Linuxカーネルの﹁TCP_TIMEWAIT_LEN﹂変更は無意味？: http://togetter.com/li/871768 以下のように、スラドに転載されてしまったわけだ。スラド‥ Linuxカーネルの﹁TCP_TIMEWAIT_LEN﹂変更は無意味？‥ http://linux.srad.jp/story/15/09/09/0648258/ いつものように、スラド民は元のスレッドなんかまるで読んでいないので、結論だけ書く。 tcp_tw_inter

negima1976 2015/09/10

リンク

sshのポートをデフォルトの22/tcpから変えるべきか論争に、終止符を打ちました - ろば電子が詰まつてゐる

また間が開きましたが、すみだセキュリティ勉強会2015#2を開催しました。発表していただいた@inaz2さん、@yasulibさん、ありがとうございました。当日の発表資料は上記の勉強会ブログからリンクしています。今回の私の発表は、﹁攻撃を﹃隠す﹄・攻撃から﹃隠れる﹄﹂。ポートスキャンをするとsshが100個現れる﹁ssh分身の術﹂がメイン(?)です。当初は、パケットヘッダやプロトコルのすき間にメッセージを隠したり、ファイルを隠すなども考えていたのですが……。あまりに盛りだくさんになりそうだったので、﹁ポートスキャンをいかに隠れて実行するか・ポートスキャンからどうやって隠れるか﹂と、ポートスキャンとnmapに絞って発表しました。発表資料私の発表資料は以下です。 (PDF)攻撃を﹁隠す﹂、攻撃から﹁隠れる﹂発表ノート付きなのでPDFです。以下、落穂ひろいなど。スキャンするポート数と

negima1976 2015/08/30

リンク

fluentdでログが欠損する可能性を考える : sonots:blog

negima1976 2015/07/08

問題あってもサービス側で受容できるなら気にしなくていいけどそうでもない場合が多そうだから念頭に入れて置かないといけないな

リンク

FreeBSDのTCPスタックに脆弱性、カーネルメモリを抜き取られる可能性:Geekなぺーじ

FreeBSDのTCPスタックに含まれる脆弱性に関する情報が公開されました。現在サポートされている全てのFreeBSDバージョンに影響があるようです。 The FreeBSD Project Security Advisory: TCP reassem bly vulnerability TCPセグメントの並び替えを行うコードに不具合があり、カーネルをクラッシュさせることによるDoS攻撃が可能とあります。また、非常に難易度が高いとしつつも、今回の脆弱性を突くための工夫を凝らしたTCPセグメントを駆使することで、カーネルが保持するメモリを、接続されたソケット経由で取得できてしまう可能性もあるとのことでした。 FreeBSDのセキュリティアドバイザリでは、カーネルがメモリに保持するものの例として﹁ログイン認証情報など﹂とあります。 FreeBSDは家庭用PCや各種サーバで利用するだけではなく

negima1976 2014/05/01

リンク

TCP 3-way handshakeのレイテンシ軽減のためのTCP_DEFER_ACCEPTソケットオプション - ゆううきブログ

2013/10/22 追記した． Starletのコード読んでてlistening socketにTCP_DEFER_ACCEPTとかいうオプション渡してたので、これ何だって思って調べた． TCPに特に詳しいわけではないので理解に誤りがあるかもしれない． package Starlet::Server; ... # set defer accept if ($^O eq 'linux') { setsockopt($self->{listen_sock}, IPPROTO_TCP, 9, 1) # 9がTCP_DEFER_ACCEPTを表す and $self->{_using_defer_accept} = 1; } ... TCP_DEFER_ACCEPTはLinux 2.4から導入されている． Linux 2.6.32から挙動が若干変わっているらしい． (linux の TCP_DE