いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす｜ハイクラス転職・求人情報サイト AMBI（アンビ）
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
オープンソースcURLの作者、某大企業から「24時間以内にこの質問に答えるように」との無礼なメールを受け取る
オープンソースcURLの作者、某大企業から「24時間以内にこの質問に答えるように」との無礼なメールを受け取る コマンドラインからさまざまなプロトコルでデータ転送を実行できる「curl」コマンド（以下cURL）は、多くのITエンジニアにとって欠かせない、非常に便利なツールです。 cURLはオープンソースで開発されているソフトウェアです。先日その作者であるDaniel Stenberg氏に、某大企業からオープンソースを全く理解していないとみられる大変無礼なメールが届いたとして話題になっています。 If you are a multi billion dollar company and are concerned about log4j, why not just email OSS authors you never paid anything and demand a response f
JSONをいい感じに見るCLIを作った
その他 OS の方は GitHub のrelease ページから DL することができます。 使い方 tv はミニマムな CLI として作ったのでテーブル表示の機能とそれに付随したオプションのみを提供しています。 配列になっている JSON をテーブル表示する キーを指定することでそのキーを使ってソートできる いくつかのスタイルでテーブルを表示できる 以上が主の機能です。 Table 表示 ユースケースとして JSON が帰ってくる API を想定します。 API の例として jsonplaceholder を利用します。 今回は https://jsonplaceholder.typicode.com/users を使います。 この API は以下のようなデータが返ってきます。 $ curl -s https://jsonplaceholder.typicode.com/users [
HTTPといえばHTML/CSS/JavaScriptや画像などの小さめの限りがあるデータを手に入れるためによく使われている印象がある。REST APIのようなHTTPを使ったAPIでも限りのあるデータがリクエストとレスポンスになる印象が強い。
IT産業はタダ働きのエンジニアに依存しすぎている
By Pressmaster 「フリーソフトウェア」「無料アプリ」の中には便利なものがたくさんあります。しかし、有料のソフトウェアの中にも「無料のコード」が多数内在しています。さまざまなプロトコルを用いてデータを転送するライブラリ「libcurl」とファイルを送受信用コマンドラインツール「cURL」を開発し無料で提供しているダニエル・ステンバーグさんが「オープンソースプロジェクトを公開すること」にまつわる自身のエピソードを語っています。 The Internet Relies on People Working for Free - OneZero https://onezero.medium.com/the-internet-relies-on-people-working-for-free-a79104a68bcc iPhoneのような多数のコードによって動いている製品の価格には、その
Web 開発者は HTTP レスポンスをよく見る。 以前 CDN を導入する際に、キャッシュがヒットしているかどうか、どこのエッジがキャッシュを返しているかを確認するためにヘッダをよく見ていた。また、ヘッダだけではなく、TTFB といったレスポンスタイムも気にしている。とにかく HTTP レスポンスをよく見る。 HTTP レスポンスを確認する３つの方法 Chrome さえあれば DevTools を見て一目瞭然である。 とはいえ、コマンドラインで確認したい時がしばしばある。 GUI を操作するよりも手軽である。 その場合はcurlコマンドを叩けばよい。 これでプロトコル、ステータス、ヘッダが分かる。 また、レスポンスタイムを測りたければ、その名もttfb.shというcurlをラップしたコマンドラインツールがある。 https://github.com/jaygooby/ttfb.sh この
自分のグローバルIPアドレスを知れるサービス ifconfig.io - てくなべ (tekunabe)
はじめに 今作業しているマシンが、インターネットへ通信するときに、送信元IPアドレスが何になるか知りたいときはないでしょうか。 そんなときに私が使っているのが、https://ifconfig.io/ というサービスです。 以下の特徴があります。 curl ifconfig.io で単純に IPアドレスだけ返ってくる JSON に対応 IPv6 に対応 http / https 両対応 個人的に覚えやすいアドレス（主にこの理由で使っています） 使い方 ブラウザで https://ifconfig.io を開くと大体の使い方が分かります。 サクッと curl ifconfig.io 単純に IP アドレスだけ知りたときは curl ifconfig.io を実行します。一番良く使います。 $ curl ifconfig.io 203.0.113.1 IPv6 での通信の場合は、IPv6 アド
はい、どーも！CX事業本部の吉田です。 今日 Twitterをいつものように見てたところ、以下のようなツイートが流れてきました。 BRAVIAはガッツリAPIあるな。いいこと聞いた。 "はじめに | BRAVIA Professional Display Knowledge Center" https://t.co/0ngvvFMIrM — moyashi (@hitoriblog) August 21, 2020 ちょっと見た感じ、法人向け製品のみに実装されてるのかな？と・・・ ちょうど我が家のテレビもBRAVIA(KJ-55X8550G)だったので、試しにそのIPを叩いてみると、nginxのレスポンスが返ってくるではありませんか。 多分REST APIで叩けそうだぞ！ということで試してみました。 前準備 まずはテレビ側を準備します。 テレビのホーム画面から設定に入ります。機種によってこ
はじめに スタートアップ等において新しいプロダクトを始める時は、負債が無い代わりに何もありません。 そういった時に、ソフトウェアの品質を担保するための CI のセットアップが、初期から重要になってきます。 GitHub を使用している場合は、GitHub Actions を使用されることが殆どだと思うので、そちらを前提に進めていきたいと思います。 1. rhysd/actionlint 様々なエンジニアが action を追加したり、編集したりするようになった時、全員が正しい書き方で書いていくことは難しいです。 また、それを 1 人の GitHub Actions Expert がレビューしていくのは大変で、属人化してしまっているので、避ける方が望ましいです。 以下をコピペすれば、使用できます。 name: Actionlint on: push: branches: [ main ] p
2021年12月に、さまざまなプログラムに使われているJavaのログ出力ライブラリ「Log4j」にリモートコード実行のゼロデイ脆弱(ぜいじゃく)性「Log4Shell」があることが発覚し、世界中のIT産業が対応に追われました。そんな問題に対し、フォーチュン500に選出されるような大企業から対応方法を教えるよう要請を受けたオープンソース開発者が、相手企業と交わしたメールを公開しています。 LogJ4 Security Inquiry – Response Required | daniel.haxx.se https://daniel.haxx.se/blog/2022/01/24/logj4-security-inquiry-response-required/ さまざまなプロトコルを用いてデータを送受信するのに使われるオープンソースソフトウェア「cURL」の開発者のダニエル・ステンバーグ
What’s Hurl? Hurl is a command line tool that runs HTTP requests defined in a simple plain text format. It can chain requests, capture values and evaluate queries on headers and body response. Hurl is very versatile: it can be used for both fetching data and testing HTTP sessions. Hurl makes it easy to work with HTML content, REST / SOAP / GraphQL APIs, or any other XML / JSON based APIs. # Get ho
$ htmlq -h htmlq 0.4.0 Michael Maclean <michael@mgdm.net> Runs CSS selectors on HTML USAGE: htmlq [FLAGS] [OPTIONS] [--] [selector]... FLAGS: -B, --detect-base Try to detect the base URL from the <base> tag in the document. If not found, default to the value of --base, if supplied -h, --help Prints help information -w, --ignore-whitespace When printing text nodes, ignore those that consist entirel
Docker Desktopが一定条件で有償化*1されるので、脱Docker Desktopしてみた。 意外とそんなにハマることもなく環境構築に成功して、Docker Desktopを使っていた時代とほぼ変わらない開発体験が得られました。 Limaを選んだ理由 lima コマンドを打つだけでデフォルトのVM(Ubuntu)のシェルに入れる(もしくはlimaの後ろに付加した文字列がそのままコマンドになる) 標準設定でホストとネットワークを共有する(dockerでportをexportしたらlocalhost:1234でアクセスできる) --net=host が使える 標準設定でMacのホームディレクトリがVMにマウントされてる(嫌だったら設定変えられる, sshfsでマウントされてるだけ) 環境 M1 Mac Book Pro Intelでもいけるはず Lima側の構築 これがDocker
OSS 版 API Gateway、Kong Gateway をつかってみる - Techtouch Developers Blog
Today we're releasing Connect, a slim framework for building browser and gRPC-compatible HTTP APIs. Connect is production-ready — focused, simple, and debuggable — and it's fully compatible with gRPC clients and servers. If you're frustrated by the complexity and instability of today's gRPC libraries, we think you'll find Connect a breath of fresh air. connect-go is available now under an Apache 2
https://github.com/Songmu/gotesplit gotesplitというかなり便利なツールを書いた。Goのテストをいい感じのサブセットに分割して、それを実行するものです。このアプローチで、社内のテストを15分から3分くらいまでに短縮しました。 これを使えばCI環境での高速なテストの並列実行を簡単に実現できます。 実例 CircleCIやGitHub Actions上で簡単に導入できます。 CircleCIの場合 parallelism: 5 docker: - image: golang:1.15.3 steps: - checkout - run: command: | curl -sfL raw.githubusercontent.com/Songmu/gotesplit/main/install.sh | sh -s bin/gotesplit ./... -
この記事は、はてなエンジニア Advent Calendar 2019の12日目の記事です。 任意のテキストを画面に流していきたいことってありませんか？ ぼくはあります。定期的にエンジニアみんなの前でスライドを映しつつ話す機会があって、そんなとき Slack で実況的に反応がなされることがあるんだけど、Slack 映しっぱなしにするわけにもいかず、話し終わってあとからコメントに気づく……ってこともまあまあある。そんなとき、画面のスライドに重ねてコメントが流れてくれると自分も聞き手も共有できてうれしい。わけです。 それを達成するための1ステップとして、任意のテキストを画面に次々流してくれるアプリをElectronで作りました。 GitHub - motemen/TextCast じつは過去のこのエントリたちも、「Slack の発言をリアルタイムにデスクトップに流したい」という欲望からうまれた
TL;DR: Instead of redirecting API calls from HTTP to HTTPS, make the failure visible. Either disable the HTTP interface altogether, or return a clear HTTP error response and revoke API keys sent over the unencrypted connection. Unfortunately, many well-known API providers don't currently do so. Updated 2024-05-24: Added the Google Bug Hunter Team response to the report that the VirusTotal API resp
Curl Cookbook
I love to cook with curl. Here are some useful curl recipes I often use. Make a POST Request (TLDR: Use -X POST argument) Add POST Data to a Request (TLDR: Use -d var=val argument) Construct a Query String (TLDR: Use -G argument) Add HTTP Headers (TLDR: Use -H 'Header: Value' argument) Change the User Agent (TLDR: Use -A 'User Agent' argument) Set Cookies (TLDR: Use -b name=value argument) Add a R
Windows 10には、マイクロソフトが実装したcurl.exeコマンドが同梱されている。公開されているソースを元に作られた公式のcURLとはバージョンなどが異なっている Windows 10には、2018年のWindows 10 Ver.1803（RS3）からcurl.exeコマンドが標準で付属している。curl（カール）は、cURLの意味で、URLを使って指定するプロトコルを実行するコマンドラインツールである（以後記事中ではcURLをオリジナルの表記として使う）。 curlは1990年代後半に開発が始められ、当初はUnix（SunOS）上で、名前もhttpgetだった。開発が進むとともに、複数のプロトコルをサポートするなどして「cURL」となったのは1998年で、この頃にLinuxにも移植されたようだ。 Windows 10に付属しているのは、cURLの仕様からMicrosoftが作
Textdb
TextDB A simple way to share small amounts of data Let's name your data aa680af1-98e8-436f-91c7-4fdefab23ff5 Update your data with curl -d "hello world" -H "content-type: text/plain" https://textdb.dev/api/data/aa680af1-98e8-436f-91c7-4fdefab23ff5 Access your data with curl https://textdb.dev/api/data/aa680af1-98e8-436f-91c7-4fdefab23ff5 Or view it with live updates at https://textdb.dev/data/aa68
Kotlin 1.3をサクッと学ぶ - CoroutineとKotlin/Nativeを触って理解しよう - エンジニアHub｜Webエンジニアのキャリアを考える！
Kotlin 1.3をサクッと学ぶ - CoroutineとKotlin/Nativeを触って理解しよう Kotolin入門者に向け、Kotlin1.3に加わったCoroutineとKotlin/Nativeという2つの機能を中心に、実践的なプログラミングのヒントをお伝えします。 今やAndroidアプリ開発には欠かすことのできない言語となった「Kotlin」。2018年秋にバージョン1.3がリリースされ、その後も定期的にバージョンアップが進んでいます。Kotlin 1.3の大きな特徴は、CoroutineとKotlin/Nativeという2つの機能が追加されたことです。本記事では、この2つの機能を中心にKotlinの最新動向について紹介しながら、実践的プログラミングへのヒントをお届けします。 本記事のサンプルプログラムは、macOS上のIntelliJ IDEA Community Ed
Push notifications made easyntfy (pronounced notify) is a simple HTTP-based pub-sub notification service. It allows you to send notifications to your phone or desktop via scripts from any computer, and/or using a REST API. It's infinitely flexible, and 100% free software.
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」 - kakakakakku blog
nginx でリクエストを複製できるモジュール「ngx_http_mirror_module」を使うと，簡易的な「Shadow Proxy」を構築することができる．例えば，本番環境のリクエストの一部を開発環境に流せるようになる．この「ngx_http_mirror_module」は nginx 1.13.4 で実装された機能で，2017年8月リリースなので，最近のバージョンだとデフォルトで使えるようになっている．今回は「リクエストの複製」を試すため，Docker Compose を使って検証環境を構築した． nginx.org 検証環境 今回 Docker Compose を使って，nginx と Sinatra を起動する検証環境を構築した．コンテナは計3種類で，以下の構成図にまとめた．基本は Frontend と Backend でリクエストを処理し，今回は Mirror にもリクエス
curl’s official birthday was March 20, 1998. That was the day the first ever tarball was made available that could build a tool named curl. I put it together and I called it curl 4.0 since I kept the version numbering from the previous names I had used for the tool. Or rather, I bumped it up from 3.12 which was the last version I used under the previous name: urlget. Of course curl wasn’t created
オープンソース開発者にもっとお金が廻るようになれば社会はもっと良くなるという話 - orangeitems’s diary
発明しても対価が支払われないオープンソース開発者 世の中はすごくオープンソースのプログラムに依存しているのに、そのオープンソースの開発者には相応するお金が廻っていないという話です。 gigazine.net ステンバーグさんは「オープンソースのプロジェクトから多大な利益を得ているのにも関わらず、その利益をプロジェクト自体に還元するのではなく、無料であることにつけ込んでいる人を見ると腹が立ちます」と語っています。こういった経験から、ステンバーグさんは「トラブル時に備えるために、企業は開発者に金銭を支払ってサポート契約を結ぶべきだ」と主張するようになりました。 確かにcurlコマンドを使うことにお金を支払ったことはないですものね。curlコマンドを一回叩くごとに0.1円でも支払われていたら、きっとステンバーグさんは億万長者になっていたことでしょう。 考察 まだブログを書いて広告を貼ってお金をも
はじめに HTTPのバージョンと仕様について、個々最近の動きについて整理しておこうかと思います。 HTTPには幾つかのバージョンが有り、現在HTTP/1.1とHTTP/2が広く利用されており、HTTP/3も徐々に使われだしています。 バージョンが異なっていても、クライアントからHTTPリクエストを送り、サーバがHTTPレスポンスを返すのは変わりません。HTTPメッセージをどのようなフォーマットで送るかはバージョンによって異なりますが、HTTPメッセージが持つ意味は変わりません。 意味(セマンティクス)とは、GETリクエストやPOSTリクエスト、ステータスコード、ヘッダがどういった意味を持つかということです。 バージョンと、セマンティクスの歴史的遷移は下記のとおりです。 HTTP/1.1とセマンティクス HTTPは最初0.9から始まり、HTTP/1.0、HTTP/1.1と進んできました。 H
rsyncによる大容量ファイルの転送やDBのバックアップ・リストアなど、たびたび非常に時間がかかるタスクをCLIで実行するシーンがあります。 通常そういった場合は末尾に&を付加(セッションが切れても中断されないようにnohupとセットで使うことも多い)してバックグラウンドで動作させるのが一般的かと思います。 ただ、そのまま使うとログや実行時間、リターンコードなどの採取が面倒であり、いささか一覧性に欠けます。 そんな中、そのようなユースケースに適したPueueという管理ツールが登場しました。 Pueueとは Pueueとは、長時間のCLIタスクに特化したOSSの管理ツールです。 最近はstarshipやnushellといったRust製のツールが勢いを増していますが、例によってPueueもRustによって記述されています。 Pueueの特徴としては、次の通りです。 リッチなUI: バックグラウ
2020/060/01 追記 nginx公式版が提供されました。こちらを御覧ください asnokaze.hatenablog.com NginxをHTTP/3対応させるパッチがCloudflareから提供されました (CloudflareのHTTP/3ライブラリ Quicheを利用しています。現状ではHTTP/3ドラフト23版の対応になります) github.com 基本的に、書いてるとおりにやればビルドできるのですが、無事HTTP/3しゃべるところまで確認できました ビルド rustインストールしておく $ curl https://sh.rustup.rs -sSf | sh $ source $HOME/.cargo/env書いてあるとおり $ curl -O https://nginx.org/download/nginx-1.16.1.tar.gz $ tar xzvf ngin
急に外部APIとの通信が "dh key too small" で失敗するようになったのはなぜ？ - BANK tech blog
DockerDesktopの特定条件下における利用が有料化しますね。 そこで今回はDockerDesktopを使っている GUIのコンテナ管理機能を必要としない方 DockerDesktopのインストールが楽だからとりあえず使っていた方 host.docker.internalでホストOSのIPを引ける機能は不要な方 2021-10-15に追記しました。 向けにWindowsにおいてDockerDesktopから、WSL2上のみで動くDockerする方法を書いてみました。 前提条件 この記事の内容は以下の条件で検証されました。 OS Windows 10 WSL2ディストリビューション - Ubuntu 20.04 DockerDesktop - インストール済み 1. 下準備 まずはすでに動いているDockerDesktopを止めましょう。 Windows側でDocker Desktop
Yusuke Wada on Twitter: "curlってオプションに -w '%{json}' って渡すとJSONで吐いてくれるの知らなかった！便利！ https://t.co/UfWoU0H5rO"
curlってオプションに -w '%{json}' って渡すとJSONで吐いてくれるの知らなかった！便利！ https://t.co/UfWoU0H5rO
こんにちは、SSTでWeb脆弱性診断用のツール(スキャンツール)開発をしている坂本(Twitter, GitHub)です。 社内で診断ツールやプロキシを開発していることもあり、通信関連のトラブル相談を受けることがあります。 その中で「そもそも HTTP(S) Proxyを設定するとはどういうことか？」を解説する機会が何度かありましたので、これを機にエンジニアブログで紹介したいと思います。 当ブログの読者としてはWebエンジニアや情報セキュリティ関係者が多いと思います。 そうした方であれば「Proxyを設定する」経験がある方もいらっしゃるでしょう。 では「Proxyを設定する」とはどういうことか、ご存知でしょうか？ 本記事ではその疑問について、Wiresharkを用いたパケットレベルの観察を元に解説します。 パケット観察1: HTTP Proxy ON/OFF curlコマンドでHTTPリク
はじめに Mackerel というと、皆さんこんなイメージをお持ちかもしれません。 エージェントを入れないといけない サービス側で色々設定しないといけない 今ある値をグラフにして欲しいだけなのに こんな風に思っておられるかもしれません。ですが Mackerel は独自のグラフを作るのであれば、大した設定もいらないし、エージェントをインストールする必要もないのです。 本記事では、今ある値を最速でグラフにする手順を示したいと思います。なお Mackerel のアカウントは既にある前提で説明します。今回は Twitter フォロワ数の増加をグラフにしてみたいと思います。 筆者は普段 Twitter でフォロワ数などを全く気にしない人なのですが、先日以降 Twitter の通知欄に「フォローされた」通知が沢山くるのを確認していました。 昨日は自分がプログラミングを始めた頃からずっと尊敬しているプロ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSH接続をWebブラウザの純粋なHTTP上で実現する - nwtgck / Ryo Ota
https://ip.guide/
rjとtとjqコマンドでHTTPレスポンスを試験する - ゆーすけべー日記
年始にLinuxデスクトップを使い始めて1年が経とうとしている - あんパン
curlでパフォーマンス測定 | DevelopersIO
Postmanを使い始めた時に知っておきたかった地味に便利な機能10選 - Qiita
BRAVIAのREST APIを使ってテレビを操作してみた | DevelopersIO
共同開発を始めるときに便利な 5 つの GitHub Actions
「無料でLog4j対策を教えろ」と迫った大企業とオープンソース開発者の痛快なやりとりが公開中
Hurl - Run and Test HTTP Requests
GitHub - mgdm/htmlq: Like jq, but for HTML.
M1 MacでLima + Dockerの環境構築 - くろの雑記帳
Connect: A better gRPC
Dockerのコンテナ間の名前解決方法が気になったので確認してみた | DevelopersIO
GoのテストをCIで簡単に並列実行する | おそらくはそれさえも平凡な日々
テキストを画面に流していくアプリをElectronで作った - 詩と創作・思索のひろば
Your API Shouldn't Redirect HTTP to HTTPS
Windows 10で標準で用意されるようになったcurlを使ってみる (1/2)
ntfy.sh | Push notifications to your phone or desktop via PUT/POST
curl is 23 years old today | daniel.haxx.se
HTTPのバージョンについて、現在のまとめ - Qiita
時間がかかる複数のCLIタスクをRust製ツールのPueueで管理する
NginxでHTTP/3が動いた (Cloudflareパッチ) - ASnoKaze blog
DockerDesktopからWSL2上のみで動くDockerに移行する
Nginx+NLBでHTTP/3環境をAWSに作ってみた | Developers.IO
「HTTP(S) Proxyを設定する」とはどういうことか、パケットレベルで解説 - セキュアスカイプラス
Mackerel を使って10分でメトリクス監視を始める手順 - Qiita
nikkan-spa.jp
gendai.media
hochi.news
www.asahi.com
www.asahi.com
zired.net