タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
アプリケーションエンジニアのid:tkzwtksです。今回はバッチ処理の冪等性(べきとうせい、idempotence)について、どう考えるか/考えてきたかをご紹介します。 このエントリを書くきっかけとなったのは、はてなエンジニア有志で定期的に開催しているCloudNative推進会です。ここでは、社内のシステムをクラウドネイティブにしていくため「クラウドネイティブなシステムとはどういうものか?」を考えており、この会での「クラウドネイティブなバッチ処理」の議論も踏まえつつ説明していきます。 バッチ処理における冪等性とは メッセージ送信の信頼性を考慮する クラウドネイティブで可用性を高めるために どのような場合に冪等性を考慮すべきか 冪等な実装における3つのケーススタディ ケース1: n分前までに更新されたレコードを集計する ケース2: DB上の対象レコードを更新する ケース3: 対象ユーザー
suzuri.jp ふとしたきっかけでこの「冪等性ロングスリーブTシャツ」を買い、好んで着ている。 エンジニア向けイベントに関連するX(Twitter)での会話の中で発見したものだったので、基本的には「冪等性(べきとうせい)」が通じるエンジニア向けイベントにしか着ていかないつもりだった。しかし、あまり長袖Tシャツを持っていないので、気候に合う日には「まあいいか」と思って着て外出している。 昨日はたまたま、東京都薬用植物園(東京都小平市)まで出向き、開催中の「ケシのパネル展」(4/22~5/15)を見に行った。ものがものだけに、話しかけられない雰囲気にしたいなと思って、わざと冪等性Tシャツを着た。天候的にもちょうどよかった。 それなのに、西武拝島線で最寄りである東大和市駅まであと一駅というところで、発車直前に列車に飛び込んできたお姉さんに「この電車、本川越まで行きますか?」と尋ねられてしまっ
こちらはエムスリー Advent Calendar 2023の15日目の記事です。 デジスマチームの田口です。 去年のアドベントカレンダーでイベント駆動アーキテクチャの記事を書きましたが、ありがたいことにデジスマ診療のサービスとしての成長も著しく、開発も一層活発になっています。 去年と比較してどれくらいスケールしたかはCTOでありデジスマPdMでもある山崎さんがpmconf 2023で発表した資料にもあるので、興味がある方は是非ご覧ください。 speakerdeck.com 本記事では去年の記事でも少し触れた「冪等性」について、デジスマチームでの考え方・実装についてまとめます。 なぜ冪等性が重要か Idempotency-Key ヘッダ デジスマでの実装 おわりに We are hiring!! なぜ冪等性が重要か デジスマ診療(以降デジスマ)はQRコードによるチェックインや自動後払い、オ
本記事はコネヒト Advent Calendar 2019の23日目のエントリーになります。 今日はマネジメントの話がしたくなったのでマネジメントの話をします。マネジメントは「ナマモノ」なので、その人のパーソナリティはもちろん、関係性や状況によって、有効な手段が変わるので銀の弾丸はないのですが、ナマモノだからこそ、現場のノウハウを公開していく必要があると考えています。 また、マネジメントのテクニックを公開すること=手の内をメンバーに見せることになるので、公開することを敬遠するマネージャーもいますが、僕は正直でいることが最大の戦略だと思っているので、自分の考えの整理も兼ねて書いてみたいと思います。 というわけで誰かの一助になれば幸いです。 冪等性マネジメントとは? 僕がマネージャーとして意識していることの一つに「冪等性マネジメント」(Idempotent Management)というのがあり
朝でも夜でも mac でも windows でも商用環境でも日本でもアメリカでも、add(2, 3)は5 透過的 ( transparency ) とは「存在するものを存在しないように見せる」感じらしい 透過の反対は仮想らしい 透過 → あるけど見えないガラス 仮想 → ないけど見えるホログラム つまり「参照透過性」は「参照があるけどないように見せる」ということ 変数の再代入やグローバル変数の参照が処理内になければ、処理内では変数の参照について心配する必要がないので、参照が透過的と言える 冪等性 処理を何回実行しても同じ結果になること 現状を気にせず叩けば良いので、chef やマイクロサービス等のたくさんの状態を更新する処理と相性が良い (一部が失敗しても全てが成功するまで叩き直せば良いから) 身近な例だと「オン | オフ」みたいなトグルボタンは冪等性がないけど「オフにする」ボタンは冪等性
前編(トランザクション範囲の最小化)へ はじめに こんにちは。タイミーのバックエンドエンジニア中野です。 前編では締めのバッチ処理におけるトランザクションの範囲を最小化した技術的改善をご紹介しました。トランザクションの範囲をバッチ処理全体から最小限の範囲に変更したことにより、バッチ処理が失敗した場合に請求レコードの処理が途中まで完了している状態が発生するようになりました。後編では、処理対象の請求レコードに対し状態を持たせることでバッチ処理全体での冪等性を担保し、バッチ処理が途中で失敗した場合でも安全に処理を再開できるようにした取り組みをご紹介します。 はじめに 締めのバッチ処理とは 現状の課題認識 実施した施策 冪等性とは 冪等性を実現する方法 バッチ処理への適用 達成できたこと 今後の課題 スループット向上とリソース最適化 まとめ 締めのバッチ処理とは まずは前編のおさらいになりますが、
カテゴリー アクセス解析 (2) Analysis (1) Android (7) Apache (6) API (2) Amazon Web Services (66) CloudSearch (1) EC2 (3) RDS (1) SES (1) Backbone.js (1) BigQuery (1) Blockchain (3) Blogger (1) Book (119) Bootstrap (4) Configuration Management (3) Cacti (1) Capistrano (2) CentOS (15) Chef (1) Chrome (10) ClamAV (1) CMS (2) CODA (1) CoffeeScript (1) CORESERVER (4) 仮想通貨 (1) CSS (22) Sass (6) CSV (1) DNS (1) 資料
先日、個人開発のOSS - Submarine.jsのv1.0をリリースしました 記事はこちら Ansibleの冪等性に関する Tweet が、結構な反応をいただけたこともあり、今回は、私がSubmarine.jsで克服したかった「冪等性の限界」と、それを、どのような哲学で解決しようとしているかについて、説明しようと思います 冪等性の理想と現実 そもそも冪等性とは? という話は、各所で説明されていることなので簡単に 冪等性とは 同じ操作を何回実行しても、同じ結果が得られること インフラの構成管理の世界では、何回同じコードを実行しても、同じサーバの状態が得られるという意味で使われる Webの世界ではHTTPのGETやPUTメソッドは冪等だけど、POSTは冪等ではないなどと言われる Ansibleでは、この冪等性を簡単に実現するために、目的に応じて膨大な数のモジュールが提供されています Ans
はじめに 冪等性 Ansibleにおける冪等性 冪等性は主観によって決まる モジュールの冪等性 Playbookの冪等性 構成管理ツールについての研究の今 冪等であるかどうかをテストする系 品質モデルを提唱する系 セキュリティ系 IaCに関する研究はブルーオーシャン まとめ はじめに 僕は今,修士論文の執筆に向けて構成管理ツールと冪等性についての論文を複数読んでいます.それらを踏まえて,一般によく見られるAnsibleへの誤解についての自分の見解,そして2019年現在,構成管理ツールについてどういった研究がされているかを簡単に述べていきたいと思います. 冪等性 そもそも冪等性とは「ある操作を一回行っても,複数回行っても,結果が変わらない」という概念です.例えば, 例えば1や0と任意の自然数のかけ算 絶対値の計算 などが冪等性を持った処理に当たります. Ansibleにおける冪等性 さて,A
Tech Talk vol.2 Backend Engineer 〜マイクロサービスの冪等性〜connpassハッシュタグ:#merpay_techtalk質問板merpay社で開催された勉強会です。 参加者のツイートも含めてメモを残しておきます。 かなり雑なのでコンテキストが読み取れないところもあると思いますが、 なにかの参考になれば幸いです。 (@sonatard さんの実況にとても助けられました。 ありがとうございました!) 1. 500万ユーザーを支える残高の冪等性登壇者:(@knsh14) スライド 参考スライド (ベースとなる話は↑これ) 残高管理サービス(Balance Service)使ってるDBはCloud Spanner 外部サービスや他のマイクロサービスには依存してない DeleteなしでCRUのみ かなりシンプルで冪等性を担保しやすい 冪等性があるAPI最初に成功し
この記事はギルドワークスのアドベントカレンダーの17日目です。 業務で冪等なAPIの実装を行う場面があったので、そのとき調べたものをまとめてみます。 冪等とは(冪等性と安全性) Webを支える技術(7章:HTTPメソッド)より 冪等:ある操作を何回行っても結果が同じになること 安全性:操作対象のリソース状態に変更を加えないこと 安全性あり 安全性なし 冪等なAPI Stripeのブログ記事を読んで、冪等なAPIの設計について調べてみました。 すべてのAPIのリクエストは失敗する可能性がある (クライアントとサーバーによる)分散システムでは、すべてのAPIは失敗する可能性があり、まず考えられるのは以下のような理由です。 ・The initial connection could fail as the client tries to connect to a server. ・The cal
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く