Restate
The simplest way to build resilient applications.As regular functions and services, in your existing infrastructure. On FaaS, K8s, servers, containers. Self-hosted or fully managed. Restate meets you where you are.
プラットフォーム エンジニアリングに関する 5 つの誤解: プラットフォーム エンジニアリングとは一体なのか | Google Cloud 公式ブログ
Darren EvansEMEA Practice Solutions Lead, Application Platform ※この投稿は米国時間 2024 年 5 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 なぜ新しいトピックに対して否定的になってしまう人がいるのか、その理由は、群盲象を評すの寓話からわかります。その人自身の視点からのみで物事を見てしまうと、その全体像を見失ってしまうということです。プラットフォーム エンジニアリングはソフトウェア デリバリーの比較的新しい手法です。現在、IT 組織やソフトウェア エンジニアのチームの多くがプラットフォーム エンジニアリングについて検討している段階にあるのですが、プラットフォーム エンジニアリングとは何なのか、プラットフォーム エンジニアリングで何ができるのか、プラットフォーム エンジニアリングを導入す
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。株式会社サイバーエージェントのAIオペレーション室で新規立ち上げをやっております。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬からAIオペレーション室に移動し、新規立ち上げのインフラ環境の構築からCI
過去のGitHub Actionsのbuild時間を取得して集計してグラフにする - xuwei-k's blog
Spotifyの開発生産性向上事例 - 効果的なDevOpsアプローチとそのリスクとはに参加してきた - 天の月
developer-productivity-engineering.connpass.com こちらのイベントに参加してきたので、会の様子と感想を書いていこうと思います。 会の概要 会の様子 DRE Favorable Context 生産性を高めるために必要な3要素 データ、情報、知識の関係性 アクティビティ、アウトプット、アウトカム、インパクトの関係性 失敗事例 意味ある分析をするために メトリクスの罠 社内で議論のきっかけになるメトリクス メトリクスを使う注意点 Q&A メトリクスの中で特に重視しているステップや項目はあるか？ DORAメトリクスを使った測定は、Spotifyやその他の国際的な企業では標準的な手法と考えられているのか？それとも一部企業が行っているものか？ オンボーディングタイムは具体的にどのように計算するのか？ 全体を通した感想 会の概要 来る6月28日（金）-29
インシデントマネジメント 事態収拾のための取り組みに迫る Lunch LT でお話しした資料です
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに 近年、様々な分野で機械学習の利用が進む中、モデルの品質を担保し、継続的な学習を行うための施策が重要視されています。そのため、機械学習のためのDevOpsであるMLOpsの必要性が高まっており、AI事業本部でも研修内容に取り入れています。 より良いMLOpsを構築するためには、アプリケーションやインフラの知識も必要です。そのため、今年は昨年までと異なり、MLエンジニアだけでなくソフトウェアエンジニアも講義に参加しました。また、新たに実践編が加わり、より業務を意識した講義が追加されました。 Container編 基礎編 応用編 実践編 そこで、今回は研修で行われた各講義の資料を公開したいと思います。 Container編 Container編では、コンテナにまつわる技術に対しインデックスを張ることと、イメージ作成や運用時のTipsを学び実業務に役立てることを目的としています。 そのた
検索失敗率のモニタリングから改善まで - Search Engineering Tech Talk 2024 Spring
Search Engineering Tech Talk 2024 Spring の LT枠の発表資料です。
「入門 継続的デリバリー」は継続的デリバリーを学ぶのに最適な教科書だった. - Lean Baseball
最近読んだ「入門 継続的デリバリー」がとても良かったので紹介しますね, というエントリーです. 入門継続的デリバリー良かったです. 「継続的デリバリー（Continuous Delivery）」とか「DevOps」ってどこから学ぶかわからんな！？ というのは割とあるあるだと思っています, そもそもめちゃくちゃ難しい話なので（ちゃんと学ぼうとすると）. そんな中, 「入門 継続的デリバリー」がよく説明できてて良かったので感想と関連する書籍を紹介できればと思っています. TL;DR 入門 継続的デリバリー 我々はなぜCDをするのか? 具体的なプラクティス 入門後に読むべき良著 Kubernetes CI/CDパイプラインの実装 継続的デリバリー チームトポロジー 結び - 我思うCDとDevOps TL;DR 「入門 継続的デリバリー」は継続的デリバリーの大切さと概念, 手法を現実にありそうな
本記事は 【プルリクウィーク】 3日目の記事です。 💻 2日目 ▶▶ 本記事 ▶▶ 4日目 📚 はじめに チーム構成と使用ツール レビューに入る前に考えるべきプラットフォームエンジニアリング レビュアー側が意識したいこと レビューイ側が意識したいこと まとめ はじめに こんにちは。髙橋です。 プルリクウィークというイベントに執筆依頼を頂いたので、私が普段業務でプルリクエストをレビューする/レビューされるときに意識していることを書いてみようと思います。 あくまで私が意識していることという意味合いであり、全員こうすべき！と押し付ける意図はありません！ チーム構成と使用ツール まず前提の認識を揃えるために、私が普段どういった環境で業務をしているか説明します。 チーム人数：7名 チーム構成：PM×1、PL×1(私)、開発メンバー×5 課題管理ツール：JIRA ソースコード管理：GitLab 私
Best practices for using the Terraform AWS Provider - AWS Prescriptive Guidance
Michael Begin, Senior DevOps Consultant, Amazon Web Services (AWS) May 2024 (document history) Managing infrastructure as code (IaC) with Terraform on AWS offers important benefits such as improved consistency, security, and agility. However, as your Terraform configuration grows in size and complexity, it becomes critical to follow best practices to avoid pitfalls. This guide provides recommended
AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.5
2023年1月から2024年5月までの AWS Infrastructure as Code 関連のアップデートを解説しています。JAWS-UG CDK支部 #14 でお話させていただきました。 https://jawsug-cdk.connpass.com/event/317935/
株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用の基本と戦略に関する講義を行いました。
※2024/5/11 13:29追記DifyのLuyu Zhang CEOから直接コメントをいただきましたので、この記事の最後に追記いたしました。 Difyはテンセント系企業？使用して大丈夫？最近注目を集めているLLMOpsプラットフォームのDify.aiですが、中国のテンセントがバックにいるのではないかとの憶測がネット上で広がっていました。以下はXで話題の投稿です。 Difyは中国のテンセントがバックです。 DifyのWEB版（サブスク版）は使うべきではありません。裏側からあなたの作ったシステムも、プロンプトも、APIキーも丸見えですから。Gitからシステムをおろし、ローカルで開発し、GCPなどのクラウドで運用するなら、ありと思います。 — 平岡 憲人(HIRAOKA, Norito) Stand with Ukraine (@onokoro48) May 9, 2024 この記事では、
MFA認証が有効な環境でAssume RoleしてTerraform実行する方法をまとめてみた[AWS] | DevelopersIO
TerraformのAWS Providerは現時点(2024/4時点)で、MFAトークンの対話型認証はサポートされていません。 IAMユーザーでMFA認証が有効になっている環境では、IAMロールを引き受けるAWS CLIの名前付きプロファイルを指定して、Terraformを実行するとエラーになってしまいます。 ~/.aws/config [profile myprofile] output=json region=ap-northeast-1 role_arn=arn:aws:iam::01234567890:role/<IAMロール名> mfa_serial=arn:aws:iam::12345678901:mfa/<IAMユーザ名> $ export AWS_PROFILE="myprofile" $ terraform plan Planning failed. Terraform
![MFA認証が有効な環境でAssume RoleしてTerraform実行する方法をまとめてみた[AWS] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a77b081e14c8d61a2e80498092f8ffb9b60da03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Fterraform-eyecatch.png)
『Lean と DevOps の科学』って教養ないと理解できないじゃん！っていう話 - Qiita
今や生産性の可視化・評価指標といえば本書籍で紹介された『FourKeys』ですね。ちまたでは、絶対視されている様な表現・評価がされている記述をたまに見かけます。ですが、本当にそうでしょうか？ある方が調べたところ、FourKeys を使用している人のうち『Lean と DevOps の科学』を読んだことがない人は9割近くもいたそうです。 本記事では、FourKeys を有効に活用するために知っておくべき・理解しておくべき事柄を幅広い分野でまとめました。生産性を向上し、仕事の成果の質を上げたいと努力するエンジニアの方々が、次の日から使える情報を書けたのではないかと思います。FourKeys だけを見て生産性を上げるという行動は手段の目的化につながりかねません。Fourkeys の背景にある思想を知ることで、FourKeys を真に活用するきっかけになればと思います。 目次 初めに GW中に読も
IaCからAWSに入門した初心者が CloudFormationを通して考えた「AWS操作」の使い分け
2024/05/05 JAWS-UG初心者支部#60 初心者向けLT大会 https://jawsug-bgnr.connpass.com/event/316727/
MicrosoftのMLOpsホワイトペーパー「Breaking the Wall between AI and DevOps with MLOps」要点まとめ - 肉球でキーボード
Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド
AWS Security HubとSlackを利用して、セキュリティ状況の監視運用を効率化したお話 - Uzabase for Engineers
はじめに 初めまして！ソーシャル経済メディア「NewsPicks」SREチーム・新卒エンジニアの樋渡です。今回は「AWS Security Hub」と「Slack」を用いて、弊社で利用しているAWSリソースの監視運用を効率化したお話です。 お話の内容 年々増加するサイバー攻撃に対抗するため、セキュリティ対策は日々重要度が増してきています。 そこで弊社で利用しているAWSのリソースに対して、各種セキュリティイベントの収集ができるAWS Security Hubを利用することで、セキュリティ状態の可視化と迅速な対応がしやすい運用を行い、セキュリティ状態の現状把握から始めることにしました。特にNIST CSFの「検知」部分の運用について整備した内容となっています。 NIST Cyber Security Frameworkについて 皆さん、「NIST Cyber Security Framewo
QAエンジニアがいない会社に入社してやったこと、まだやれてないこと - TalentX Tech Blog
はじめまして。2023年2月に入社したQAエンジニアの大出です。 前職はフリマアプリを開発する会社で約8年QAエンジニアとして働いていて、TalentXで初めてtoBのサービスのQA業務を行うことになりました。 入社前の状況 やったこと 新規開発の検証 テストプロセス改善 テスト計画の作成 ドキュメントの整理 バグチケットの整理 ドッグフーディング 採用 まだやれてないこと 終わりに TalentXは2015年にMyReferというサービスをリリースして以来、2023年2月に自分が入社するまで社内にソフトウェアテストを専門に行うメンバーは在籍しておらず、開発エンジニアが自分達で全てテストを行っていました。 そういう状況で私が入社してから約1年間でやってきたことを振り返りたいと思います。 TalentXの開発に興味がある人や、ソフトウェアテストを専門に行うメンバーが居ない会社でこれからQAエ
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO
![[AWS CDK] ALBとCognitoを使ってOktaをIdPとするSAML認証をしてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/01997881325332bcbeca491a7a712a5024e39095/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-cognito.png)
AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました | CyberAgent Developers Blog
AWS CodeBuildのGitHub Actions runnerサポートでLambdaが実行できるようになったので検証しました CTO統括室の黒崎(@kuro_m88)です。本日早朝に面白そうな発表を目にしました👀 AWS CodeBuild now supports managed GitHub Action runners AWS CodebuildがGitHub Actionsに対応したという内容ですが、要するにAWSがホストするGitHub Actions Runnerが出たということですね🎉 AWSがマネージしてくれることで、EC2(x64, arm)はもちろん、GPUとカスタムイメージも利用できるようです。 さらに注目したのはGitHub Actions RunnerとしてAWS Lambdaが使えるようです。Lambdaが使えると嬉しいポイントはActionsのjo
HashiCorpがIBMに買収された
4月25日、HashiCorpはIBMによる買収を受け入れたことを発表した。 HashiCorpとIBMの買収契約は、マルチクラウドオートメーションを推進し、これまで以上に多くのユーザーと顧客に製品を届けることを目的とする。 HashiCorpの創設者は、クラウド環境における自動化の必要性が明確であったため、この使命を持って2012年に会社を設立した。この買収により、IBMの支援を受けながら、その使命をさらに推進することが可能になるとしている。 HashiCorpの製品は、年間数億回ダウンロードされており、数万の新しいユーザーが毎年製品の認証を受けている。 IBMによる買収後も、HashiCorpはIBMの一部門として運営され、既存および新規顧客に対し、より広範囲にわたって製品とサービスを提供し続けるという。 この統合は、両社の製品ポートフォリオと専門知識がうまくシナジーすることで、顧客に
目標設定の基本
a keynote at DavOpsDays Tokyo 2024 https://www.devopsdaystokyo.org/
GitHubを使わずDatabricksだけで お手軽にライブラリ共有やCIが できる環境を作ってみた/Creating an Environment for Easy Library Sharing and CI Using Only Databricks Without GitHub
[アップデート]TerraformのProviderが関数を定義できるようになりました | DevelopersIO
2024/4/10にGAになったTerraformのVersion1.8にて、Providerが関数を定義できるようになりました。各Providerの開発者はそのProvider固有の問題解決に特化した関数を作成できるようになりました。 本エントリでは新関数たちを触ってみてレポートします。 Providerって？ Terraformをあまりご存じない方向けに説明すると、ProviderはTerraformのプラグインです。実はTerraform単体ではAWSのリソースなどをプロビジョニングすることはできません。AWSリソースをプロビジョニングしたい場合はAWS provider、Google Cloudのリソースをプロビジョニングしたい場合はGoogle Cloud providerなどといったように、対応するproviderと組み合わせてTerraformを使うことではじめてリソースをプ
2024/04/16(火) に行われた イベントの登壇資料です 先達エンジニアに学ぶ 思考の現在地 Online Conferencehttps://findy.connpass.com/event/313119/
4月11日、HashiCorpはTerraformの新バージョンである1.8を公開した。 このバージョンでは、プロバイダー定義関数とリソースタイプ間のリファクタリング機能が導入され、ユーザーはTerraformにカスタム機能を追加できるようになった。 4月11日、HashiCorpはTerraformの新バージョンである1.8を公開した。 このバージョンでは、プロバイダー定義関数とリソースタイプ間のリファクタリング機能が導入され、ユーザーはTerraformにカスタム機能を追加できるようになった。これにより、より複雑なビジネスロジックをカスタムアサーションに書き込むことが可能となり、独自の検証シナリオに対応する。 Terraform 1.8で導入された新しいプロバイダー定義関数は、AWS、Google Cloud、Kubernetesといった主要プロバイダーに対応している。これらの関数は、
OpenShift.Runで登壇した資料です。
はじめに エンジニアとして就職する前に読んだ「なれる!SE 2週間でわかる?SE入門」の内容があまりにも厳しく、業界に就職するのが怖くなったことを覚えています。本の中に登場する中学生の少女にしか見えない凄腕のSE、室見立華さんのような人物は現実には存在しないでしょうが、実際の業界には彼女のような凄腕エンジニアや年齢不相応な技術力を持つ人間も確かに存在します。 なれる！SE ２週間でわかる？ＳＥ入門 (電撃文庫) 作者:夏海 公司,IxyKADOKAWAAmazon SREの探求『Becoming SRE』の内容紹介 私は「なれる!SE」が好きすぎるあまり、「なれる!SRE」というタイトルのクソみたいな文章を吐き出したこともありましたが、そのクオリティがあまりにも低かったため、外には公開せずに留めておきました。そんな中、SREの探求の原著者であるDavid Blank-Edelman(ott
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
最近関わっているプロジェクトでは、大きなアプリケーションのリアーキテクチャを行っています。 そこではフルスクラッチでインフラの構成を書き直す機会がありました。 そのプロジェクトは社内では比較的複雑な構成になっていて、リアーキテクチャにあたっては、アプリケーション特有の事情により、考慮すべきポイントや難度が高いところがたくさんありました。 具体的には、複数のマイクロサービス間の協調性や独立性とそれに付随する認証/認可、クライアント証明書(mTLS認証)の管理、歴史的経緯による複雑性を正すためのawsアカウント移行などなど。 それらは別の機会で語る(or 同僚の誰かが語ってくれることに期待したい)として、この記事ではインフラをフルスクラッチで書き直すにあたって選択したCDKTFについて、紆余曲折を経つつも最終的に採用したディレクトリ構成について書きたいと思います。 タイトルには「ベストな」とあ
入門 継続的デリバリー
継続的デリバリーとは、コード変更を必要に応じて迅速かつ安全に、継続的にリリースできるようにするための開発手法です。本書は、初めて継続的デリバリーに取り組む読者向けに、必要な知識とベストプラクティスをていねいに紹介する入門書です。基本的な概念や技術、アプローチの解説はもとより、章ごとに事例を使用しながら、継続的デリバリーを実践する際に直面するさまざまなシナリオを取り上げ、その全体像・世界観を包括的に理解することができます。 序文 はじめに 第1部 継続的デリバリーとは 1章 『入門 継続的デリバリー』へようこそ 1.1 継続的デリバリーは必要？ 1.2 なぜ継続的デリバリー？ 1.3 継続的デリバリーとは 1.4 インテグレーション 1.5 継続的インテグレーション 1.6 何をデリバリーするのか？ 1.7 デリバリー 1.8 継続的デリバリーと継続的デプロイメント 1.9 継続的デリバリー
「なんでも屋」は避けたいですか？なんでもできたら最強じゃないですか？：No SRE , No life｜教科書には載っていない！俺たちが考えたSRE推進の道しるべ #SHIFT TECH TALKS#1 後記とQA補足 #SHIFT_SRE - 株式会社X-Tech5
Platform Engineering on Kubernetes を読んでCloud Native の現在地を理解する - じゃあ、おうちで学べる
はじめに 近年、Kubernetesの採用が進む中、複数のチームが関わり、複数のクラウドプロバイダーへのデプロイを行い、異なるスタックを扱う組織では、その導入の複雑さが新たな問題となっています。本書 『Platform Engineering on Kubernetes』は、Kubernetes に登場しつつあるベストプラクティスとオープンソースツールを活用し、これらのクラウドネイティブの問題を技術的に組織的にどのように解決するかを示してくれます。 learning.oreilly.com 本書では、Kubernetes上に優れたプラットフォームを構築するための要素を明確に定義し、組織の要件に合わせて必要なツールを体系的に紹介しており、実際の例とコードを交えながら各ステップをわかりやすく説明することで、最終的にはクラウドネイティブなソフトウェアを効率的に提供するための完全なプラットフォーム
中央集権体制からDataOpsへの転換 / centralized-to-dataops-transformation
【イベントページ】 https://chatwork.connpass.com/event/311948/ 我が社が考える最強のデータ基盤'24最新版 Chatworkは約2年前よりデータ基盤の刷新プロジェクトを推進してきました。 スモールスタートで始まったプロジェクトは、今や拡大期を迎えています。 このイベントでは、そのプロセスや直面した壁などを大公開！ さらにゲストには大西氏、CARTA HOLDINGSのPei氏を迎え、各社の考え方やこれからのアーキテクチャについて激論を交わします！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
高度に発達したウォーターフォールはアジャイルと見分けがつかない - An Epicurean
手を動かさないインシデント対応〜自動化で迅速・正確な運用を目指す〜
プルリクエストレビューをスムーズに進めるための実践的アプローチ - NRIネットコムBlog
【2024年度 サイバーエージェント 新卒研修】システム運用の基本と戦略
Difyは使用して大丈夫？テンセント系企業？安全なの？｜Kyutaro
IaCジェネレーターとBedrockで詳細設計書を生成してみた
スクラム開発がエンジニアから成長機会を奪うかもしれない話 - 開発日報
DevOpsDays History and my DevOps story
Value Driven DevOps Team
日本におけるデータエンジニアリングのこれまでとこれから
Terraform 1.8リリース ー 新機能「プロバイダー定義関数」により拡張性が大幅に向上
「共通基盤」を超えよ！ 今、Platform Engineeringに取り組むべき理由
なれる!SRE - Becoming SREで学んだこと - じゃあ、おうちで学べる
ベストなCDK for Terraform(CDKTF)のディレクトリ構成を探る