こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
3,000円ジャンクChromebook Lenovo 300eでLinux入れて生成AIなど爆安で色々遊んでみた。スペックが物足りないが色々と動かせる。WineやSteamでゲーム、Webツール、Androidアプリなどなど
Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224 パウ…では無いけどヤフオク3000円で買ったジャンクChromebook Lenovo 300e。 ストレージ少なくてAMD A4だからウマ娘とSteam動かないけどそれ以外はいいね。Linuxコンテナ動かして使える。 ガラスが浮いてるから光が入るけどそれ以外は問題なし pic.twitter.com/2DubNcJg2H 2024-06-12 19:36:08
CyberAgent AI事業本部2024年度MLOps研修Container編 / Container for MLOps
同年度のMLOps研修資料はこちらです。 (1/4) CyberAgent AI事業本部2024年度MLOps研修Container編: https://speakerdeck.com/szma5a/container-for-mlops (2/4) CyberAgent AI事業本部2024年度MLOps研修基礎編: https://speakerdeck.com/nsakki55/mlops-basic (3/4) CyberAgent AI事業本部2024年度MLOps研修応用編: https://speakerdeck.com/tyaba/mlops-handson (4/4) CyberAgent AI事業本部2024年度MLOps研修実践編: https://speakerdeck.com/hosimesi11/mlops-practice
CyberAgent AI事業本部新卒研修「MLOps」の資料を公開します | CyberAgent Developers Blog
はじめに PythonのDockerfileを作成する際、ネット上で適切な情報が見つからず、試行錯誤することがあります。そこで、ここでまとめてみます。 完成品 # 開発用ステージ FROM python:3.11-bullseye AS developer ENV PYTHONUNBUFFERED=1 WORKDIR /app RUN apt-get update \ && apt-get install -y --no-install-recommends \ bash=5.1-2+deb11u1 \ && apt-get -y clean \ && rm -rf /var/lib/apt/lists/* COPY requirements.txt ./ RUN pip install --no-cache-dir -r requirements.txt COPY . . # ビルド用ス
技術書典#16向けに 「The Cloud Run (Google Cloudコンテナ設計本)」を執筆しました - How elegant the tech world is...!
対象者 Docker使いたいけどよくわからない Docker使い始めたけどコマンド言われるがままに打っていてよくわかってない コマンドと動作を図示で理解したい こんな人の理解の一助になれば幸いです。 (前提条件: docker version 26.0.2) Dockerコマンドを可視化してみた 勝手にローカルのPCをmacにしているのはご愛嬌です ※2024/5/16 9時訂正版の画像に差し替え コメントで間違いを指摘していただきありがとうございます🙇 細かいオプションなどは一旦無視してライフサイクルの部分を抜き出してみました。 Docker imageの操作 dockerの肝となるコンテナは、imageから生成します。 そのimageは、 docker hubからpullしてくる dockerfileからbuildする この2択で生成します。 コマンドは、 など、 docker i
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能 Dockerコンテナで使われるコンテナイメージは、そもそもOSのカーネルなどが含まれていないためそれ単体で実行することはできず、コンテナに対応したOSの上にデプロイすることで実行されます。 このコンテナイメージのフォーマットは業界標準の「OCIコンテナ」（Open Container Initiativeコンテナ）として標準化されていますが、このOCIコンテナのフォーマットを守りつつ、ベアメタルサーバ上でブート可能な「ブータブルコンテナイメージ」の開発が進められています。 ブータブルコンテナイメージとは？ ブータブルコンテナイメージは、カーネルやデーモンなどの単独で実行可能なOSとしての
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
色々あって WebAssembly の component model を調べていたら、未来が見えた気がしたのでここに書いておきます。 「今の WebAssembly」 とは何か WebAssembly の Web の部分は忘れてください。これは単に JVM version 20xx です。ポータブルなバイナリ仕様です。 実行にあたっては今はホスト言語として JS が使われていますが、実際にはホストがJSである必要すらなく、なんならホストが不要なスタンドアロン環境すらあります。(wasmtime/wasmer) じゃあ WebAssembly は何かというと、サンドボックスで実行される VM の仕様です。比較的高水準なバイナリで、 V8 や Spider Monkey に付属する WebAssembly Runtime や、 Wasmtime や Wasmer といった WebAssemb
Docker Desktopの代替となる「Podman Desktop 1.9」リリース。Macでの安定性や性能が大幅に向上したコンテナエンジン「Podman 5.0」を搭載
Red Hatが主導して開発するDocker互換のコンテナエンジンであるPodmanを搭載した、Docker Desktop代替となるGUIツール「Podman Desktop」の最新版「Podman Desktop 1.9」正式版がリリースされました。 Podman Desktopの主な機能 Podman Desktopは、デスクトップアプリケーションのGUIを通じて、コンテナの一覧、検索、実行、終了などの基本的な操作、コンテナイメージのビルド、コンテナレジストリへのコンテナイメージのプッシュやプルなどのライフタイムを通じた管理、ローカルでのKubernetes環境の実現、CPUやストレージの利用量の参照などを手軽に行えるツールです。 さらにDocker Dekstopの拡張機能を取り込むこともできます。 Podman Desktop 1.9の新機能 Podman Desktop 1.9
クラウドで使うコンテナというと、AWSのAmazon ECS、Google Cloud Runなどがある。今回はコンテナオーケストレーションのKubernetesのアーキテクチャについて、スリーシェイク bells17氏が解説する。KubernetesはもともとGoogleが内部で運用していたコンテナ基盤のBorgをベースとしており、Cloud Native Computing Foundation（CNCF）に寄贈されたものだ。認知度からも分かるように、成熟度レベルは「GRADUATED」で成熟が進んだものとなっている。 KubernetesのコアとなるControllerとは？ コンテナオーケストレーションツールとして有名なKubernetes。代表的な特徴を挙げるとサービスディスカバリとロードバランシングがある。Serviceリソースを定義することで、多数起動されているコンテナに接続
雰囲気でDocker Composeを触っている状態から脱するために調べたこと（2023） - Activ8 Tech Blog
三行で FireLens を使うことで ECS で稼働するアプリケーションのログ転送を簡単に実装できる しかし、ドキュメントに記載されている設定例をそのまま利用しただけでは実はログの取りこぼしがあった ログの取りこぼしを防ぐためにコンテナ間の依存関係とHealthcheckの設定を行った FireLens とは FireLens を簡単に言うと、「ECS のタスク定義の記述だけで Fluent Bit / Fluentd を使ったログ転送用のサイドカーコンテナが利用できる機能」でしょうか。 FireLens という個別のサービスやソフトウェアが存在するわけでは無いようです。 詳細は以下を参照ください。 症状 私が関わったとあるサービスでは ECS を使ってアプリケーションを稼働させていて、アプリケーションのログは FireLens により Fluent Bit を使ってログ転送を行っていま
Docker 環境を作るなら Ubuntu のクロスプラットフォームな仮想化ツール Multipass を使おう
【Rye + uv + Ruff】Docker で VS Code の Dev Container 上に快適な Python 環境を構築する
0. はじめに 株式会社ディー・エヌ・エーに入社し，MLOps エンジニアをやっている @a5chin です． 本記事では，図 1 の様に VS Code の Dev Container 上に爆速で快適な Python 環境を構築することを目指します． 図 1: Dev Container 上で開発をすると Ruff による自動フォーマット[1]と pre-commit が走る 本記事の内容は全て上記リポジトリで簡単に試すことができるので，ぜひ clone して試して頂けたらと思います↑ Dockerfile 内で，Rye, uv, そして Ruff をインストールする手順を記述することで開発環境を標準化し，異なる環境間での一貫性を担保することができます． 0.1. 事前準備 本記事で作成したリポジトリを動かすためには，Docker Desktop と VS Code のダウンロード，VS
Testcontainersを用いてテスト実行前の docker compose up を無くし、Goで並列テストする | フューチャー技術ブログ
春の入門祭り2024の1記事目です。 はじめにTIG真野です。 Testcontainers を用いて、単体テスト実行前に docker compose up -d 無しで、PostgreSQLにアクセスする単体テストを行う、入門記事です。 恩恵は次のような開発者体感の向上が個人的にあります。 テストを実行するうえで、別プロセスのサービスを起動しておく必要があるといった前提条件を考えなくても済むため、テストを行うビジネスロジックに集中できるdocker compose up -d 打たないだけだが、テストに必要なコンテナを考慮しなくても済む停止し忘れて、別のリポジトリの開発するときに混乱しなくても済む並列テストしやすくなるので、テストの実行速度が向上するGoにおいて、複数のパッケージを同時にテストするとき、 -p 1 で絞らずに済むTestcontainers とはhttps://test
Dockerのコンテナやイメージが、どのような技術を使い、実現されているのかについてざっくり解説しています。
KubeCon + CloudNativeCon Europe 2024 参加レポート - ZOZO TECH BLOG
はじめに こんにちは。SRE部フロントSREブロックの三品です。 3月19日から3月22日にかけてKubeCon + CloudNativeCon Europe 2024（以下、KubeCon EUと呼びます）が行われました。今回弊社からはZOZOTOWNのマイクロサービスや基盤に関わるエンジニア、推薦システムに関わるエンジニアの合わせて4人で参加しました。 本記事では現地の様子や弊社エンジニアが気になったセッションや現地の様子について紹介していきます。 目次 KubeConEU2024の概要 セッションの紹介 現地の様子 ブースについて 参加に向けてのTips 最後に KubeCon EU 2024の概要 昨年4月にオランダ アムステルダムで行われたKubeCon EUの様子については昨年の参加レポートをご覧ください。 techblog.zozo.com 今年のKubeCon EUはフラ
Docker互換のコンテナエンジンとしてRed Hatが主導して開発しているオープンソース「Podman」の2年振りのメジャーバージョンアップ「Podman 5.0」が正式にリリースされました。 PodmanはDocker互換のコマンドラインツールを備え、OCI（Open Container Initiative）互換のDockerイメージを操作可能なコンテナエンジンです。 デーモンを使わず軽量で高速に動作すること、ルートレスでコンテナを操作できるためセキュアなことなどを大きな特徴としており、PodmanからKubernetesのYAMLファイルを生成できるため、Kubernetesとの連係も容易とされています。 今回のPodman 5.0では、WindowsやMacの上でLinuxコンテナを利用可能にするための仮想マシンを実行するPodman Machineが全面的に書き換えられ、性能と
Linux 使いになりたい人向けの Intel N100 ミニ PC で構築する開発環境（１） - 構築する開発環境について
構築する開発環境について ここで構築する開発環境は次のようなものを考えています。 仮想化ソフトウェア (Hyper-V + WSL2 + VirtualBox) コンテナソフトウェア (Docker Compose + Docker Engine) 開発エディタ (Visual Studio Code ) バージョン管理システム (Git + Git for Windows + Forgejo) CI/CD (githooks or Gitness or Woodpecker CI or GitBucket + gitbucket-ci-plugin or Jenkins) Intel N100 ミニ PC の特徴は低価格でありながら、仮想化機能を備えており、VirtualBox や Hyper-V といった仮想化ソフトウェアを動作できることが大きな魅力です。メモリ 16GB で SSD
AWSのECSってなんやねん
個人的Rails開発環境構築2024
新規でRailsプロジェクトを始める時の個人的な環境構築についてまとめる。前提とする条件等は下記。 規模: ~中規模 開発者数: 個人 利用シーン: PoC作成・スタートアップ立ち上げ・並の業務アプリ開発等 基本戦略 利用シーン的に「思い立ったらすぐアプリの開発ができる」という感じの運用がしたい。極力セットアップで悩みたくないから必要なミドルウェアなどは全部Dockerでインストールできるようにして立ち上げれば終わり、の環境を作る。その環境の中で色々とコマンドを叩いたり、rails newやrails gなどでRailsアプリを作成していく。 この辺のRailsの初期セットアップの手間を出来るだけ省きたいのでtemplateとなるリポジトリを作成し、そこからcloneしてくるだけでOKにする。 フロントエンドはReactなどを使わずをRails標準のerbとHotwireを軸に開発する。開
今あらためてコンテナ界隈を俯瞰する「Docker/Kubernetes コンテナ開発入門」 | DevelopersIO
パーソナルコンピューターなどの情報を記録する磁気ディスク「フロッピーディスク(FD)」は主に1980年代から2000年代半ばにかけて広く使用されました。そんなFDについて、プログラマーのジョナサン・パラント氏が解説しています。 JP's Website · 2023-08-28 · Everything I know about floppy disks https://thejpster.org.uk/blog/blog-2023-08-28/ FDは大きく分けて「8インチ」「5.25インチ」「3.5インチ」の3つのサイズがあります。このほかに「3インチ」「2.5インチ」「2インチ」なども存在していました。 8インチFDは最初に登場したFDで、1970年代初頭に開発されました。樹脂製の薄いディスクを同じく薄い樹脂製ケースで覆っており、ドライブの読み取り・書き込みヘッドはケースの一部に開い
関連キーワード IT部門 | ネットワーク | ネットワーク管理 | ネットワーク監視 ネットワーク内のデバイスを管理するには、単にIPアドレスを割り当てるだけでは不十分だ。クラウドサービスやIoT（モノのインターネット）の利用が増加傾向にある中で、企業のネットワークは複雑化している。そのネットワークと、ネットワーク内のデバイスを管理する仕組みが重要になってきた。 IPアドレスベースのネットワーク管理を合理化するためには、「DNS」（Domain Name System：ドメインネームシステム）、「DHCP」（Dynamic Host Configuration Protocol：動的ホスト構成プロトコル）、「IPAM」（IP Address Management：IPアドレス管理）といったネットワークのプロトコルやシステムが欠かせない。以上3つを総称した用語が「DDI」だ。 DDIのそれ
14業界の主要戦略パターンを解説する『業界別マーケティングの地図』を出版します!!（→「はじめに」と「おわりに」と主要フレームを全公開）｜池田紀行@トライバル代表
14業界の主要戦略パターンを解説する『業界別マーケティングの地図』を出版します!!（→「はじめに」と「おわりに」と主要フレームを全公開） 『売上の地図』（日経BP）の続編となる本が出ます。 テーマは前著に続き「売上」ですが、今回の本は14業界のマーケティング特性の違いと、それぞれの業界ごとの戦略チューニングのポイントを解説するものです。 ありがたいことに、『売上の地図』はたくさんの方に読んでいただけ、多くの企業で「導入」が進んでいます。一方で、「これはマズイな……」と感じることも増えてしまいました。それが、カスタマイズやチューニングなき当てはめです。 自社商品が持つマーケティング特性、つまりカテゴリー関与度を無視し、「そのまま」使ってしまうのです。 これはいけません。むしろマズイことになります。この流れを断ち切るためには、自らその流れを正す追加情報を出すほかない。これが本書を書こうと思った
共和党大統領予備候補のドナルド・トランプ氏が、中国系ソーシャルメディアアプリのTikTokをアメリカで全面的に禁止しようとする動きについて懸念を表明しました。これは、議会が可決すれば禁止法案に署名すると述べたジョー・バイデン大統領の見解とは対照的です。 Trump says TikTok ban would empower Meta, slams Facebook https://www.cnbc.com/2024/03/11/trump-says-a-tiktok-ban-would-empower-meta-slams-facebook-as-enemy-of-the-people.html TikTok ban: House vote set for Wednesday morning https://www.axios.com/2024/03/11/tiktok-ban-congr
Windows PowerShellで動くスクリプトがPowerShellでも動くとは限らない、なぜなのか？
山市良のうぃんどうず日記 Windowsコンポーネントの「Windows PowerShell」とオープンソースの「PowerShell」 Windowsのコンポーネントである「Windows PowerShell」は「5.1」が現行バージョンであり、その後のロードマップは示されていません。 その代わり、Microsoftはオープンソースプロジェクトである「PowerShell」（旧称：PowerShell Core）を提供し、機能強化やパフォーマンス改善を実施してきました。現在の最新バージョンは「7.4.1」です。「PowerShell Core 6」のリリース以降、Windows PowerShellを起動すると、「新しいクロスプラットフォームのPowerShell」を試すように案内されるようになりました（画面1）。ちなみに、「powershell.exe -nologo」を実行すれば
「米国がAI市場も支配する」という構図を阻むフランス新興企業の挑戦 | パリ拠点の「ミストラルAI」がシリコンバレーの巨人に挑む
NHKは6つのテキストサイトを停止、新聞業界は得をするのか？（境治） - エキスパート - Yahoo!ニュース
NHKが自分で選択し、新聞協会の攻勢もあってテキストニュースを縮小NHKは「政治マガジン」「事件記者取材ノート」「国際ニュースナビ」「サクサク経済Q&A」「サイカル」「アスリート×ことば」の6つの特設サイトを3月29日に終了する。この件は内部情報を得ていたので記事にしようと思っていたら、朝日新聞が報じていた。 NHK、「政治マガジン」など6サイト更新停止へ 新サービスを検討（朝日新聞3月7日） これには驚いた。新聞協会が要望していたことを、NHKが具体化するのに「関係者への取材でわかった」とスクープのように書くのはどういう神経だろう。 「サイトの停止でサービス低下を懸念する声があるが」とまで書いていて、だったら要望するなよと言いたくなる。 NHKテキストニュース縮小の経緯については2月29日にも佐々木俊尚氏をゲストに配信した「新メディア酔談」で説明している。 この中で佐々木氏にお見せした、
「晩秋レトロミン」「筆竹仮名B」などのフリーフォントをリリースされている二人組ユニット「すずみばと書林」から、新作フリーフォントがリリースされました。 今回は、印刷での使用を目的にデザインされた「紙モノゴシック」 とは言え、もちろんスクリーン、Webデザインやスマホアプリやゲームに使用してもOKで、しっかりとその存在感を残すフォントです。
EV減速の中でもっとも注意すべき政策
EVシフトの減速を示すニュースが次々に発表されている。BMW、GM、フォード、テスラ、リビアン、アップルなど、多くの会社が先行きの見込みをマイナス修正。計画の先延ばしや中止など、現実に応じた修正を余儀なくされている。 ただし、こうなるのはずっと前から分かっていたことで、ようやく世間が悪夢から覚めたということになるだろう。「後出しで言うな」という人が出てきそうなので、本連載の過去記事を遡（さかのぼ）ってみた。まあ本人もいったい何時からマルチパスウェイの記事を書き始めたのかよく覚えていないので、一度おさらいしてみたかったのもある。 BEVシフトが限定的であることを最初に明確に書いたのは7年前、2017年5月の「日本車はガラケーと同じ末路をたどるのか？」だ。 そしてエンジンはなくならないという主張が同じ年の7月にある。「電動化に向かう時代のエンジン技術」という記事だ。 現在の流れに至る原因が欧州
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
PythonのDockerfileをセキュアにするためのベストプラクティス - Qiita
【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
Dockerのコンテナイメージを1/10以上軽量化してみた - Qiita
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
Dockerコマンドの挙動を図解にして覚えやすくしてみた - Qiita
今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
WebAssembly は次世代のコンテナ技術になれるか？
アーキテクチャから読み解くKubernetes～Controllerの仕組み～
FireLensでログ転送するときは依存関係とHealthcheckを設定しないとログを取りこぼすことがある
Docker再入門 ~コンテナ・イメージ編~
ちっちゃなScalaコンテナを作つコツ(6 MiBだぞ) - Lambdaカクテル
【AWS】障害時の調査事項まとめ ～ELB・ECS・RDS～ - Qiita
Docker互換のコンテナエンジン「Podman 5.0」正式リリース。Macでの安定性や性能が大幅に向上
かつて広く使われていた「フロッピーディスク」についてプログラマーが解説
[みんなのケータイ]自動文字起こしの精度が爆上がりして不可逆になってしまった件
![[みんなのケータイ]自動文字起こしの精度が爆上がりして不可逆になってしまった件](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1f149c4378e3181588c6cba71adc637164d8e2c/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1575%2F788%2Fota091.jpg)
「DNS」「DHCP」「IPAM」をまとめた「DDI」とは何か？ なぜ必要なのか
ドナルド・トランプが「TikTokを禁止すると国民の敵Facebookに力を与えてしまう」と発言
商用無料、新作フリーフォントがリリース！ 柔らかで穏やかな、紙面を彩る見出し用ゴシック体「紙モノゴシック」