Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
これに対し、今回のデモを組織した団体「No Tech For Apartheid」は「自分たちの労働がアパルトヘイトや大虐殺の原動力となることは望まない」と訴える。Googleに対してイスラエル政府との契約の中止を求めるのは、発端となったプロジェクト・ニンバスの契約を「ガザのパレスチナ人を虐殺するイスラエルへの支援」と見なしていることによるものだ。 社員の解雇について同団体は「言語道断の報復行為」「Googleが自社の社員よりも、虐殺行為をしているイスラエル政府および軍との12億ドルの契約の方を大切にしていることが、これではっきりした」と反発した。 また抗議デモは平和的に行われ、Google社内で器物を損壊したり、同僚を妨害したりもしていないと主張。社員の解雇はGoogleのいう「開かれた文化」の虚偽をさらけ出したと訴え、解雇は不当だったとし全米労働関係委員会（NLRB）に不服を申し立てて
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
情報漏えいを受け、LINEヤフーが韓国NAVERへの業務委託の終了を決めた。5月8日に開かれた2023年度通期・第4四半期決算会見で明かしたもので、LINEヤフーが2024年度中と進めていたLINEとPayPayのアカウント連携についても、社内のセキュリティガバナンス強化の優先を理由に計画時期を見直す。 LINEヤフーは、23年10月に不正アクセスによる情報漏えいが発生したと発表。情報流出は、同社と韓国の関連会社NAVER Cloud委託先企業の従業員PCがマルウェアに感染したことをきっかけに、NAVER CloudのADサーバも感染。その管理者権限や、LINEヤフーのADサーバの認証情報が奪取され、不正アクセス被害につながったとみられている。 この件に関し、LINEヤフーは24年3月に総務省から行政指導を受けており、同社は4月に報告書を提出。NAVERのシステムとの分離を進める他、「NA
立枯なろ🔔通知欄にいる @disphony あのね 「卒論やってたらPC壊れた」はガチだからね なぜならPCの寿命はだいたい4年で、大学入学と同時に購入したのであればちょうど卒論時期にそれが近づいてくるからです どうせ迷信と油断せずちゃんとUSBにバックアップ取るんだぞ 卒論と創作絡みでクソ忙しい中でPCが死んだなろより 2024-01-11 19:14:56
ネットワーク パフォーマンスの解読: TCP と UDP のバルクフローのベンチマーク | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 6 月 22 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud ネットワーキング チームは長年にわたり、お客様のネットワークの構築、修正、強化の支援に深く携わってきました。その間に、ネットワークのパフォーマンスと効率を最大限に高める重要なパターンやベスト プラクティスを発見しました。この豊富な知見は、ただの理論的なリソースではありません。Google Cloud、クロスクラウド、オンプレミス、その他のクラウド プロバイダなどデプロイ先を問わず、お客様のビジネス目標達成を支援するよう設計された実用的なツールキットです。Google はこの専門知識を共有する
S3経由でXSS!?不可思議なContent-Typeの値を利用する攻撃手法の新観点 - Flatt Security Blog
インフラエンジニアはSREではないし、SREとPlatform Engineeringも別物 - inductor's blog
インフラエンジニアの肩書きをSREに変えるタイプの組織変更は近いところから遠いところまでいろんなところで見かけてるんだけど、改めてそれって名前変えただけじゃないよね？って問いかけは個人が組織に、組織が個人にそれぞれ相互でした方がいいと思う。 インフラエンジニアって言葉もまあ定義が死ぬほど広くてどこからどこまで指すのってのは組織によって違うね大変だねって話ではあるんだけど、SRE(Site Reliability Engineering)やPE(Platform Engineering)はインフラと必ずしも対応関係にあるわけではないんだよな。 Platformってのは言ってしまえば会社のエンジニア組織の中で自分達に最適化された基盤を作る人たちの集合体とそのプロダクトそのものを指していて、Platform Engineering組織の中には当然フロントエンドエンジニアやデザイナー、プロダクトオ
AWS S3 のファイルを社内からのみ URL でダウンロード可能にする（パブリックアクセスブロック有効） - APC 技術ブログ
アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入してみてわかったメリット・デメリット - ANDPAD Tech Blog
こんにちは。SREチームの吉澤です。 アンドパッドでは最近、AWSのS3バケット上のファイルをスキャンするために、アンチウイルスソフト Antivirus for Amazon S3 を本番環境に導入しました。その結果、私たちの要件はほぼ全て満たされたうえに、従来比で大幅なコスト削減を実現できました。 Antivirus for Amazon S3について日本語で書かれた記事はまだ少ないですが、S3に対するウイルススキャンが求められるケースでは、導入を検討する価値があるソフトです。 そこで、今回はこのAntivirus for Amazon S3の概要、私たちが本番環境に導入してみてわかったメリットやデメリット、そしてこのソフトが適した状況をご紹介します。 背景 S3に対するウイルススキャンが必要な理由 Antivirus for Amazon S3の導入前に利用していたソフト Antiv
「ITエンジニアこそ筋トレをやるべき理由 徹底解説（With Google Cloud）」というタイトルで登壇しました。 #devio2023 | DevelopersIO
「ITエンジニアこそ筋トレをやるべき理由 徹底解説（With Google Cloud）」というタイトルで登壇しました。 #devio2023 ブログでは登壇の一部をご紹介します。お越しいただいた皆様、ありがとうございました。日頃から、筋トレというなの「パッチ」を身体のセキュリティとして充てがいましょう。 資料 ※資料の訂正 ちなみに、jast do itはウケ狙いのための施策であり、実際にはjust do itになります。 CGE → GCEになります。（Google Cloudで使用できるVMサービスのこと） 関連ブログ Dev.IO岡山編ブログも投稿しているのでご覧ください。（こちらはGoogle Cloud × Azureです） 「Cloud IdentityとAzure ADの基礎を比較」というタイトルで登壇しました Vol1 #devio23 なぜ筋トレ×ITセッションを選んだ
さくらインターネットは20日、クラウド技術を高めるため、2026年までの2年間に経済産業省から6億円の補助金を受け取ると発表した。日本のクラウド市場は米IT（情報技術）大手3社が合計6割以上のシェアを握り、政府は経済安全保障の観点から国内のクラウド事業者の育成を急いでいる。さくらネットは補助金をITエンジニアの人件費などにあてる。政府は22年に経済安全保障推進法に基づきクラウドを「特定重要物資
データ基盤を支える技術
主にクラウドの話してます - 広島 での登壇資料です。 https://omoni-cloud.connpass.com/event/315682/
はじめに 4年ぶりの開催となるServerlessDays Tokyoに参加してきました https://tokyo.serverlessdays.io/ 「もっとうまくやりたい、誰よりも上手にやりたい」 というメッセージとともに開催されたServerlessDays Tokyo 2023ですが、超豪華なスピーカー陣を国内外から集め、ここ数年のServerlessの成熟と未来をしっかりと味わえる濃いイベントです。 1日目がセッション、2日目がワークショップということで、熱力の高いうちに激熱なサービスを素早く学べる構成になっていて、とても充実した内容でした。 所感 4年前のServerless LambdaをはじめとするFaaSをいかに簡単にデプロイ、運用していくかというツール系の話と S3やSQS,SNSなどのFaaS以外のServerlessなサービスの組み合わせでLowOpsな仕組みを
3大クラウド(AWS,Azure,GCP)をそれぞれプロダクションで実運用した感想(その3 AWS固有の優位性について) - Qiita
この記事はなに？ 構成・実装 育児記録 室内の温湿度 現在の天気 ダッシュボード 取得情報のデータベースへの格納 ダッシュボードに何を掲出すべきか？ まとめ 参考 この記事はなに？ 以下の育児支援ダッシュボードの構築ポストに触発され、自分もダッシュボートを作ってみました。 我が家の最終形態こんな 日中妻が試す→不満・希望を夕方俺に伝達→夜俺が治すみたいなサイクルを2週間回した後の図 pic.twitter.com/PHYRx7m1MS— Dr.10(どく・とぉと読んでください) (@Dr10_TakeHiro) 2023年10月2日 現時点で、自分が作ったダッシュボードは以下のようになっています。 育児支援ダッシュボード この記事では、上記の育児支援ダッシュボードを支える技術について解説します。 構成・実装 ダッシュボードには大きく分けて以下の3つの項目を載せています。 育児記録：「ぴよロ
AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開。AWS Lambdaでの利用にフォーカス
HashiCorpは今後リリースする全製品のライセンスを、これまで採用してきたMozilla Public License v2.0（MPL2.0）から、商用利用に制限があるBusiness Source License v1.1（BSL1.1）に変更すると発表しました。 Future releases of HashiCorp's core products will adopt the Business Source License. We know our community will have questions, so please read our blog post to understand why, and see our FAQs to understand the changes: https://t.co/riF4EZdQhphttps://t.co/TID1ps7
［速報］Google、同社初の独自Armプロセッサ「Google Axion」発表。x86ベースの仮想マシンより50％高速と。Google Cloud Next '24
Google Cloudは、日本時間4月10日未明から開催中のイベント「Google Cloud Next '24」で、同社初となる独自Armプロセッサ「Google Axion」を発表しました。 Google Cloudによると、Axionは現世代のx86ベースの仮想マシンと比較して50％の性能向上と、60％優れたエネルギー効率を実現しており、さらに現在クラウドで利用可能な汎用Armプロセッサと比較して30％高い性能を提供するとしています。 AWSとマイクロソフトはすでに独自Armプロセッサを発表済み Armベースのプロセッサは、すでにAWSとマイクロソフトがそれぞれ発表済みです。 AWSは2018年に独自のArmプロセッサである「Graviton」を発表しており、2023年には最新版の「Graviton4」を発表しています。 マイクロソフトは昨年（2023年）に同社初のArmベースの独
はじめに タイトルはこちらから拝借しました。この記事は他のパブリッククラウド(Azure, GCP)を薦める記事でもなければ、プライベートクラウドを薦める記事でもありません。また私自身、エンジニアキャリアの中でAWSはたくさん使ってきましたし、今でもソフトウェア開発のわがままに答えてくれる素晴らしいサービスだと思っているので、AWSを貶めるような記事でもありません。むしろ以下に紹介するサービスはAWS上に構築されていることが多く、間接的にもますます世界中の基盤として発展していくはずです。 PaaSアーキテクチャ 前提条件 前提として、現在でも主流なSPAを中心としたフロントエンド、バックエンド、データベースサービスからなるアプリケーションを想定します。 この場合、 フロントエンド → CDN + Static Hosting バックエンド → Container Deploy(Auto S
スマホの容量空けるためにLINEグループの部活三年分の文化祭の思い出アルバム全部削除しちゃってやばい→「テロリストやん…」
まなせん @byenyamy 携帯の容量なさすぎて無心でLINEのアルバム全部削除してたらグループからもアルバム消えててやばい、自分の端末だけ消えるんだと思ってて部活の2014〜2017くらいの文化祭の思い出アルバム全部削除しちゃってやばいｗｗｗｗｗｗｗｗｗｗ 2024-06-27 20:58:06
Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformを使って学ぶーAWSにインフラを構築するIaCの基本と、SREが実務で役立つ機能とエコシステムを徹底解説 Terraformは、パブリッククラウドのインフラ構築と自動化のツールとして、IaCのデファクトスタンダードとなっています。この記事では、AWS（Amazon Web Services）を活用するハンズオンを通してTerraformの動作を理解し、実務にもとづいて役立つ機能や便利なエコシステム、さらにSRE視点の事例を紹介します。アソビュー株式会社でSREユニットリーダーを務める鈴木剛志さんを中心に6名のメンバーによる共同執筆です。 アイキャッチ画像 アソビューでは、インフラストラクチャーの変更管理にTerrafo
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版）
期限の制約なく無料で提供される「Free Tier」クラウドサービスまとめ、DBaaS/BaaS/その他編（2024年版） いくつかのクラウドサービスでは、新規ユーザーに対する1年程度の無料トライアルや一定額のクーポンなどの提供だけでなく、期限の制約なくずっと無料で提供される、いわゆる「Free Tier」や「Always Free」と呼ばれるサービスが提供されています。 こうしたサービスは評価や一時的なテスト環境、あるいはホビー用途などに適しています。 本記事では期限の制約なく無料で提供されている主なクラウドサービスを、2024年版としてまとめました。（有料サービスの追加機能として無料で提供されているものは除外しています）。 ただしこれらの無料のサービスは、提供側の都合により一時的に申し込みや利用が制限されたり、提供が終了することがあります。提供側の都合に留意しつつ、良心的な範囲でご利用
えにしテック15周年記念カンファレンスの発表資料です。 https://enishi-tech-15th-anniv-conf.peatix.com/ 資料中で参照しているURLは以下です: https://github.com/rails/rails/milestone/87 https:…
「まだ700台も残っているのか」――。富士通と米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）の会見を聞いた筆者の感想だ。両社は2024年3月18日、グローバルパートナーシップの拡大と顧客システムのモダナイゼーション支援を発表した。その中で、富士通の島津めぐみ執行役員副社長COO （サービスデリバリー担当）（現職）が同社のメインフレーム残存数に触れたのだ。 島津副社長によれば、現在約700台のメインフレームと約9400台のUNIXサーバーが稼働しているという。富士通は2030年度末にメインフレームの製造・販売から撤退し、5年後の2035年度末で保守を終える。UNIXサーバーは2029年度下期に製造・販売を終了し、2034年度中に保守を終える予定だ。 脱メインフレームは間に合わない 果たして2035年度末までに700台あるメインフレームをすべて撤廃できるだろうか
DBアーキテクチャの比較と選択
Database Engineering Meetup #1 DBアーキテクチャの比較と選択 Cloud-native storage service for bulk load & random lookup workload https://scalar.connpass.com/event/298887/
米ガートナー「先進テクノロジーのハイプサイクル2023年」を発表。GitOpsは黎明期、生成的AIとクラウドネイティブは過度な期待のピーク
米ガートナー「先進テクノロジーのハイプサイクル2023年」を発表。GitOpsは黎明期、生成的AIとクラウドネイティブは過度な期待のピーク 米調査会社のガートナーは、「先進テクノロジーのハイプサイクル2023年」を発表しました。 また、ガートナージャパンがほぼ同時に「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2023年」を発表しています。 こちらは別記事「ガートナージャパンが「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2023年」発表」をご覧ください。 ガートナーのハイプサイクルは、技術の登場から安定までを5つのステージに分けて説明したものです。5つのステージは、「黎明期」から始まり、「『過度な期待』のピーク期」「幻滅期」「啓発期」「生産性の安定期」まで。この途中で消えていく技術もあります。 ガートナーは、このハイプサイクルに示した先進テクノロジーは
Google Cloud案件を1年半程度経験してみてAWSと比較しながら違いを整理してみた - NRIネットコムBlog
CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供
CDNレイヤでDBのコネクションプーリングとクエリキャッシュを提供。世界中どこからのDBアクセスでも高速化する「Hyperdrive」、Cloudflareが提供 Cloudflareは、グローバルなCDNレイヤでデータベースのコネクションプーリングとクエリのキャッシュを提供することによりデータベースへのアクセスを高速化する新サービス「Hyperdrive」のオープンベータを開始したと発表しました。 Want to make the existing regional database in your legacy cloud provider much, much faster? We've just launched Hyperdrive, which dramatically speeds up queries you make to databases you already ha
ぼくのかんがえたさいきょうのDevOps実現構成
はじめに 昨年、AWS のインフラを運用・監視する上で使いやすいと思ったサービスを組み合わせて構成図を紹介した記事、「【AWS】ぼくのかんがえたさいきょうの運用・監視構成」が投稿したその日の Qiita のトレンド 1 位になり、はてなブックマークのテクノロジー分野でトップを飾りました。（たくさんの方に見ていただき感謝してます！） 本記事では「ぼくのかんがえたさいきょうの運用・監視構成」の続編として「ぼくのかんがえたさいきょうの DevOps 実現構成」を紹介させていただきます。あくまでも「ぼくのかんがえた」なので私個人の意見として受け入れていただけると助かります。 前回の記事でもお伝えいたしましたが、各個人・企業によって環境は違うと思いますし、使いやすいサービスは人それぞれだと思うので、これが正解という訳ではありません。一個人の意見として参考にしてただければ幸いです。 また、こちらの記事
はじめに こんにちは、クラウドエース データソリューション部の松本です。 普段はデータ基盤や MLOps の構築をしたり、Google Cloud 認定トレーナーとしてトレーニングを提供しております。また、昨年は Google Cloud Partner Top Engineer 2024 に選出されました。今年も Goodle Cloud 界隈を盛り上げていけるよう頑張っていきたいと思います。 クラウドエース データソリューション部 について クラウドエースのITエンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に加わってくださる方を募集しています。もし、ご興味があれば エントリー をお待ちしております！ 今回は、次世代データ基盤であるデ
オープンソースによるFirebase代替を名乗るBaaS（Backend as a Service）「Supabase」が正式サービス化を発表しました。 Supabaseはこれまで約4年間ベータ版としてサービスを提供してきました。現在は100万以上のデータベースをホストし、新規データベースも1日あたり2500以上増加しており、モバイルアプリケーションからエンタープライズ用途まで十分な機能と安定性、スケーラビリティが実証されたとしています。 Supabaseの主な機能はデータベースや認証、ファイルストレージなど SupabaseはBaaSとして主に以下のマネージドサービス群から構成されています。 PostgreSQLによるデータベースサービス 認証サービス ファイルストレージ エッジロケーションにおけるNode.jsDenoベースのサーバレス基盤 マルチプレイヤーゲームなどに対応するリアルタ
「運用コストは増えるのか」「また方針が変わったのか」――。デジタル庁が整備するパブリッククラウドの利用環境「ガバメントクラウド」を巡り、不満や不信の声が強まっている。当初の見込みが二転三転するなど、次々と綻びが見えているのだ。 同庁はベンダーロックインの回避とマルチクラウドの推進を掲げるが、各府省庁や自治体利用は、足元で9割以上を「Amazon Web Services（AWS）」が占める。複数自治体利用による「割り勘効果」でコスト減をうたうが、むしろ従来よりも運用コストが増加するといった指摘も出ている。 度重なる計画変更に加えて、デジタル庁の意思決定プロセスや情報の不透明さも問題だ。ガバメントクラウドへの移行はスムーズに進むのか、決して楽観視できる状態ではない。 「ガバメントクラウドの利用料低廉化を図る取り組みを実施」とアピール 2023年秋、ガバメントクラウドへの移行を検討する各自治体
Google、iPaaS「Application Integration」正式リリース。Salesforceやkintone、BigQuery、MySQLなど多数のサービスをGUIで接続
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleオフィスに警察、社員50人超を解雇 抗議デモ対応が見せつけた“IT界の巨人”の変貌ぶりとは
Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減
LINEヤフー、韓国ネイバーとの委託関係を終了へ PayPayとLINEのアカウント連携も延期に
あのね 「卒論やってたらPC壊れた」はガチだからね→ちゃんと理由があった「ぶっ壊れた奴2人見た」「就活中に壊れた」
Redisよ安らかに眠れ: Garantia Dataが引き起こしたオープンソースの歴史上最大の強盗とは
経済産業省、さくらインターネットに6億円補助 国産クラウド育成で - 日本経済新聞
ServerlessDays Tokyo 2023が最高すぎた！ - Qiita
育児支援ダッシュボードを支える技術 - 人間だったら考えて
最近のCloudflare Workers - ゆーすけべー日記
HashiCorp、全製品のライセンスを商用利用に制限があるBSLライセンスに変更すると発表
You Don't Need AWS ~お前にAWSは必要ない~
自宅LAN内で環境構築してみる？『Pythonで作るおうちクラウドコンピューティング』が発売／『技術の泉シリーズ』新作【Book Watch/ニュース】
官製デスマーチがやってくる、全国の自治体やベンダーが証言するシステム移行の実態
2024年のRailsと自由について考える
富士通製メインフレームが残り700台の衝撃、保守期限までの撤廃に求められる策
Google DomainsからCloudflare registrarにドメインとメールを移管した
次世代データ基盤：データレイクハウスを Google Cloud で実現する
オープンソースによるFirebase代替を名乗るBaaS「Supabase」が正式サービスとして提供開始
「AWS寡占」「運用コスト高」と問題山積、円滑なガバクラ移行へ迅速な情報公開を