ちなみに、IT業界全体のシェアとしてはMicrosoftのAzureの方がGCPを上回っていますが、Web業界においてIaaSにAzureを採用している企業さんは2019年時点ではまだまだ少ないので、現状ではとりあえずAzureへのキャッチアップは後回しにしておいて問題ないと思われます。 クラウドアーキテクチャ設計 前述したAWSやGCPの各種マネージドサービスを適切に組み合わせてアーキテクチャ設計を行い、それを構成図に落とし込める能力は必須となります。 いわゆる「アーキテクト」という職種の担当領域でもありますが、「サービスを安定稼働させたまま、バリューをユーザに迅速に届ける」ためには、自動化のしづらい構成が採用されてしまったり、無駄な機能が開発されてしまったり、アンマネージドなツールやサービスが使用されて管理工数が肥大化したりしないように、アーキテクチャ設計の段階からDevOpsエンジニ
GPTはじめ大規模言語モデルの登場により、MLシステム開発にもパラダイムシフトが起こっています。流れが速すぎてやや混沌としてきたので、プロンプトエンジニアリングの考え方をはじめとした新しい概念について有用な引用と共に交通整理をしてみました。 今から始めたい人はまずこれを読むと、どんな点に配慮すべきかがざっくり分かるかと思います。
機械学習システム開発と運用の落とし穴
クローズドで行われた勉強会の資料です、画像認識まわりでありがちなハマりどころについて解説しています
データ基盤チーム0人で運用は回るのか？！ 前人未踏チャレンジ・クックパッドデータ基盤のすべて2020 - クックパッド開発者ブログ
技術部データ基盤グループの青木です。 ここ1、2年はなぜか成り行きでBFFをでっちあげたり、 成り行きでiOSアプリリニューアルのPMをしたりしていたので あまりデータ基盤の仕事をしていなかったのですが、 今年は久しぶりに本業に戻れたのでその話をします。 突然の1人チーム、そして0人へ…… 今年のデータ基盤チームは消滅の危機から始まりました。 間違いなく去年末は5人のチームだったと思うのですが、 メンバーがイギリスへグローバルのデータ基盤チームを作りに行ったり、 山へ検索システムを直しに行ったり、川へレシピ事業の分析業務をやりに行ったり、 海へ広告のエンジニアリングをしに行ったりするのをホイホイと気前よく全部聞いていたら、 なんと4月から1人だけのチームになってしまいました。 事はそれで終わりません。 恐ろしいことに10月にはわたし自身も育休に入ることになったので、 10月はデータ基盤が0
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
DeNA社内の技術共有会でFastAPIの便利さについて語った資料です。 ▼ 要点 ・機械学習の推論API立てる用途ならFastAPIが便利 ・型定義で開発UXばっちり ・ドキュメント自動生成でつなぎこみも円滑 ▼ ソースコード https://github.com/amaotone/fastapi-example
2020/3/31 Google Cloud Data Platform Dayでの、山田、佐伯、白鳥の講演資料になります
はじめに AWSのネットワーク構成 GCPのネットワーク構成 AWS と GCP 間での通信 VPN設定手順 TGWを用いたルーティングの設定 (AWS) Shared VPC の設定 (GCP) Terraform まとめ はじめに こんにちは。DR & MLOps Group というところで働いている阿部といいます。Data Reliability & Machine Learning Operations の略で、データ基盤やML基盤を作って運用するグループです。 私はもともとは記事配信ロジックやデータ分析をやっているグループにいましたが、今年移ってきました。 こちらが紹介記事です: DREの使命とは？「数が神より正しい」と言うための正確性を求められる技術力 – Gunosiru 弊社のシステムは基本的にはAWSで動いていますが、とあるプロジェクトでGCPを使うことになりました。 そ
機械学習なdockerfileを書くときに気をつけとくと良いこと - nykergoto’s blog
「Data Engineering Study #23 Data orchestration 特集」の発表資料です イベントページ: https://forkwell.connpass.com/event/310011/
CybagerAgent AI事業本部 2023年度新卒研修 MLOps 応用編で使用したスライドです。 ハンズオンで使用したGitHub Repository: https://github.com/nsakki55/aws-mlops-handson
「機械学習」という技術で価値を創出する技術 / techniques-to-create-values-with-ml-layerx
2022年10月15日、技育祭2022秋における講演資料です。 様々なコンテンツやクラウドサービスの充実により、機械学習という技術を利用するハードルは低くなりました。一方で、機械学習を用いて価値を生み出すことは容易ではありません。本勉強会では、プロダクト開発において「機械学習」という技術で価値を創出する技術について、バクラク請求書の実例とともにお話ししました。 https://talent.supporterz.jp/events/725b64f3-2791-4c99-84cf-6a2dbcfe909d/
このNOTEの使い方◯ビジネス観点でGenerative AIの考え方を養うため ◯ファクト集・投資動向・インプリケーション ✗生成AIとは・技術解説・技術動向など 注：サマリーはすべて生成AIで要約し翻訳したものです。 とりあえずこれを読め
データオーケストレーションとは データオーケストレーションという言葉をご存知でしょうか？日本ではまだ耳慣れない言葉ですが、data orchestrationでgoogle検索すると実に3000万件以上ヒットし、世界的には十分に市民権を得ている言葉です。Databricksではデータオーケストレーションを以下のように説明しています。 データオーケストレーションとは データオーケストレーションとは、複数のストレージからサイロ化したデータを取り出し、組み合わせて整理し、分析に利用できるようにするための自動化されたプロセスです。 このプロセスでは、レガシーシステム、クラウドベースのツール、データレイクといったあらゆるデータセンターが接続されます。データは標準形式に変換されるため、理解しやすく、容易に意思決定に利用できます。 オーケストレーションとは、コンピュータシステム、アプリケーション、および
2021/10/22追記：最新版は下記記事になります！こちらもご一読くださいませ。 tech-blog.abeja.asia どうも、Tech Blog編集長(自称)の緒方(@conta_)です。 よくエンジニアの方にご質問いただく ABEJAってよく聞くけど、実際どんなことやってるのかよくわからない という点をクリアにするために、事業内容と技術視点でのABEJAの取り組みを紹介したいと思います。 ABEJAに興味のある方や、未来の一緒に働くメンバーに読んでいただけると嬉しいです！ 割とAIコンサルの会社と思われているらしいので、ちゃんとプロダクト作ってますよ！ということを伝えていきたい ABEJAの事業紹介 ABEJAは2012年から約7年間、機械学習・ネットワークやIoTデバイスを活用したプロダクトの研究・開発・運用を行っています。 様々な産業・業種へ機械学習の適用・運用を培ってきたナ
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
Google Cloud、ジェネレーティブ AI を 開発者、企業、政府に提供 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 3 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 ジェネレーティブ AI は、インタラクティブなマルチモーダル体験の新しい波の到来を告げるものであり、情報、ブランド、そして互いとの関わり方を変えるものです。Google Cloud は、AI に対する Google の数十年にわたる研究、革新、投資の力を活用し、企業や政府に対して、シンプルな自然言語のプロンプトからテキスト、画像、コード、動画、音声などを生成する機能を提供します。 この技術の可能性を実現することは、すべての開発者、企業、政府の手にこの技術が提供されることを意味します。これまで、組織がジェネレーティブ AI にアクセスすることは難しく、カスタマイズはおろか、時には信頼を損ないかねない不正確な情報が生成されることもありました。10 年前、企業や開発者が新しい
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開 「Git」と「テスト・設計」 今後も随時公開 MIXI（旧社名ミクシィ）は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開 Unityエンジニア向けに サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3
データ基盤のメタデータを継続的に管理できる仕組みを作る - Hatena Developer Blog
学びを仕事に繋げる / 外貨を稼ぐ / 継続的に成長する - Sansan Tech Blog
機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P
メルカリ・ヤフー・ZOZO開発者が語る「画像検索」の最前線！ Bonfire Data & Science #1 イベントレポート
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog 祝！ データサイエンス領域で初めての Bonfire！！ そんな記念すべき初回のイベントレポートを書かせていただきます、Yahoo!ショッピングでサイエンス領域を担当している東孝信です。 Bonfire Data & Scienceは、データとサイエンスに関わる人たちが情報共有できる勉強会/交流会です。 今後も定期的に開催される予定ですので、興味のある方は第2回以降もぜひチェックしてください！ さて、第1回のテーマは「画像検索」です！ 最近EC系のサイトで類似画像検索が出来るようになったけどどうやってるの？ 画像検索のモデルってどうしてるの？ 画像検索のインフラはどうしてるの？ 私たちの会社でも画像検索を用いたサービスを構築できる
PythonでApache beam 入門
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
JX通信社シニア・エンジニア兼データ基盤担当大臣の@shinyorke（しんよーく）です. 最近やった「ちょっとした贅沢」は「休日, 自宅で🍺片手に野球を見ながらUberEatsで注文したランチを楽しむ」です. ⚾と飲食を提供してくださる皆さまに心から感謝しております🙏 JX通信社では, 機械学習を用いたプロダクト開発・施策 プロダクト・サービスの改善に関する分析 日々のイベントをメトリクス化して可視化（いわゆるBI的なもの） を円滑かつ効率よく行うため, 昨年からデータ基盤を整備・運用しており, 現在では社員のみならず（スーパー優秀な）インターンの皆さまと一緒に活用し, 成果を出し始めています. ainow.ai なぜデータ基盤が必要か?どういった事をしているのか?...は上記のインタビューに譲るとして, このエントリーでは「データ基盤を支える技術 - ETL編」と称しまして, Py
ML Ops: Machine Learning as an Engineering Discipline
So, your company decided to invest in machine learning. You have a talented team of Data Scientists churning out models to solve important problems that were out of reach just a few years ago. All performance metrics are looking great, the demos cause jaws to drop and executives to ask how soon you can have a model in production. It should be pretty quick, you think. After all, you already solved
「仕事ではじめる機械学習 第2版」を読んで思った「ソフトウェアエンジニアとデータサイエンティスト, ML Ops」のこと - Lean Baseball
このエントリーのテーマです このエントリーは, 「仕事ではじめる機械学習 第2版」出版お祝いのエントリーとなります. 仕事ではじめる機械学習 第2版 作者:有賀 康顕,中山 心太,西林 孝オライリージャパンAmazon 私自身, 第1版登場の2018年頃*1から「機械学習エンジニア」「企画・提案のフェーズから機械学習プロジェクトを回すマン」など, まさに機械学習を仕事とするロール・立ち位置で働いたり個人開発をしたりしていた身として, 色んな場面で参考にしていた書籍の待望の第2版登場で嬉しいです. 待ちに待った仕事ではじめる機械学習第2版、戴きました🙏 週末読んで感想書くぞ📕 pic.twitter.com/66mcTzxja5— Shinichi Nakagawa / 中川 伸一 / Senior Engineer (@shinyorke) 2021年4月15日 縁あって著者の皆様およ
はじめに 自分は Martin Kleppmann が言うデータ指向アプリケーションやそれを実現する周辺の技術領域が好きで、業務としてそのような領域のエンジニアリングを引き続きやっていけたらなと思っています。 世の中には関連する職種の求人が多々ありますが、同じ名前のロールでも職務内容がコンテキストによって異なることが多かったりします。 ここではそれぞれの職種の違いについて自分の観点からまとめます。 1. データエンジニア 求人を眺めていると、データエンジニアは企業によって割と役割がぶれるので分けて説明します。 1-1. 小さめの事業会社のデータエンジニア まずは、小さめの事業会社のデータ分析基盤の構築・運用をするロールです。 ここでは ETL 処理の実装・運用のほかに、各種ツールを使ったデータ基盤の構築・運用知識やクラウド上のアプリケーション構築の知識などが求められることが多いです。 さら
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ センター | Google Cloud
デジタル トランスフォーメーションを加速 お客様がデジタル トランスフォーメーションに乗り出したばかりでも、あるいはすでに進めている場合でも、Google Cloud は困難な課題の解決を支援します。
機械学習研究者＆エンジニアが頭を抱える実験管理に役立つツールを比較した - のんびりしているエンジニアの日記
次世代のワークフロー管理ツールPrefectでMLワークフローを構築する CyberAgent Developers Blog | サイバーエージェント デベロッパーズブログ
※ DynalystではAWSを全面的に採用しているため、AirflowもManaged版を調査しています。 導入後の状態 Prefect導入後は、以下の構成となりました。 ポイントは以下の点です。 ワークフローをDocker Image化することで、開発・本番環境の差を軽減 staging・productionはECS Taskとしてワークフローを実行、開発ではローカルPC上でコンテナ実行 ML基盤のGitHubレポジトリへのマージで、最新ワークフローが管理画面であるPrefect Cloudへデプロイ 従来のyamlベースのdigdagから、DSに馴染み深いPythonベースのPrefectに移行したことで、コード量が減り開発負荷が軽減しました。 Prefect 入門 ~ 基礎 ~ 注意: 本記事ではPrefect 1系を扱います。Prefect 2系が2022年7月にリリースされてい
本日ついに待望のGKE Autopilotがリリースされましたね！ この記事では、GKE Autopilot上で動いているリアルタイム推論基盤でなぜ我々がGKE Autopilotを利用することにしたのかについてお話しします。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習システムの設計パターンを公開します。
2019年のDevOps/MLOpsエンジニアの標準的スキルセット - Qiita
大規模言語モデルで変わるMLシステム開発
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
AWSとGCP間でVPNを設定する方法 - Gunosy Tech Blog
ワークフローオーケストレーション入門
CyberAgent AI事業本部MLOps研修応用編
Generative AIのビジネス動向を把握する20のレポート集｜k1ito
ゆるふわMLOps入門 - Re:ゼロから始めるML生活
データオーケストレーションツールDagsterの紹介
Qiitaのスパム狩りをしたらAutoMLに仕事を奪われた件 - Qiita
ABEJAの技術スタックを公開します (2019年11月版) - ABEJA Tech Blog
学習が何で律速してるか、把握してますか？ - arutema47's blog
サイバーエージェント、AI開発手法「MLOps」の研修資料を無償公開 全140ページ
高速で持続可能な開発のためのソフトウェア工学と機械学習への適用
小さく始めて大きく育てるMLOps2020 | | AI tech studio
機械学習アプリケーションにおけるテストについて - Re:ゼロから始めるML生活
AI Project Management Anti Pattern
データ基盤を支える技術 - ETLフレームワークの実践的な選び方・組み合わせ方 - JX通信社エンジニアブログ
データ系エンジニアの職種の違い - satoshihirose.log
本物のウェブアクセスログを使用した、機械学習による異常検知(全データ/ソースコード公開)
MLOps の利用を開始: ユースケースに適した機能の選択 | Google Cloud 公式ブログ
GKE Autopilotで作るMLリアルタイム推論基盤 | PLAID engineer blog
ikkotokotoko.hatenablog.com
compe.japandesign.ne.jp
www.qlioplus-sub.com
mainichi.jp
www.f-matano44.jp
maidonanews.jp