最近はお客さんとの勉強会でDockerのドキュメントをつまみ食いして読むというのをやっていますが、改めて最新版を読んでみて、いろいろ思考が整理されました。2020年の20.10のマルチステージビルドの導入で大きく変わったのですが、それ以前の資料もweb上には多数あり「マルチステージビルドがよくわからない」という人も見かけるので過去の情報のアンラーニングに使っていただけるように改めて整理していきます。 仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編で触れた内容もありますが改めてそちらに含む内容も含めて書き直しています。 本エントリーの執筆には@tk0miya氏から多大なフィードバックをいただきました。ありがとうございます。 基本的なメンタルモデル現代的な使い方を見ていくために「Dockerを使ってビルドする」というのはどのようなものか考えを整
GitHub - igrek51/wat: Deep inspection of Python objects
Deep inspection of Python objects. WAT is a powerful inspection tool that allows you to delve into and examine unknown objects at runtime. "Wat" is a variant of the English word "what" that is often used to express confusion or disgust If you find yourself deep within the Python console, feeling dazed and confused, wondering "WAT? What's that thing?", that's where the wat inspector comes in handy.
面倒な分析はGoogle Colabにやらせよう
Netflixが自社製ワークフローオーケストレーター「Maestro」をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Technology Blog | Jul, 2024 | Netflix TechBlog https://netflixtechblog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは「ユーザーが次に視聴する作品の予測」などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを
高速化のエンジニアリング。注文してから0.722秒。100倍速いぞ！Python : 75.884 C++ : 3.392 JIT Python : 0.722 JITコンパイラで高速化されたコードを自動生成するツール。 - Qiita
アリスは驚きと興奮を抑えきれませんでした。彼女はすぐに新しいコードを試し、その速さに目を見張りました。今まで数時間かかっていた計算が、ほんの数分で終わったのです。 翌日、アリスはこの発見を友人たちに話しました。友人たちも同じように魔法の本を使い、彼らのコードを高速化しました。こうして、プログラミング王国全体で「JITの魔法の本」が広まりました。 やがて、アリスは王国のプログラミング大会で優勝し、JITの魔法の本の力をさらに広めることになりました。彼女は「JITの守護者」として称えられ、プログラミング王国はかつてない繁栄を迎えました。 アリスはいつも心に誓いました。どんなに強力なツールも、それを使う人々の努力と情熱があってこそ、本当の力を発揮するのだと。彼女の言葉は次世代のプログラマーたちに伝わり、JITの魔法の本は永遠に受け継がれていくのでした。 前回のあらすじ。 Python count
記事中で「オブジェクト指向」という言葉を使っていますが、決して「オブジェクト指向」で実装を進めているわけではありません。あくまでもオブジェクト指向の一部の考え方を参考に、DS職のコーディングを考えるという立ち位置です。本来のクラスの使い方として適切である保証はなく、「一つの実現方法の紹介」である旨ご了承ください。 多くのDS（データサイエンス）職が書くソースコードは、そのままプロダクトに載せることが難しいものが多いです[3]。この理由は、DS職に求められる成果物や職掌がプロダクト開発チームなどとは異なるからであり、ある程度は仕方がないと認識しています。しかしながら、開発したアルゴリズムや機械学習モデルをプロダクトに載せたり、分析コードを他人[4]に引き継いだりする際には、「良いコード」で実装されているに越したことはありません。DS職の人が「良いコード」を書くためにはどうすれば良いかを考え続
2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
はじめに 前回は、非常に小さなレトロ風RPGの、バトル画面を作りました。今回は、Pythonのクラスと、Pygameのスプライトについて学びます。 クラスとインスタンス クラスは多くのプログラミング言語に存在している仕様です。Pythonにもクラスがあります。クラスはデータと処理をまとめてグループ化できる仕組みです。他にも便利な仕組みを持っています。 クラスは整数やテキストなどと同じような「型」になります。そして、クラスという設計図のようなものから、インスタンス（実体）と呼ばれるオブジェクト（物）を作ることができます。 クラスとインスタンス 実際にどのようなものか、Pythonのプログラムで見てみましょう。class_1.pyというファイルを作り、プログラムを書いて実行します。 class Chara: # コンストラクター、第一引数はself def __init__(self, nam
![[YOLOv8] 生産ラインを流れるアヒルを追跡して数をかぞえてみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/fa51b5fb709720da9a35a236232e1a1608b87f14/height=288;version=1;width=512/https%3A%2F%2Fdevio2024-media.developers.io%2Fimage%2Fupload%2Fv1721019748%2Fuser-gen-eyecatch%2Fpjpa0phxmssrjvp1flvq.png)
読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。
ジムの会員管理システムを作った僕に「エニタイムフィットネスみたいなことがしたい」とジムを家族経営するお客さんから相談された。 「えっ！？会員管理を作ったついでにエニタイムフィットネスみたいな仕組みをやりたい！？予算は無い！？不正防止のため、入退室時の写真も撮りたい？！ログもとりたい！？」 さすが筋トレに明け暮れてるオーナーさんの要望はマッチョだと思った。 普通にやれば電子錠の仕組みや工事やらで一店舗あたり数百万から一千万掛かるような仕組みだろう。 そんな予算無いみたいだし、既存の店舗をそんな大々的に工事もできない。そもそも自分にそんな工事の知識もない。 結果Raspberrypiを使い、それを一店舗予算10万円代で実現、会員カードを他店舗と共有した24時間営業にできた。 その詳しい技術的な内訳を共有する。 （なお執筆時点では２０２４年だが、これ自体は５年前、２０１９年の仕事である。） 前提
読み飛ばしてください おはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。 なんだこれ。 というわけでまとめてみました。 参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。 そんなあいつには裏技があるみたいです。 デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで 変数名とその値を同時に表示できるらしい。
Learn how to measure the impact of the Python GIL on application latency using eBPF
Free-threaded CPython is ready to experiment with | Hacker News
Really excited for this. Once some more time goes by and the most important python libraries update to support no GIL, there is just a tremendous amount of performance that can be automatically unlocked with almost no incremental effort for so many organizations and projects. It's also a good opportunity for new and more actively maintained projects to take market share from older and more establi
Free-threaded CPython is ready to experiment with!Published July 12, 2024 First, a few announcements: Yesterday, py-free-threading.github.io launched! It's both a resource with documentation around adding support for free-threaded Python, and a status tracker for the rollout across open source projects in the Python ecosystem. We hope and expect both of these to be very useful, with the status tra
Pythonが遅い理由とその対策 - Qiita
はじめに Pythonは柔軟性が高く、初心者にも適したプログラミング言語ですが、その一方で速度面では他の言語に劣るとされています。本記事では、先月ピッツバーグで開催されたPyCon US 2024で紹介されたPythonの高速化技術について詳しく解説します。 Pythonの速度問題 「Pythonはランタイムにコストを払う」という古い格言が示す通り、Pythonは解釈型言語であり、実行時に多くの処理を行うため速度が遅くなることがあります。Pythonはソースコードを効率的なバイトコードに変換し、それを直接実行することで動作します。このプロセスには多くの間接処理が含まれ、単純な命令でさえも多数のCPU指示に分解されます。例えば、二つの数値を足すだけでも500以上の命令が実行されることがあります。 高速化のためのコンパイル技術 Cythonによる最適化 PyCon 2024でのSaksham
GitHub - darrenburns/posting: The modern API client that lives in your terminal.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[B! togetter] アメリカのVTuberさんが『日本人はカスコー(Costco)のことをコストコって言うんやで 発音かわゆす』みたいなお話をなさっていた「tを読まないんか」 このブコメに「NISAも英語読みならniceのようにナイサと呼ぶべき」というものがあり、それは違うんじゃね？ と直感的には思ったものの、そんなに説明できる感覚でもないなと思ったので調べてみた。 結論としては「ニーサ」で問題はないだろうと思う。 英単語を構成する文字のうち子音をC、母音をVで表すことにする（一般的な表記のようです）。ここでは「CiCeという形で表される英単語のiにおける発音のルールが、CiCaという形式にも適用されるのか？」という疑問に否定的な回答をしたい。 そのために、 まずCiCaの形（NISA）をとる既知の英単語における "i" の発音がどのようであるか、 その後、CiCeの形（nice）
Pythonだけでフロントエンド経験ゼロから爆速でGUIアプリケーションを構築する【Flet】 - アダコテック技術ブログ
こんにちは！AIエンジニア兼バックエンドエンジニア兼プロダクトオーナーを担当している植草です！ 突然ですが、皆さんPython使っていますか？画像処理や機械学習を実装する場合、ライブラリが充実しているPythonはサクッと実装できて便利ですよね。Pythonだけで良い感じのGUIを構築できる Flet を紹介します！ 3行で FletはPythonでイケてるGUIを手軽に作成できるライブラリだよ Pythonなので、潤沢な機械学習や画像処理のライブラリの恩恵をフルに得られるよ FletとRembgというライブラリを使ってAI（学習済みモデル）を用いた簡単なGUIアプリを作る例を紹介するよ はじめに: Fletとは？ flet.dev FletはPythonでGUIを構築できるライブラリです。私が触ったことのあるライブラリは PySimpleGUI Streamlit Flet の3種ですが
「Rust」が初めて13位に上昇、「Python」は首位を独走 2024年7月版プログラミング言語人気ランキング
ソフトウェア品質の評価と追跡を手掛けるTIOBE Softwareは、2024年7月版の「TIOBEプログラミングコミュニティーインデックス」（通称「TIOBEインデックス」）を発表した。TIOBEインデックスは、プログラミング言語の人気を示す指標で、同社が毎月1回更新している。 レーティングと順位 2024年7月のランキングでは「Python」が16.12％のレーティングで首位を堅持し、6月に「C」を抜いて史上初めて2位につけた「C++」が、引き続き2位を占めた（10.34％）。Cは7月も3位となった（9.48％）。 4～6位は2023年7月以降、順位変動がなく、「Java」（8.59％）、「C#」（6.72％）、「JavaScript」（3.79％）と続いた。 上位20言語のレーティングの前年同月との変動を見ると、1ポイント以上の上昇を示したのは、Python（2.70ポイント増）と「
Reliable crawling 🏗️Crawlee won't fix broken selectors for you (yet), but it helps you build and maintain your crawlers faster. When a website adds JavaScript rendering, you don't have to rewrite everything, only switch to a browser crawler. When you later find a great API to speed up your crawls, flip the switch back. Crawlee is built by people who scrape for a living and use it every day to scr
Python is a wonderful programming language. I’ve used it to build webapps, deep learning models, games, and do numerical computation. However there is one aspect of Python that has been an inexcusable pain-in-the ass over many years. That would be the fragmented Python package and environment management ecosystem, succinctly represented by the following XKCD comic: You see, a lot of other programm
GitHub - incidentalhq/incidental: An opensource incident management platform integrating with Slack.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GENIAC: 172B 事前学習知見
はじめに 東京工業大学の藤井です。 今回は、GENIACにてNII 国立情報学研究所が現在(2024/7/1)も学習している172Bモデルに関連した事前学習パートに特化した学習知見について共有させていただきます。 この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の助成事業（JPNP20017）の結果得られたものです。 GENIACプロジェクトにおける分散学習環境の整備に関しても同様に記事を作成しています。 ぜひご覧ください。 LLMの学習 大まかにLLMを作成するための手順を下記に記しました。 今回は、これらの中でも特に"事前学習"に焦点を絞って知見の共有を行います。 現在の学習状況 まず、GENIACで学習しているモデルの現在の学習状況についてです。 2024/06/30現在、約1.45 T Token(1.45兆トークン)を事前学習にて学習済みです。 以下がそ
金融機関の仕事したら、パソコンになんも追加できなくてpythonを封じられて、パワーシェル使ってる→「PowerShellも結構無茶が出来る」
けいさん＠なにかわからない @kihonkei 元メーカー：開発者→アーキテクト→技術調査 今どっかの会社：アーキテクト 投資とポイ活ガチ勢 不動産好き (普通に絡んでくれたらだいたいフォロバします) けいさん＠なにかわからない @kihonkei さすが金融 パソコンになんも追加できん pythonを封じられて、はじめてまともにパワーシェルプログラミングしたわ エディタも追加できんのきちぃわ
オープンソースの力で #安野たかひろ が YAML に Python を書きまくらない都知事候補になれた話｜banbiossa
こんにちは、安野チーム技術班の志水です。 表題の通り、オープンソース（とXのバズ）のおかげで公開しているマニフェストの技術部分をアップデートできたお話を共有します。 CI上のレビュー機能今回の都知事選において安野チームではGitHub上でマニフェストを公開し、広くIssueやPRを募っています。その議論をスムーズに行うため、似たようなIssueをまとめたり不適切な画像や投稿をcloseするためのCI(GitHub Actionsのworkflow)が設定されていました。 Xのバズこのworkflowに言及したポストがバズりました。
Version 1.91 is now available! Read about the new features and fixes from June. June 2024 (version 1.91) Downloads: Windows: x64 Arm64 | Mac: Universal Intel silicon | Linux: deb rpm tarball Arm snap Welcome to the June 2024 release of Visual Studio Code. There are many updates in this version that we hope you'll like, some of the key highlights include: Preview: Incoming/Outgoing changes graph -
class DBClient: PATH = 'hoge/fuga' @classmethod def insert(cls, recs): for rec in recs: # ここでは仮でprintするだけとする print(f"PATH: {cls.PATH}, name: {rec['name']}, age: {rec['age']}") records = [ {"name": "Taro", "age": 20}, {"name": "Jiro", "age": 18}, {"name": "Saburo", "age": 12} ] DBClient.insert(records) import dataclasses from typing import Final @dataclasses.dataclass class Record: name: str age: i
Pythonのif文やfor文の終わりを明示せずにインデントに意味を持たせる記法、いつまで経っても慣れない話→インデントと視認性について賛否両論
ミック @copinemickmack Pythonのif文やfor文の終わりを明示せずにインデントに意味を持たせる記法、いつまで経っても慣れないな…これ視認性悪くてバグの温床だと思うんだけど、みんな平気なん？
概要 Anthropic 社の生成 AI サービスである Claude から Projects という機能が新しく公開されました。今回は、この Projects に特定のライブラリのリファレンスをコンテキストとして入れ、そのリファレンスをもとにこちらの質問に回答できるのかを試してみます。 モチベーション 多くの IT エンジニアがコーディング作業で ChatGPT や Claude , Gemini などの生成 AI を活用しているかと思いますが、 新しくリリースされたライブラリやリポジトリを利用する場合、生成 AI に質問をしても適切に回答してくれないことが多いです。また、活発に開発が行われているライブラリの場合、生成 AI に質問をしても回答内容が最新のものではないということも多々起こります。 このような場合に、新機能である Projects にライブラリのリファレンスの情報を与え、質
プログラム、下から作るか？上から作るか？
TL;DR プログラムは「下から組む方法」と「上から組む方法」がある プログラムを組む時は少しずつテストしながら組む はじめに なにかゼロからプログラムを組むとします。そのプログラムのアルゴリズムや、何をやるべきかはなんとなくわかっているけれど、どこから手をつけてよいかがわからず、ChatGPTに全部書かせて、その後修正できずに困る、という事例を何度か観測しています。 プログラムをゼロから書くのは慣れが必要です。プログラムをゼロから書く場合、小さな部品を一つ一つ作っていって、最後にそれらを組み上げる「下から書く」方法と、「こういう関数が必要であるはず」と外枠から書いていって最後に中身を埋める「上から書く」方法があります。その一般論を論じるのは私の能力を超えるため、以下では「下から」と「上から」の例を挙げて、その「気持ち」を説明してみようと思います。言語はなんでも良いですが、ここではPyth
しょーもない事務作業を快適にするためのツールを作りたいとき 〜セキュア意識の高い会社編〜 - Qiita
Pythonインストールできないんだけど！ なんかいつもこれ同じ作業してるよな、自動化出来ないかな…よしやったる！ ↓ みんなー！こんなツール作ったよー、使ってみてー！ ↓ そして起こる「ちょっと、俺、.pyとかいう拡張子使えないんだけど」の声。 会社のPCって外部のアクセス禁止だったり新規ソフトウェアのインストール制限があったりと、色々制約がありますよね。この制約のせいで、作ったはいいが使えなかった、みたいな理不尽なハマり方したり、一方で試してみたら意外とこれ動いちゃうんだ！？みたいなこともあったりするので、ここではそんなずる賢い業務改善を必死に考える社員のみんなに、どれでやれば利用可能なツールづくりができるのか、その選択肢を載せていくよ。 Python + exe化ツール(Pyinstaller) やっぱ中身含めてファイル操作系でちょこちょこやるならPythonが楽だよね。ただ、Pyt
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2024年版のDockerfileの考え方＆書き方 | フューチャー技術ブログ
Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化
オブジェクト指向に学ぶデータサイエンスのコーディング術
ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
【作って学ぶPython】クラスとスプライトを学んでメンテナンスしやすいコードを書こう！
ローカルLLMでzoltraakを動かせるか検証してみた
[YOLOv8] 生産ラインを流れるアヒルを追跡して数をかぞえてみました | DevelopersIO
「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita
多店舗展開するジムの会員入退室管理を材料費数万円で実現し、２４時間営業にした話
「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita
Instrumenting Python GIL with eBPF
Free-threaded CPython is ready to experiment with!
Rye × uvでPython環境と機械学習環境を整える
「Python Editor」が「Excel Labs」を卒業、新しくなって「Excel」にビルトイン／「Microsoft 365 Insider」のBetaチャネルで先行体験
NISAは「ニーサ」なのか「ナイサ」なのか - 詩と創作・思索のひろば
Crawlee for Python · Fast, reliable crawlers.
Python has too many package managers
Python対応を強化した「Visual Studio Code 1.91」がリリース ～2024年6月更新／「プロファイル エディター」などの実験的機能にも注目
Visual Studio Code June 2024
Python業務歴1年目から5年目でコードはこう変わった - Qiita
Pythonで作ったコンソール上で動くライフゲーム#3 - Qiita
Web上のPython実行環境「Google Colab」の有料プランが組織単位で導入可能に／
Pythonの爆速化！ ピュアPythonに組み込まれている機能でコードの最適化を実現するには
Claude の Projects にライブラリのリファレンスを丸ごと入れてみる - Qiita