[B! Python] blogger323のブックマーク

PythonでOpenCV基礎と衛星データ解析を学べる無料講座が公開 | Ledge.ai

サインインした状態で「いいね」を押すと、マイページの「いいね履歴」に一覧として保存されていくので、再度読みたくなった時や、あとでじっくり読みたいときに便利です。

blogger323 2024/05/20

Python
AI

リンク

pythonのsubprocessを使ったあれこれあるいはsubprocess.runのすすめ - podhmo's diary

はじめに pythonでsubprocessを使ってあれこれする方法をイディオム的に覚えておくと便利なのでまとめておく。できること︵やろうとしていること︶は以下 stdoutを文字列として受け取る文字列をstdinとして渡す stdoutをiteratorとして受け取る (その前に) subprocess.run その前に何はともあれ注意事項を。なるべく使えるなら subprocess.run() を使ったほうが良い。つまり、はじめに run() で書くことを考えてダメそうだったら他の方法を考えるという手順で付き合う感じ。 https://docs.python.org/ja/3/library/subprocess.html#using-the-subprocess-module よりサブプロセスを起動するために推奨される方法は、すべての用法を扱える run() 関数を使用する

blogger323 2024/01/26

Python

リンク

Python初学者のためのPolars100本ノック - Qiita

Information 2024/1/8‥ pandas , Polars など18を超えるライブラリを統一記法で扱える統合データ処理ライブラリ Ibis の100 本ノックを作成しました。長期目線でとてもメリットのあるライブラリです。こちらも興味があればご覧下さい。 Ibis 100 本ノック https://qiita.com/kunishou/it ems/e0244aa2194af8a1fee9 はじめにどうもこんにちは、kunishouです。この度、PythonライブラリであるPolarsを効率的に学ぶためのコンテンツとして﹁Python初学者のためのPolars100本ノック﹂を作成したので公開します。こちらは2020年9月に公開した﹁Python初学者のためのpandas100本ノック﹂の問題内容をPolarsのメソッドに合わせて修正、再編したものになります。本コンテン

blogger323 2023/11/20

Python

リンク

pandas vs polars vs cudf 速度比較 - ざこぷろのメモ

環境 CPU : Ryzen 7 3700X GPU : RTX3090 OS : Windows11 / WLS2(Ubuntu 20.04) (GPUとCPUのスペック差ありすぎだろというのは承知してますが、許してください。) ライブラリ pandas : 1.3.5 polars : 0.15.16 cudf : 21.10.01 定義カテゴリ_カラム数‥groupbyやmergeで使うkeyの数(※行数が増えるとカテゴリの数は増えます。) 集計先_カラム数‥上記のカラム以外のカラムの数。groupbyなどで平均値などが算出されるカラム比較 groupby 行数の変化コード例 df.groupby(['Category']).mean() カテゴリ_カラム数‥1固定集計先_カラム数‥1固定行数 pandas polars cudf 10000 0.002895 0.0031

blogger323 2023/02/13

Python

リンク

「Python」と「Google Colaboratory」で株価データ分析に挑戦

﹁Python﹂と﹁Google Colaboratory﹂で株価データ分析に挑戦‥﹁Python﹂×﹁株価データ﹂で学ぶデータ分析のいろは︵1︶日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。第1回はPythonを実行する環境とデータの前準備について。はじめに連載第1回は﹁Google Colaboratory﹂でサンプルプログラムを実行するための環境を用意する方法や利用するPythonのライブラリを説明します。﹁Google Chrome﹂と﹁Googleアカウント﹂を用意して読み進めてください。なお、連載の趣旨がデータ分析であるため、Pythonの言語仕様や文法の詳細を割愛する場合があることをご了承ください。 Google Colaboratoryの準備 Google Colaboratoryとは、Googleが提供するブラウザ上でPy

blogger323 2022/09/14

Python
ML

リンク

pandas でメモリに乗らない大容量ファイルを上手に扱う - StatsFragments

概要分析のためにデータ集めしていると、たまにマジか！?と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。サンプルデータたまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas のRemote Data Access で WorldBan

blogger323 2022/09/14

Python

リンク

wheelのありがたさとAnacondaへの要望 - YAMAGUCHI::weblog

はじめにこんにちは、Python界のラファエル・ナダルです。全豪オープンテニス、盛り上がりましたね。さて、先日次のようなエントリーを立て続けに書いたんですが、﹁なぜAnacondaに関しての記述がないのか﹂という突っ込みをもらったので、参照用にメモを残しておきます。 Pythonの仮想環境構築 2017.01版 - YAMAGUCHI::weblogPythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください 2017.01 - YAMAGUCHI::weblogなおこの記事の作成にあたっては @aodag に数多くのアドバイスをいただきました。この場を借りて感謝。 TL;DR condaの開発者はPyPAともっとコミュニケーションとってほしい。前提この記事はPythonを触り始めたばかりだけど、パッケージ管理ツール等々のスタンダードがどのようになっているかな

blogger323 2021/04/01

Python

リンク

pipとpipenvとpoetryの技術的・歴史的背景とその展望 - Stimulator

- はじめに - Pythonのパッケージ管理ツールは、長らく乱世にあると言える。特にpip、pipenv、poetryというツールの登場シーン前後では、多くの変革がもたらされた。本記事は、Pythonパッケージ管理ツールであるpip、pipenv、poetryの3つに着目し、それぞれのツールに対してフラットな背景、技術的な説明を示しながら、所属企業内にてpoetry移行大臣として1年活動した上での経験、移行の意図について綴り、今後のPythonパッケージ管理の展望について妄想するものである。注意‥本記事はPythonパッケージ管理のベストプラクティスを主張する記事ではありません。背景を理解し自らの開発環境や状態に応じて適切に技術選定できるソフトウェアエンジニアこそ良いソフトウェアエンジニアであると筆者は考えています。重要なポイントのみ把握したい場合は、各章の最後のまとめを読んで頂

blogger323 2021/03/31

Python

リンク

時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ

本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。目次利用データライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Dartsまとめソースコードこのブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。作成したランダムなデータよりも実データのほうが予測をしている感があるからです。予測に使うデータはwalmartの売上データです。下図はその

blogger323 2020/07/20

Python

リンク

新型コロナウイルス感染者数を数理モデルで推定 - 四谷ラボ公式ブログ

お詫びと訂正本記事で、数理モデルによる新型コロナウイルス感染者数の推移の分析において、感染者数の計算に不備があることが、ユーザーの方からのご指摘で分かりました。このため設計通りの分析結果が得られていない状態で情報を提供しておりました。私たちが直面している、非常に関心の高い内容にも関わらず、十分な検証を実施せず情報提供をしていましたことを深くお詫び申し上げます。申し訳ございません。感染者数の計算処理を修正し、分析結果、グラフ及びプログラム（github）を訂正致しました。また、タイトルとサムネイルだけをご覧になって、誤解される方もいらっしゃるかもしれませんので、数理モデルが推定した収束時期は削除しました。さらに、感染者データのCSVファイルが更新されていましたので、3月11日までの感染者数データをダウンロードして使用しています。お気づきの点等ございましたら、ご指摘いただければ

blogger323 2020/03/02

Python

リンク

How slicing in Python works

The syntax is: a[start:stop] # it ems start through stop-1 a[start:] # it ems start through the rest of the array a[:stop] # it ems from the beginning through stop-1 a[:] # a copy of the whole array There is also the step value, which can be used with any of the above: a[start:stop:step] # start through not past stop, by step The key point to rem ember is that the :stop value represents the first valu

blogger323 2019/10/24

Python

リンク

Pythonでメール送信する | 森の人ブログ

東京でも夏日を記録するなど、春を通り越してしまいそうな勢いですね。気づけば、もう4月も中旬。早いものです。4月初旬のマスターズゴルフを見て、パトリックリードやリッキーファウラーになった気分で早速ラウンドしてきましたが、ま、見るだけで上手くなったらライザップもゴルフをビジネスにしませんね。笑天気には恵まれて気持ち良くプレーはできましたが、スコアは相変わらずボロボロでした。。さて、ゴルフの話はまたにして、今日はpythonでちゃちゃっとメール送信してみます！まず前提として、pythonをインストールしてください。こちらに各環境でのpythonのインストール方法が丁寧に載っているので参考に。 https://www.sejuku.net/blog/33294 で、早速コードを。 # coding:utf-8 import smtplib from em ail.MIMEText i

blogger323 2019/08/26

Python

リンク

condaとpip：混ぜるな危険 - onoz000’s blog

Anaconda環境下でpipを使う場合のリスクについて、日本語で書かれたページがほとんど見つからなかったので覚え書き。追記その２(2020-10-24) １年越しですが補足記事書きました。以下の内容には2020年には当てはまらないものもいくつかあるので、ご注意ください。追記 (2019-09-27) 予想以上にたくさんの方にこのエントリーを読んでいただけているようでありがとうございます。細かい表現を推敲したほか、Anacondaのドキュメントが全部リンク切れしていたので修正しました。また、SNS等での反応を見ていて一部誤解や認識違いがあるようなので後日補足エントリーを書こうと計画しています。余談なのですが、個人ブログの記事って結構怪しい情報が多いです。ググると個人ブログ︵とか各国のQ&Aサイト︶が上位に出てくることが多く、それを見て満足してしまうことも多いかと思いますが、︵私の記