[B! python] y-mat2006のブックマーク

y-mat2006 id:y-mat2006

pythonに関するy-mat2006のブックマーク (4)

Pandasのメモリ削減方法を整理した - Taste of Tech Topics
皆さんこんにちは機械学習チーム YAMALEXチームの@tereka114です。最近、寒いので、鍋を中心に食べて生きています。検証段階でも、規模の大きなデータを扱う機会が増えてきて、Pandasのメモリ消費量が厳しいと感じてきたので、その削減や効率化のテクニックまとめたいと思いました。有名なものからマイナーなものまで、思いつく限り書いてみます。そもそもなぜ、Pandasのメモリ削減技術が必要なのか準備 Pandasのメモリ削減 1. 型修正 2. 逐次読み込み 3. 読み込み時の型指定 4. 逐次読み込み＆集約 5. 不要なものを読み込まない 6. 不要なカラム／DataFrameを消す番外編‥そもそもPandasを利用しない最後にそもそもなぜ、Pandasのメモリ削減技術が必要なのか Pandasで扱うデータの多くのファイルはCSV,Parquet, JSON︵JSONL
y-mat2006 2022/12/13
あとで読むつもりだけど、積読になってしまうかも。

python

あとで読む
リンク
筑波大教授が著した無料の初心者向けPython教材「とてもわかりやすい」「素晴らしすぎる」 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの「いいね履歴」に一覧として保存されていくので、再度読みたくなった時や、あとでじっくり読みたいときに便利です。
y-mat2006 2022/02/17
英語の学習ネタとかといっしょで、Python勉強しなきゃと思ってる人がけっこういるんやろうなあ。ブクマするだけじゃなくて、自分で何かコーディングして動かしてみるのが吉かも。

教育

python
リンク
[janome 開発日誌] v0.4.0 をリリースしました（メモリ使用量の削減や Python2.7 サポート停止などなど） | by mocobeta | Medium
[janome 開発日誌] v0.4.0 をリリースしました︵メモリ使用量の削減や Python2.7 サポート停止などなど︶久し振りの，大型アップデート報告となります 🙌 v0.4.0 をリリースしました。今回はいくつかの Breaking changes と Behavior changes を含むため，マイナーバージョンを 0.4.0 に上げています。アップグレードの際は下記変更点の確認をお願いします。 Breaking changes Python 2.7 サポートの停止Python 2.7 サポートを停止しました。v0.4.0 では Python 3.6 以上のみサポートします。またこれに伴い，種々のリファクタリングを実施しました。ユーザーサイドでは，PublicAPI に Type Hint を導入したことで，開発時に IDE やエディタの型サジェストを受けられるように
y-mat2006 2020/08/31
内々のチームで使ってるツールを横展開するために最新の環境で動かそうとしたら、エラーでちょっとはまった。リリースドキュメントは良く読むべきもの。／Analyzerのポジション指定の引数がアウトになっていた。

Python

python

janome

自然言語処理
リンク
「実用的でないPythonプログラミング」がよかった - Stimulator
はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、﹁実用的でないPythonプログラミング﹂をひょんな事から献本していただく事になった。︵訳者が同僚である︶実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう!作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。書籍の概要﹁実用的でないPythonプログラミング﹂は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ
y-mat2006 2020/08/31
面白そう。役に立たないことが役に立つと言うのが、コンピュータ・サイエンスだけでなくエンジニアリング分野の面白い所だから。

python

読書
リンク
1

お知らせ

もっと読む

公式Twitter

@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
@hatebu
最新の人気エントリーの配信

キーボードショートカット一覧

j次のブックマーク

k前のブックマーク

lあとで読む

eコメント一覧を開く

oページを開く

設定を変更しましたx