[B! memory][Python] raimon49のブックマーク

raimon49 id:raimon49

memoryとPythonに関するraimon49のブックマーク (10)

PEP 703 - 兼雑記
https://peps.python.org/pep-0703/ Python の GIL 外す話。これすごく楽しい読みものでした。参照カウントのところが一番人気だと思うのですが、他のところも色々良い。こういう、﹁んーこういうことするとこういう問題が起きない？﹂と思ったら次の章くらいでそれが説明される、みたいな読みものは大変好きです参照カウント: オブジェクトっていうのは作ったスレッドが解放するというのがほとんどなんだから、その場合はロックをいらなくする、他に渡ったら普通の参照カウントぽくする、という話。 Swift に 2018 年に導入された話らしい。他のスレッドに渡された後でDECREFすると他スレッド用の参照カウントが負になりうるのだけど、その時に queue に入れるということをして、ややこしいので、なんかこれ無しですむ方法はないのかなぁ……とImmo rtalize
raimon49 2023/08/27
C

GC

Python

Thread

memory
リンク
プログラミング言語の未来はどうなるか | κeenのHappy Hacκing Blog
κeenです。最近JEITAのソフトウェアエンジニアリング技術ワークショップ2020に参加したんですが、そこで五十嵐先生、柴田さん、Matzとパネルティスカッションをしました。その議論が面白かったので個人的に話を広げようと思います。年末年始休暇に書き始めたんですが体調を崩したりと色々あって執筆に時間がかかってしまいました。時間を置いて文章を書き足していったので継ぎ接ぎ感のある文体になってるかもしれませんがご容赦下さい。というのを踏まえて以下をお読み下さい。いくつか議題があったのですが、ここで拾うのは一番最後の﹁プログラミング言語の未来はどうなるか﹂という話題です。アーカイブが1月末まで残るようです。もうあと数日しかありませんが間に合うかたはご覧下さい。そのとき各人の回答を要約すると以下でした。五十嵐先生‥DSLを簡単に作れる言語というのが重要。それとプログラム検証、プログラム
raimon49 2021/01/27
obj.method()形式のオブジェクト指向っぽいメソッド呼び出しはIDEなどが補完するタイミングを読み取るのに優しいから生き残るっていう考察がとても面白くて腹落ちした。

IDE

GC

Go

Python

Ruby

Rust

TypeScript

design

memory

programming
リンク
PHPとPythonとRubyの連想配列のデータ構造が同時期に同じ方針で性能改善されてた話 - hnwの日記
PHPとPythonとRubyの連想配列のデータ構造がそれぞれ4〜5年ほど前に見直され、ベンチマークテストによっては倍以上速くなったということがありました。具体的には以下のバージョンで実装の大変更がありました。 PHP 7.0.0 HashTable高速化 (2015/11) Python 3.6.0 dictobject高速化 (2016/12) Ruby 2.4.0 st_table高速化 (2016/12) これらのデータ構造はユーザーの利用する連想配列だけでなく言語のコアでも利用されているので、言語全体の性能改善に貢献しています1。スクリプト言語3つが同時期に同じデータ構造の改善に取り組んだだけでも面白い現象ですが、さらに面白いことに各実装の方針は非常に似ています。独立に改善に取り組んだのに同じ結論に至ったとすれば興味深い偶然と言えるでしょう2。本稿では3言語の連想配列の従来実
raimon49 2021/01/10
C

CodeReading

CPU

PHP

Python

Ruby

algorithm

memory

performance

programming
リンク
python自習テキスト [kirinwiki]
このコンテンツを更新しなくなって久しく、さらにレンタルサーバーのPHPもずっと古いバージョンを使うわけにいかず、従来のdocuwikiを使うのをやめました。全ての内容を静的なHTMLにするのが割と手間なため、手抜きとして、ここの表紙以外をPDFに直してしまいました。これで保存します。python2用なので利用価値もすでに少ないですけどね。っていうか、実際は動物さんイラスト集サイト。pythonの話はオマケ。スクリプトが書けると、多分どっかで何かの役に立ちます。決まりきった仕事をチマチマと手作業でやるような場面で、スクリプトを上手に書けると劇的に楽になったりすることもあります。筆者自身がそういう経験を持っているので、他にも同じようなことができる人が現れてほしい。こういった動機で、習得用のテキストをポチポチと書き続けています。興味はある(or必要に迫られている)んだけど、本当に何も知ら
raimon49 2018/11/17
yield文について、ティッシュを1枚ずつ取り出すのと束で取り出すメタファーでリソース効率を、バケツリレーのメタファーでコルーチンを解説。

Python

memory

performance

programming

study
リンク
Pythonに咬まれるな : 注意すべきセキュリティリスクのリスト | POSTD
Pythonは、習得が容易で、より大きく複雑なアプリケーションの開発にすぐに適用していけることから、コンピューティング環境に広く普及し、勢いを強めています。ただ、あまりに明瞭で親しみやすい言語なので、ソフトウェアエンジニアやシステムアドミニストレータが警戒を解いてしまい、セキュリティに重大な影響を及ぼすコーディングミスを誘発する可能性はあるかもしれません。主に、初めてPythonを使う人を対象とするこの記事では、この言語のセキュリティ関連のクセに触れます。ベテラン開発者にとってもその特異性を意識するきっかけになればと思います。入力関数 Python2に多数存在するビルトイン関数の中で、 input はセキュリティの面で完全に難点です。この関数をひとたび呼び出すと、標準入力から読み込んだものが即座にPythonコードとして評価されます。 $ python2 >>> input() dir
raimon49 2017/03/20
半分くらいはメタプログラミングの話だった。

Python

Security

UNIX

Windows

memory

metaprogramming

sh

study

あとで読んだ
リンク
ソシャゲエンジニアの自分がコードレビュー時に重視する箇所33選【随時追加】 - Qiita
コードレビューで土日に安寧をソーシャルゲームは、ユーザアクセス集中と、それに伴うユーザデータ増加によって劇的に負荷が上がり、︵主に土日に︶サービスに影響を与えがちです。問題があるコードは、たとえ負荷テストを行っても、作成したシナリオによっては見つけられない可能性もあります。そういった見えない不安を払拭するという意味でも、コードレビューは重要だと思っています。︻ステキポイント︼・ソースを見ることにより、時限爆弾が土日に爆発するのを解除・スキル共有によってメンバーがレベルアップすることにより、土日に爆発する時限爆弾の設置確率低下まぁまとめるとこれに尽きます︵4歳の息子談︶今は、gitのプルリクエストという強力なレビューツールもあり、敷居がかなり低くなったのでオススメです！チェックするポイントは5つコードレビューを行うにあたり、﹁どんなところをチェックすればいいのか分か
raimon49 2016/04/08
いずれも妥当だし、こういう風に自分が何に着目してレビューしてるか言語化できるスキルって大事。見習いたい。

CodeReview

MySQL

Python

Redis

SQL

design

guideline

memory

performance
リンク
最も重要なプロダクション・コードにLuaを使う : PythonからLuaへの移行 | POSTD
Distelli Agentは今、実行ファイルを1つダウンロードするだけで簡単にインストールできます。この実行ファイルを使うと、適切な管理プロセスを持つエージェントをインストールしたり、新規にリリースしたものをアップロードしたりできるようになります。また、このエージェントはプラットフォームを問わず利用可能で、わずかな容量のCPUやメモリフットプリント︵1パーセント未満のCPU使用率、10メガバイト以下のメモリ︶で動作します。私たちは、上記のパフォーマンスをある程度信用した上で、PythonからLuaに移行することにしました。 Pythonで挑む私がDistelliに入社したのは、2014年の12月のことです。当時、Distelli Agentやコマンドラインツールは、システムで標準となっているバージョンのPython︵サポートバージョンは2.4から2.7︶を使う数個のターボールとして実
raimon49 2016/02/16
C

Lua

Python

memory

performance
リンク
Pythonで__slots__を使ってメモリを節約 - 西尾泰和のはてなダイアリー
先日こんな実験をして、大量のオブジェクトを作った時にはそのオブジェクトが持っている__dict__の1048バイトが無視できなくなってくることを確認した: Pythonでメモリ消費量のプロファイルを取る今日はその解決編。先日のコードに1行書き足してみよう。__slots__で始まる行がそれだ。 from guppy import hpy h = hpy() N = 100000 class Hoge(object): __slots__ = ['x', 'y', 'z', 'a', 'b', 'c'] def __init__(self): self.x = 1 self.y = 1 self.z = 1 self.a = 1 self.b = 1 self.c = 1 x = [Hoge() for x in range(N)] print h.heap() これによって、変更前ではH
raimon49 2012/10/21
暗黙の辞書が__slots__になるだけで全然違う

Python

performance

memory
リンク
__del__, gc, 循環参照, weakref
2010年11月22日公開 Python の __del__ メソッド、ガベージコレクタ、循環参照、そして弱参照についての解説と考察。参照カウンタ __del__ __del__ の落とし穴循環参照 __del__ の落とし穴考察 __del__ を使わない循環参照を確実に避けることはできる？弱参照 weakref モジュールを利用したハックいったいいつ __del__ を使うのか参考文献事項参照カウンタ C/C++ では、malloc を使って確保したメモリや new で作成したオブジェクトについては、必ず対応する free / delete を呼ばなければならない。これを忘れるといつまでも解放されないメモリがプログラムの生存期間中居残ることになる。これをメモリリークと呼ぶ。メモリリークがあると、確保されたままになったメモリがOSや他のプロセスを圧迫して、システム全
raimon49 2012/10/13
__init__で例外が発生するようなシチュエーションでは__del__の呼び出しは保証されない。del(obj)した時も参照カウントが1減るだけで、即時の呼び出しは保証されない。

GC

Python

programming

study

memory
リンク
より良いPythonとして歩みを始めたPython 3.3 | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。免責事項プライバシーポリシー Python3を﹁使わない﹂理由というのが実はいくつかある。たとえば対応しているフレームワークとかモジュールが少ないとか，そもそも2との互換性が崩れてるとか。対応モジュールやフレームワークはかなり増えてきたし，Python3の情報もそこそこ出そろってきた。3.0がリリースされて4年弱経ち，この2点は大きく改善され，今ではあまり気にする必要はなくなっていると思う。3を使わない理由が実はもう一つ﹁あった﹂。そしてこれは，個人的に最も気になっていたことなんだけど，Python3は，2に比べてメモリ消費量が多くなっている。一番大きな原因は，str型(文字列型)がユニコードベースになっ
raimon49 2012/10/04
Python

performance

memory
リンク
1