[B! Python] nanakosoのブックマーク

nanakoso id:nanakoso

Pythonに関するnanakosoのブックマーク (20)

PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。最近この手の記事は多くあるものの﹁～してみた﹂から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。追記 2018/03/05‥ 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
nanakoso 2017/06/25
http

Python

NET

プログラミング
リンク
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記﹁Pythonクローリング&スクレイピング﹂という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日追記‥ この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新‥ デメリットを修正しました。以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ複数並行可能なRubyのクローラー、﹁cosmicrawler﹂を試してみた - プログラマにな
nanakoso 2017/02/12
スクレイピング

Python

webサービス

プログラミング
リンク
新人教育と（Javaと）Python
グリー社内勉強会「Mini Tech Talk」発表資料 20141031 Python & PyConJP 2014 Report / 亀井利光 & 中野和貴 ※「Mini Tech Talk」とは、グリー社内で毎週金曜のランチタイムを利用して開催されている技術勉強会です
nanakoso 2015/11/24
Python
リンク
JavaのTimSortがバグってる件について | さにあらず
Python で実装され、その後 Java にも移植されたソートアルゴリズムである TimSort が盛大にバグっていることが発見されました。このバグがどのようにして発生するのかについては、以下のドキュメントを精査して下さい。 TimSort fails with ArrayIndexOutOfBoundsException on worst case long arraysOpenJDK’s java.utils.Collection.sort() is broken: The good, the bad and the worst caseどんなことが起こるのか#通常の利用では想定しえない場所でArrayIndexOutOfBoundsExceptionが発生します。例えば、以下のようなスタックトレースになります。 Exception in thread "main" java.l
nanakoso 2015/02/26
Java

Python
リンク
空想具現化プログラミング [Lua] スタックレスってどういうこと？
管理人︵はむ！︶は最近スクリプト言語Lua︵るぁ︶に入れ込んでいます。と思ったら﹁ARカプセル﹂とかやってます。 ※iPhoneの方は右上の﹁PC﹂ボタンでPC用表示のほうが良いと思います。 eguoさんの日記︵無断でアンテナ捕捉させて頂いてます m(_ _;m )でstackless pythonに触れているのを見て、そういえばスタックレスって何だっけな、と思って再度調査。まとめることにしました。MLなどを見ていると、Lua5.0(5.1)はスタックレス(stackless)であるそうです。Lua4.0はスタックレスではなく、Lua5.0でコルーチンを実装するためにスタックレスにしたのだそうな。参考までに、pythonは公式のものはスタックレスではなく、傍流であるstackless pythonはその名の通りスタックレスのようです。そんでそんで、スタックレスって結局何よ、というわけで
nanakoso 2013/03/08
コメント

Python
リンク
C vs Python vs Ruby vs Haskell（無意味な処理deベンチマーク） - しんちゃんの日記
﹁Haskell入門以前﹂のネタバレになってしまいますが、[ [1,2,3],[4,5,6],[7,8,9] ]を受け取って、各要素を反転させた[ [3,2,1],[6,5,4],[9,8,7] ]を受け取り、その最後尾の要素の最後尾︵このデータでは7︶を表示する処理を作り、なるべく大きなデータを渡して実行時間を計測してみました。︵自分のPCでは4000x4000のデータを渡してます︶ Haskellのコードは他の言語のコードとは全く違う発想で書かれています。どうして同じ結果になるかを考えてみたりすると関数型言語と手続き型言語の違いに気付くかも知れません。︵この辺が﹁Haskell入門以前﹂のネタバレ。気付けなかったら、﹁Haskell入門以前﹂と言う電子書籍がブクログのパブーより出てますので、読んでみて下さい︶まずは、各言語のコードを書きます。C言語 #include #incl
nanakoso 2012/11/16
Haskell

C

ruby

Python

プログラミング
リンク
やる夫と Python で学ぶ Twitter の OAuth - 宇宙行きたい
OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで1から書いてみました．／　　　　＼／　 _ノ　ヽ､_　＼／oﾟ(︵●︶) (︵●︶)ﾟo＼　twitter の OAuth 難しいお… |　　　　︵__人__︶'　　　　| ＼　　　　｀⌒´ 　　／＿＿＿_ ／⌒　　⌒＼／︵ ●︶　︵●︶＼／::::::⌒︵__人__︶⌒::::: ＼　　だからやる夫でやるお！ |　　　　　|r┬-|　　　　　| ＼　　　 `ー'´ 　　／ Python のサンプルコードを付けていますが，上から順に読めるようにおもいっきり手続き型で書いています．コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secretの入手／￣￣＼／　　　u　＼　　　　　.＿＿＿_ |:
nanakoso 2012/03/26
ネタ

プログラミング

Python

セキュリティ

twitter
リンク
PyPy 紹介
Introduction to JShell: the Java REPL Tool #jjug_ccc #ccc_ab4bitter_fox
nanakoso 2011/12/12
俺俺言語開発環境

Python

プログラミング
リンク
Twisted 入門 — Twisted Intro
Twisted 入門¶ この文書は krondoblog >> Twisted Intro の日本語訳です。この一連のチュートリアルでは、非同期プログラミングとネットワーク用フレームワークの Twisted を紹介します。目次:
nanakoso 2011/06/09
Python

Twisted

ライブラリ

プログラミング
リンク
PythonのGCについて
PythonのGarbageCollection 原文 Neil Schemenauer (翻訳：中村成洋）ポータブルなGarbageCollection 概要循環参照はリスト，タプル，インスタンス，クラス，辞書，関数に伴って見つかります．インスタンスの __del__ メソッドは正常に取り扱われます．新しいタイプをGCの対象に追加するのは簡単です．このGCが有効なPythonは，通常のPythonとバイナリ互換です．世代別GCが動いています（今は三世代）．このオーバヘッドをpybenchで測ったら，大体4%くらい占めていました．実質的に，すべての拡張モジュールは，不変に（私は，標準的な配布において新しいものとcPickleを修正しなければなりませんでした）ならなければなりません．gcと呼ばれている新しいモジュールは，コレクターを調整して，デバッギングオプションをセッ
nanakoso 2011/02/20
Python

アルゴリズム

GC

プログラミング
リンク
正規表現エンジンを作ろう（1）
はじめにこんにちは。hirataraです。私が初めて正規表現を使ったのは、PerlによるCGIでの文字列処理でした。それから私はPerlを使い続け、今では正規表現なしのコーディングは考えられないほど、正規表現を当たり前の機能として日常的に使っています。昔は標準では正規表現をサポートしていなかったJavaも、今では正規表現をサポートするようになりました。Javaだけではなく、今日ではほとんどの高級言語にとって、正規表現はなくてはならない機能であると言っても過言ではないほどメジャーな機能となっています。本記事では、この正規表現の舞台裏に光を当てます。一見すると作ることが難しそうな正規表現エンジンですが、その根底には数学的な概念があり、その概念さえ知っていれば基礎となる機能の実装はそんなに難しくありません。この連載ではその数学的な概念をPythonを使って表現しながら、実際に動作する正規表
nanakoso 2011/02/12
プログラミング

アルゴリズム

正規表現

Python

あとで見る
リンク
Pythonドキュメントの日本語訳のPDFがすごい - 偏った言語信者の垂れ流し
先日公開されたPythonドキュメントの日本語訳のPDFがすごい。なにがすごいって、ページ数が合わせて3000ページぐらいあるところが。ダウンロードファイル一覧 - Python Japanese Environment - OSDN いつもお世話になってます。ドキュメントの著者、翻訳者の方々に感謝。追記このPDFはSphinxというドキュメンテーションシステムを使って出力されてます。オリジナルはreStructuredTextという形式のテキストファイルです。 Overview — Sphinx 1.4.3 documentation Sphinx-Users.jp — Python製ドキュメンテーションビルダー、Sphinxの日本ユーザ会 Google Project Hosting
nanakoso 2011/02/09
Python
リンク
ICFP Programming Contest 2010 優勝 - 純粋関数型雑記帳
Pure Pure Code ++ Language: C++, Haskell, Python ... are the programming languages of choice for discriminating hackers. 今年のICFP Programming Contestにて優勝しました。（コンテスト中の様子は http://d.hatena.ne.jp/tanakh/20100702#p1 こちらにあります）一次ソース（http://www.icfpcontest.org/2010/）はまだ来ていませんが、今年のICFP@ボルチモアにて表彰されてきました。こちら（http://twitpic.com/2swi5c）に証拠写真がアップロードされています。 Our Score: 13597.354 Our Solved: 3451 Our Cars: 72 >=5
nanakoso 2010/10/09
Haskell

C++

Python

プログラミング

これはすごい
リンク
Pythonを使ってAndroid端末を5分でリモートカメラにする方法
Android端末をリモートカメラにしてしまう方法﹁Spycam﹂という記事経由でTurn your Android Phone Into a Remote Spy Camera withRuby in 15 Minutesを知った。SL4AのJRubyを使ってAndroid端末を15分で遠隔操作のスパイカメラにしてしまえるらしい。これは面白い。そこで、Rubyが15分ならPythonを使って5分でリモートカメラにしてしまおうと思い立った。まず、Pythonでは標準モジュールのSimpleHTTPServerやwsgiref.simple_serverを使って簡単にWebサーバを構築することができる。そしてSL4Aを使えばAndroid端末をそのままサーバとして起動させることができる。これを組み合わせればできたも同然だ。それで書いたのが以下のコードだ。10行そこそこでAndroid端
nanakoso 2010/09/14
android

Python
リンク
知らないと損をするよ！携帯Flash軽量化メモ〜デザイン編〜 | _level0 - KAYAC Front Engineer Blog
ごきげんよう、kijima(@otoyasumi)です。またまた今回もFlashLite1.1での携帯Flash開発tipsです。巷ではiPhoneアプリだのAndroidだのってときにこんなレガシーなテクニック紹介で心底申し訳ない。腹を切る振りをしてお詫び申し上げます。 AS2&3との違いや、FlashLite独自のひっかかるポイントなどの紹介に比べて、画像の最適化tipsなどは案外取り上げられないようなので、今回は﹁知らないと損をするよ！携帯Flash軽量化メモ〜デザイン編〜﹂と銘打ってお送りします。 PNG8 & JPEG 画像の書き出し時に注意すること携帯htmlの世界ではどうやらdocomoの一部機種にて PNG形式の画像が表示できないようですが、 Flash内に取り込んでしまえばそれも関係ありません。・透過させたい&ドット絵などをパキっと見せたい画像のときはP
nanakoso 2010/08/02
プログラミング

Scala

Clojure

Ruby

Python

perl
リンク
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
nanakoso 2010/03/25
PythonつかえＪａｖａならslim3使え

google

Python

Java
リンク
Java : Generator - lethevert is a programmer
PythonのGeneratorみたいなものをJavaで作ってみようと思った。Javaには本物のマルチスレッドがあるのだから、Generatorくらいは当然作れるのだけれど、いざちゃんと協調動作させようとすると上手く書けなくてあきらめる人とか多いのじゃないかとか思ったので。実装上は2つのスレッドを協調動作させているのだけれど、使っている側からは1つのスレッドが交互に制御を移しているような感覚で使えます。これがサンプルコード。public class GenMain{public static void main (String[] args) { Generator<String> g = new Generator<String>(new Call()); String s = "開始"; i = 0; do{ System.err.println(i); System.err.
nanakoso 2009/09/27
車輪の再発明したった

Java

Python

プログラミング

tips
リンク
Pythonのselfはなぜ必要かをJavaScriptのthisで考える - なんたらノート第三期ベータ
あなたがもしPythonを作る前のGuidoに憑依して - ネットリサーチ - livedoor ニュースが面白すぎた。2位と3位のすべてを式にする lambdaの構文を変えるは、同じ願いを別の言い方でしてるような気がした。lambdaにifとforを入れたいをかなえるには、ifとforを式にするか、lambdaに文が入るようにするか、どちらか一方だし。それはさておき、このエントリの本題は、﹁Pythonにはselfが要る﹂というGuidoさんの主張について、具体例で理解することです。﹁こうだったらいいのにな﹂逆の視点、もしselfがないとどう困るのか、を考えましょう。そこで、Pythonとは別の母親から産まれた双子、JavaScriptを例に、thisについて考えてみます。Pythonに対して、JavaScriptは﹁メソッド定義の第一引数に余分なアレがないこと﹂が特徴でしたね
nanakoso 2008/11/19
JavaScript

プログラミング

Python

OOP
リンク
TechCrunch Japanese アーカイブ » 体験ルポ「Google App Engineでアプリを作って公開してみた」
The European Space Agency selected two companies on Wednesday to advance designs of a cargo spacecraft that could establish the continent’s first sovereign access to space. The two awardees, major…
nanakoso 2008/04/09
プログラミング

webサービス

Python

これは便利
リンク
スペル修正プログラムはどう書くか
Peter Norvig / 青木靖訳先週、2人の友人(ディーンとビル)がそれぞれ別個にGoogleが極めて早く正確にスペル修正できるのには驚くばかりだと私に言った。たとえば speling のような語でGoogleを検索すると、0.1秒くらいで答えが返ってきて、もしかして: spelling じゃないかと言ってくる(YahooやMicrosoftのものにも同様の機能がある)。ディーンとビルが高い実績を持ったエンジニアであり数学者であることを思えば、スペル修正のような統計的言語処理についてもっと知っていて良さそうなものなのにと私は驚いた。しかし彼らは知らなかった。よく考えてみれば、別に彼らが知っているべき理由はないのだった。間違っていたのは彼らの知識ではなく、私の仮定の方だ。このことについてちゃんとした説明を書いておけば、彼らばかりでなく多くの人に有益かもしれない。Googleの
nanakoso 2007/04/28
プログラミング

Python

スクリプト言語
リンク
1