mrknのブックマーク - はてなブックマーク

PyConJP 2016: pandasでの時系列処理についてお話させていただきました - StatsFragments

21日、22日と PyCon JP に参加させていただきました。ご参加いただいた皆様、スタッフの皆様ありがとうございました。資料はこちらになります。 pandas による時系列データ処理 pandas を使った時系列データの前処理と、statsmodels での時系列モデリングの触りをご紹介しました。 speakerdeck.com 時系列モデルの考え方については全く説明していないので、以下書籍などをご参照ください。経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者: 沖本竜義出版社/メーカー: 朝倉書店発売日: 2010/02/01メディア: 単行本購入: 4人クリック: 101回この商品を含むブログ (6件) を見る元ネタ以下のエントリをベースに新しい内容を追加しています。 sinhrks.hatena blog.com 時系列モデルを含む Python パッケ

mrkn 2016/09/25

現地で最前列で見てましたが、pandas の便利さがとても良く伝わってきた発表でした。

pandas

リンク

Python pandas 日本語環境向けのちょっとしたパッケージ作った - StatsFragments

最近の空き時間は GitHub で草植えをしている。まずは pandas を日本語環境で使う場合にたまに必要になる処理をまとめたパッケージを作った。インストール pip install japandas 機能機能の一覧はこちら。日時処理日本語日付のパース日本の祝日カレンダー文字列処理 Unicode 正規化全角/半角変換リモートデータアクセス詳細はドキュメントを。 http://japandas.readthedocs.org/en/stable/ 日時処理日本語日付のパース pandas には日付らしい入力を適切に処理してくれる pandas.to_datetime があるが、これは日本語の日付 ( "XX年XX月XX日" とか ) に対応していない。例えば以下のような入力は日時としてパースされず文字列のまま残ってしまう。 import pandas as

mrkn 2016/09/22

名前がかわいい

pandas

リンク

Python pandas 欠損値/外れ値/離散化の処理 - StatsFragments

データの前処理にはいくつかの工程がある。書籍﹁データ分析プロセス﹂には欠損など前処理に必要なデータ特性の考慮とその対処方法が詳しく記載されている。が、書籍のサンプルはRなので、Python でどうやればよいかよく分からない。同じことを pandas でやりたい。データ分析プロセス (シリーズ Useful R 2) 作者: 福島真太朗,金明哲出版社/メーカー: 共立出版発売日: 2015/06/25メディア: 単行本この商品を含むブログ (2件) を見るとはいえ、pandas 自身は統計的 / 機械学習的な前処理手法は持っていない。また Python にはRと比べると統計的な前処理手法のパッケージは少なく、自分で実装しないと使えない方法も多い。ここではそういった方法は省略し、pandas でできる前処理 / 可視化を中心に書く。また、方法自体の説明は記載しないので、詳細

mrkn 2016/02/01

リンク

Python 次世代の多次元配列パッケージ群 - StatsFragments

このところ、たびたび NumPy 後継が...とか並列処理が...という話を聞くので、この秋注目の多次元配列パッケージをまとめたい。バックエンド系 NumPy のように数値計算処理を自前で実装しているパッケージ。 DyND Blaze プロジェクトのひとつ。C++ 実装 + Python バインディング。GitHub にいくつか Example があがっているが、複合型やカテゴリカル型、GroupBy 操作がサポートされていて熱い。ラベルデータも NumPy より簡単に実装できそうだ。 speakerdeck.com 並列分散系自身では直接数値計算処理を行わず、バックエンド ( 主に NumPy )を利用して並列/分散処理を行うパッケージ。1物理PC/複数コアでの並列計算を主用途とし、NumPy, pandas では少し苦しいが PySpark などを使うほどじゃない...とい

mrkn 2015/09/23

リンク

Chainer で Deep Learning: model zoo で R-CNN やりたい - StatsFragments

ニューラルネットワークを使ったオブジェクト検出の手法に R-CNN (Regions withCNN) というものがある。簡単にいうと、R-CNN は以下のような処理を行う。入力画像中からオブジェクトらしい領域を検出し切り出す。各領域を CNN (畳み込みニューラルネットワーク) にかける。2での特徴量を用いてオブジェクトかどうかをSVMで判別する。 R-CNN については論文著者の方が Caffe (Matlab) での実装 (やその改良版) を公開している。 [1311.2524] Rich feature hierarchies for accurate object detection and semantic segmentation github.com が、自分は Matlab のライセンスを持っていないので Python でやりたい。Python でやるなら今

mrkn 2015/07/07

リンク

はてなブックマーク

タグ

ブックマーク / sinhrks.hatenablog.com (5)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

今週のはてなブックマーク数ランキング（2024年6月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス