[B! python] [2ページ] ujigislabのブックマーク

Python で MeCab を使ってテキストの内容を形態素解析してみる～小説内の頻出単語の抽出～ - GIS奮闘記

本日は MeCab を使ってみようと思います。MeCab については最近、以下エントリーでインストール方法と簡単な使い方を紹介しましたが、本エントリーではより実践的な使い方を紹介したいと思います。 www.gis-py.com やってみること﹁坊ちゃん﹂︵夏目漱石︶のテキストデータをダウンロード正規表現で不要な文字を除去する︵ここはなくても形態素解析が可能ですが、より正確に解析したかったので、この手順を入れました︶ MeCab を使用して頻出単語︵名詞︶TOP10を抽出するデータ入手先青空文庫さんで色々な小説のテキストデータをダウンロードすることができます。青空文庫 Aozora Bunko坊ちゃんのデータはここですね。図書カード‥坊っちゃん中身はこんな感じです。︽にさんち︾のようにフリガナが入っていたり、ヘッダーやフッターも除去する必要がありますね実行環境 Window

ujigislab 2021/05/07

「坊ちゃん」（夏目漱石）のテキストデータをダウンロード、正規表現で不要な文字を除去する、MeCab を使用して頻出単語（名詞）TOP10を抽出する

リンク

Prophet で時系列解析を行い電力需要の推論値を Tableau で可視化してみよう！ - GIS奮闘記

さて、本日は Prophet を利用して電力需要の推論値を可視化してみようと思います。前回に引き続き今回も機械学習に関するエントリーを書いてみました。機械学習に関してはまだまだ学習中の身で拙い内容かもしれませんがこれから機械学習を始めてみようという方の一助になれたら幸いです。今回チャレンジすること気象情報を利用した東京都の電力需要推論使用する機械学習ライブラリ Prophet というライブラリを使用します。Prophet は Facebook が公開してるライブラリで、簡単に時系列予測が行え、トレンドや季節性などが構造化された結果を得ることができます。なお、インストール前に PyStan というライブラリもインストールする必要があります。Windows 環境でのインストール方法は以下エントリーで紹介していますので、興味のある方はぜひ読んでみてください。 www.gis-py.com

ujigislab 2021/05/07

>>Prophet を使うことで時系列解析がすごく簡単にできることがわかりました。難しいのはそこまでにどのようにデータを整備すればという部分でしょうか。

リンク

８月の「ならAIラボ」オープンデイ・セミナーのご案内/奈良県公式ホームページ

ujigislab 2020/07/03

2020年7月17日(金曜日) 　14：00～16：00 オンラインセミナー「データ前処理入門②」講師:BULB株式会社　データサイエンティスト　足立悠氏

python

リンク

ezdxf を使って Python で DXF を扱ってみよう！ - GIS奮闘記

さて、本日はezdxfを使って Python で DXFを扱ってみようと思います。 DXFとは以下エントリーでも少し紹介しているのですが、DXFは、Autodesk社が開発したファイル形式の1つで、CAD 系のデータですね。しかし、GIS の世界でも DXFはよく使われます。 www.gis-py.com ezdxfとは DXFを扱うための Python ライブラリです。データの読み書きを行うことができます。 pypi.org サンプルデータArcGIS Pro で以下のようなデータを用意しました。 1.浄水場名︵アノテーション︶ 2.浄水場︵ポイント︶ 3.河川︵ライン︶ 4.神奈川県︵ポリゴン︶これをジオプロで﹁ExportCAD.dxf﹂という名称のDXFに出力します。できあがった DXFをArcGIS Pro で読み込むとこのようになります。ちなみにです

ujigislab 2020/01/20

ezdxf とは DXF を扱うための Python ライブラリです。データの読み書きを行うことができます。

リンク

Pythonで国土地理院の標高API を使ってみよう！ - GIS奮闘記

さて、本日はPythonで国土地理院の標高API を使ってみようと思います。標高API とは緯度経度を送るとその地点の標高を返してくれるサービス。この仕組みを利用すれば、WEBサイト上の地図でクリックした地点の標高を取得したりすることができます。こんな便利なものを提供していただけるなんて、本当にありがたいですね。仕様地理院地図｜標高APIをご参照ください。すごく簡単に使えますね。例えば、このようなリクエストを投げると http://cyberjapandata2.gsi.go.jp/general/dem/scripts/getelevation.php?lon=140.08531&lat=36.103543&outtype=JSON このような結果が返ってきます。﹁elevation﹂が標高ですね。﹁hsrc﹂は標高データのデータソースみたいです。今回はこの値は無視します。

ujigislab 2019/07/16

GIS
python

リンク

【Chainer】ディープラーニング初学者向けのチュートリアルを無償公開。Pythonの使い方から実装までの流れを学べる | Ledge.ai

TOP > Article Theme > AI（人工知能）ニュース > 【Chainer】ディープラーニング初学者向けのチュートリアルを無償公開。Pythonの使い方から実装までの流れを学べる

ujigislab 2019/04/14

リンク

PythonでGISデータを扱う際に便利なライブラリのまとめ - GIS奮闘記

本日は PythonでGISデータを扱う際に便利なライブラリについてまとめてみようと思います。ほとんどが過去のエントリーで紹介しているものですが、これからGISデータを扱おうと思っている方やたくさんライブラリがある中でどういったものを選択していいのか迷っている方はぜひ参考にしてみてください。メジャーなライブラリまずはこれを使っておけば間違いないというライブラリを紹介します。 GDAL PythonのGIS系ライブラリと言えばまずGDALを思い浮かべるくらいメジャーなライブラリです。ベクターからラスター、また、データの読み込みから書き込みまで基本的なことは何でもできると考えて大丈夫です。過去のエントリーでもGDALに関していくつかの機能を紹介しています。 www.gis-py.com www.gis-py.com www.gis-py.com www.gis-py.com GeoPand

ujigislab 2018/12/27

リンク

ネットワークっぽい GIS データで、ポリラインから離れたポイントを探す - 生活の跡

ujigislab 2018/08/17

エッジから離れたポイントを探す処理を、python使ってやってみます。ほとんどのバス停はバスルート上に乗っているようですが、関空の近くに「孤立フラグ」= 1 のデータが１つだけありました。

リンク

Pythonオープンサイエンスシンポジウム in つくば (2017/12/12 13:30〜)

概要 Start Python Clubは、Pythonを中心としてプログラミングを仕事、研究、趣味など様々なシーンに生かす方法を一緒に学ぶコミュニティです。今回は最先端技術の研究機関が集まるつくば地区で開催します。科学技術分野では﹁オープンサイエンス﹂の潮流が湧き起こっています。ソフトウェアやデータを公開して共有することで、研究のスピードが加速する事例も見られるようになってきました。なかでもオープンソースソフトウェア︵OSS︶のPythonが注目を浴びています。アメリカではScipyというコミュニティが様々な科学技術をテーマにして盛り上がっています。本シンポジウムでは機械学習、農業気象、バイオなどいろいろな分野におけるPythonやOSSの使い方について、専門家にご講演をいただきます。初めての平日昼間の開催となりますが、非常に充実した内容になりますので、ぜひご参加ください。日時‥　20

ujigislab 2017/12/10

017月12月12日（火）13:30〜17:30　つくばイノベーションプラザ

リンク

Pythonによるデータ可視化ライブラリ「folium」がとても使いやすい - Qiita

Help us understand the probl em. What is going on with this article?

ujigislab 2016/12/30

リンク

JSONって書いてあるのにJSONじゃない形式のデータを内閣官房なる組織が公開していたから、pythonでJSON形式のデータの保存する方法をまとめる - Qiita

JSONって書いてあるのにJSONじゃない形式のデータを内閣官房なる組織が公開していたから、pythonでJSON形式のデータの保存する方法をまとめるPythonJSON （【追記】コメントにあるようにgc373さんのご協力で、問題のデータはJSONとして修正されています。）データは大切です。優れたデータは社会によい価値を提供するでしょう。優れたデータというのは、価値の高い情報を持っているだけでなく、それが扱いやすいということも大切でしょう。扱いやすいというのは、データに簡単にアクセスでき、そのデータを容易に読み込めるということでしょう。特別なソフトウェア用の形式であったり、余計なものが書かれていて読む前に人間が読まないといけないというのは扱いづらいと言えるでしょう。SHIFT_JISなのも困りものです。とはいえ、まずはデータがあって初めて何かができるわけで、オープンデータとして、政府

ujigislab 2016/09/04

リンク

ArcPyレシピ集③ ～サブタイプの取得方法～ - GIS奮闘記

さて、ブログの更新が滞っていましたが再開させようと思います。今回はArcPyでサブタイプの取得方法を紹介したいと思います。サブタイプとは？！そもそもサブタイプとは何なのでしょうか？サブタイプは、フィーチャクラスのデータを分類する場合に使用します。例えば、道路を表現する場合に高速道路、国道、地方道と別々のフィーチャクラスを作成するのではなく、道路という単一のフィーチャクラスの属性値で種類を高速道路、国道、地方道のように分類します。（←ESRIさんのサイトから丸パクリしました）つまり、一つのレイヤ（道路）の中で複数の地物（高速道路や国道など）を管理することができるということですね。例えば、DMなんかだとレイヤ数が200以上になってしまいます。これだとレイヤ数が多くなって管理しにくいので、サブタイプを使用する必要があります。そうすればレイヤ数を減らして管理しやすくなりますね（Zmapなど

ujigislab 2016/06/09

サブタイプは、フィーチャクラスのデータを分類する場合に使用します。道路という単一のフィーチャクラスの属性値で種類を高速道路、国道、地方道のように分類します。 ●python ●ESRI ●ArcGIS

リンク

【PythonとGIS】ArcPyでラインの端点の角度を取得する - GIS奮闘記

さて、本日はラインの端点の角度を取得しようと思います。ラインの端点にはシンボルを置くことが多いので、端点の角度を取得して、そこにのっかるポイントに角度を与える場合などに使えるかと思います。環境 Windows7 64bitArcGIS10.2 Python2.7.3 事前準備対象GDBの作成︵今回はGeneralize.gdbを作成しました︶フィーチャクラスの作成︵今回はLineを作成しました︶プログラムで取得できる値対象のフィーチャクラスにおいて、端点の角度を含む以下情報をListで返します。端点以外の頂点の情報は格納しません。 [0]:OBJECTID [1]:X [2]:Y [3]:頂点区分 1:始点 2:終点 [4]:角度対象データ以下のようなサンプルデータを作成しました。左から順に作図しました。サンプル ■calcangle.py # -*- coding:

ujigislab 2016/03/23

リンク

PythonでESRIの日本地図(全国市区町村界データ)を加工してみる　～オープンデータを自分の欲しい形にしてみよう～ - GIS奮闘記

本日は当ブログでもよく使用しているESRIさんの日本地図を加工してみようと思います。このデータは全国の市区町村ごとのポリゴンデータなのですが、県ごとのポリゴンが欲しいという方もいるかと思います。単純に県ごとにするだけなら簡単なのですが、人口や世帯数といったデータも一緒に集約することはArcMapではできない？！のではないでしょうか。←自分がやり方を知らないだけかもですが・・・また、今回のソースと加工したデータはGitHubで公開しました。 https://github.com/sanvarie/MinnanoArcGIS URL 以下サイトでダウンロード可能です。全国市区町村界データ | 製品 | ESRIジャパン仕様ただのコピペですが。データ仕様・フォーマットシェープファイル・図形タイプポリゴン・座標系地理座標系日本測地系 2000︵緯度経度 JGD 2000︶

ujigislab 2016/02/26

リンク

Pythonで基盤地図情報の数値標高モデルを解析してGeoTiffに変換する（横須賀編）　～Numpy、GDAL、Arcpyを駆使して横須賀の標高（地盤高）を視覚化する～ - GIS奮闘記

今回は数値標高モデル(DEM)の解析を行ってみたいと思います。数値標高モデル(DEM)とは地形のデジタル表現のことで我らが国土地理院が公開しています。参考までにですが、これは火星のティトニウム・カズマの数値標高モデル(DEM)を三次元表示した画像です。基盤地図情報︵数値標高モデル︶データのダウンロード以下サイトでダウンロードできます。ユーザー登録が必要です。基盤地図情報ダウンロードサービス横須賀が含まれるデータをダウンロードします。こんな感じで任意のフォルダにXMLのみを格納してください。承認申請のXMLは不要です。また、GeoTiff出力用のフォルダも作成してください。基盤地図情報︵数値標高モデル︶データを解析するファイル名について基盤地図情報︵数値標高モデル︶データには 5mメッシュと10mメッシュがありますが、今回はより細かい 5mメッシュを使用します。ファイル名は

ujigislab 2016/01/12

リンク

投票: 日本のオープンデータプラットフォームをPythonでつくる | PyCon JP 2015 in TOKYO

参加者は現状では日本のオープンデータの活用が困難であることを知ります．そして，大変ではありますが，それを解決する方法があることを知ります．その解決する方法はPythonのアジャイル性，ロバスト性を十分に活用していることを知ります． ### データ収集から意思決定まで私たちが間違わない意思決定をするには，統計調査などで集めたデータを根拠とすることが一番です．これを模式的に表すとデータの収集から意思決定へいたる一つの道筋が存在し，そこにはつぎのような﹁データのライフサイクル﹂が介在します． ![LifeCycle](https://bitbucket.org/bakfoo/pub/wiki/pycon2015kashino/data.png) 実は日本政府が行っている経済政策の決定という意思決定も，データ収集から意思決定までを同じようなフローでおこなっています．ことのきに根拠となっているのは

ujigislab 2015/08/31

リンク

PythonとQGISを使って地理空間を可視化する – UFO目撃情報でのケーススタディ | POSTD

イントロダクションこのチュートリアルでは、とあるデータサイエンティストの典型的な1日の過ごし方をご案内しましょう。まず地理空間のデータセットを入手し、不要なものを整理し、補強し、可視化します。使用するツールはPython、BeautifulSoup、pandasとNominatimライブラリ、そして地理情報システムの組織で広く使われているオープンソースの地図ソフトウェア、QGIS です。データセットになるのは、全米UFO情報センター︵NUFORC︶のこのページに掲載されているアメリカ全土のUFO目撃情報です。目標は、過去12カ月間に目撃されたUFOの地図を可視化することです。可視化によりデータセットをはっきりと示し、調査して、目撃されたとされるUFOの行動をよりよく理解することができます。可視化は地図作成プログラム内で行われます。QGISは地理空間データの手軽な試験的分析に特に向

ujigislab 2015/07/17

リンク

はてなブックマーク

タグ

関連タグで絞り込む (35)

pythonに関するujigislabのブックマーク (37)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス