[B! CSV] ene0kcalのブックマーク

日本郵便のKEN_ALL.CSVが改善される | スラドデベロッパー

郵便番号と住所の変換システムを扱うエンジニアの間で悪名高かったKEN_ALL.CSVだが、2023年6月更新分より、文字コードがUTF-8に、フリガナが全角カタカナになり、町域名が長いときも複数レコードに分割されなくなったファイルが新たに追加された模様。従来通りの書式のファイルもダウンロードできる。今後は町域名に含まれている自然言語の注釈(「その他」「※番地」「以下に記載のない場合」など)をフラグに変換する予定もあるようだ（郵便番号データダウンロード）。

ene0kcal 2023/07/06

リンク

pandas でメモリに乗らない大容量ファイルを上手に扱う - StatsFragments

概要分析のためにデータ集めしていると、たまにマジか！?と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、？このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。サンプルデータたまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas のRemote Data Access で WorldBan

ene0kcal 2021/07/02

もしかしてこれが上がってきたのは、最近ツイッターで70GBのCSV（カラム内改行有り）で集計する話題が挙がってたからかな。

リンク

Kindle蔵書一覧を取得する方法 - Qiita

Kindleの蔵書が1万冊を超えてきて、そろそろ蔵書管理したくなり、蔵書一覧を取得する方法を調べたので、まとめておく。概要蔵書一覧の取得方法としては大きく2つあり、コンテンツと端末の管理ページからスクレイピングする方法と、 Kindle Cloud Readerが使っているWeb SQL Databaseのクライアント側のDBからそのまま取得する方法がある。後者のほうが簡単なため、ここでは後者の方法について記載する。︵前者の方法が知りたい方は、https://qiita.com/yshr1982/items/072e8b44d456f6d9358bなどを参考にしてください。) // 追記上記の2つの方法以外のやり方を情報共有してもらったので追記。 @error_401さんから頂いた情報によると Kindle for PCを利用している場合、本の情報が入ったXMLが生成されるた

ene0kcal 2020/07/08

参考になる！コメントのPCキャッシュのxmlも参考になった。家帰ったら試す。

Kindle
csv

リンク

アルゴリズムの基本をJava、C#、Pythonで学ぼう - データを集計し、言語ごとの違いを知る - エンジニアHub｜Webエンジニアのキャリアを考える！

今回は、以下のように指定しました。表示オプションはデフォルトのままです。地点を選ぶ‥東京項目を選ぶ︵データの種類︶‥時別値項目を選ぶ︵項目︶‥気温期間を選ぶ‥2019/1/1～2019/12/6 データの項目は﹁日時﹂﹁気温﹂﹁品質情報﹂﹁均質番号﹂の4種類。品質情報、均質番号は、観測値が正常かどうかに関する情報です。各項目の詳細については、同サイトの﹁ダウンロードファイル(CSVファイル)の形式﹂ページを参照してください。ファイルの先頭5行には、次の画像のような項目が入っています。このまま使うとやや面倒なので、あらかじめ先頭5行分は削除し、全てデータ行のみのCSVファイルに加工しておきます。 CSVファイルの仕様にはバリエーションがあり、その全てに対応するとコードが複雑になりますので、今回は気象庁のCSVデータに基づき、次の仕様を前提とします。文字種は、ANK︵1バイト文字︶

ene0kcal 2020/02/27

リンク

【ExcelとCSV】本気で理解したい初心者のためのCSV勉強会資料 - わえなびワード＆エクセル問題集 waenavi

エクセルでCSVを保存？変換？ CSVファイルをエクセルで開くと壊れる？？仕事でCSVファイルを扱うことがあります。しかし、﹁CSVの意味﹂を本気で教えてくれる人はなかなかいません。それは、﹁CSV﹂を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。今回は、本当にCSVのことを知りたいのに誰も教えてくれないとお悩みの初心者の皆さんのために、CSVとは何か、を徹底的に解説します。﹁リスト形式とCSV﹂完全マスターシリーズ︵この記事は第2回です︶8個の基本パターンで完全習得﹁リスト形式﹂の教科書本気で理解したい初心者のためのCSV勉強会資料 CSVファイルとExcelの関係を本気で理解するための確認テスト10問初心者のためのCSV取り込み事例演習教材︵勉強会資料︶初心者が﹁CSVで保存してアップ﹂を理解するのは意外と難しい

ene0kcal 2018/07/30

勉強
csv

リンク

CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記

column textql csvkit xsv visidata csvtotable daff tabview CSV︵またはTSV︶を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi

ene0kcal 2018/07/26

リンク

RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法 - Rails Webook

RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法について説明します。動作確認 Ruby 2.1 Rails 4.1 Roo 1.13.2 目次 Rails プロジェクトの作成 CSVのインポート機能の実装 Excelのインポート機能の実装 1. Rails プロジェクトの作成まず、Raislのプロジェクトを作成します。 rails new csv_import_test cd csv_import_testそして、必要なコントローラー、ビュー、モデルを作成します。 rails g controller Products index rails g model Product name:string price:integer released_on:date rake db:migrate CSV出力するためのデータを作成します。 # db/seeds.rb

ene0kcal 2015/01/10

Ruby
csv

リンク

はてなブックマーク

タグ

関連タグで絞り込む (15)

CSVに関するene0kcalのブックマーク (7)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス