2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
セキュリティエンジニアのための English Reading | デジタル人材の育成 | IPA 独立行政法人 情報処理推進機構
Home
さよなら本番サーバー - Qiita
とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無
個人情報テストデータジェネレーター
アプリケーションのテストなどで利用できる、リアルな架空の個人情報データ（疑似データ）を生成するツールです。
賢いチャットAIとして話題のChatGPT。筆者も試しに課金をして、あれこれチャットを楽しんでいます。それで、ここまでの結論としては表題の通り、ChatGPTは質問をするよりも、作業を依頼する方が良さげだなと思いました。 知識が古くて、質問には使えない なぜかというと、ChatGPTは現状では学習データが若干古く、例えば2023年2月時点で「日本の総理大臣は誰？」と質問をすると、菅義偉氏であると回答されます。（実際には岸田文雄氏） また、情報をまとめて管理している訳ではなく、例えば「店名」と「住所」など関連しているはずの情報がバラバラに管理されているのか、例えば「新宿駅近くのイタリアンのお店は？」といった検索サイトの代わりに使おうと思っても、実在しないお店などが表示されてしまって、現状では使い物になりませんでした。 一番上の「イルポンテ」というお店は、該当の住所はなさそうです（上石神井には
Visual Studio Codeを使うなら絶対に入れておきたい拡張機能Top20【2022最新版】 - Qiita
この記事はNuco Advent Calendar 2022の14日目の記事です。 VSCodeに必須の機能20個を紹介していきます。 インストール数と星の数は記事作成時点(2022年11月時点)のものです。 Japanese Language Pack for Visual Studio Code vscode-icons Code Spell Checker zenkaku Path Autocomplete Prettier - Code formatter indent-rainbow GitLens Git History HTML CSS Support Output Colorizer TODO Highlight vscode-random Atom One Dark Theme Trailing Spaces REST Client Live Server Jupyter
draw.io はブラウザを使用してフローチャート、プロセス図、組織図、UML 図、ER モデル、ネットワーク図などを作成できる優れたツールです。作成した図は xml ファイルとして保存でき、GitHub との連携もシームレスに行われます。3 年ほど愛用しているツールですが、隠された使い方がたくさんあります。すぐに忘れてしまうので取りまとめておきます。 「こんな使い方あるよ！オススメだよ！！」という方はぜひ編集リクエストをいただければ追記していく予定です 😊 ※ 主に参照している文献は以下、公式ブログは非常に分かりやすいのでオススメです。 ツイッター公式アカウント 公式ブログ ショートカット ショートカット集です。机の上に置いて覚えましょう。 Line / 線 まずは最も頻繁に使う Line(線)の使い方からご紹介します。 矢印をまっすぐに揃える ちまちまと矢印の線をドラッグして微調整し
スプレッドシートをWeb開発の万能ツールに変えるおすすめサービス厳選まとめ！ - paiza times
どうも、まさとらん（@0310lan）です！ 今回は、Googleが提供しているスプレッドシートを表計算ではなく、Web開発の即戦力になる万能ツールへと変えてしまうサービスを厳選してご紹介しようと思います。 スプレッドシートのデータを活用して、Webコンテンツを作成したりデータベースとして活用するなどさまざまな開発手法に応用できるので、ご興味ある方はぜひ参考にしてみてください！ ■スプレッドシートのデータを即座にAPIで提供する！ 【 SwiftSheet 】 SwiftSheetはExcelやスプレッドシートなどで管理しているデータを、即座にRESTful APIとしてホスティングしてくれるのが大きな特徴です。 CSVで保存したファイルをアップロードするだけという簡単な操作のため、ユーザー登録や課金などは一切不要です。 たとえば、お店のリストをスプレッドシートで管理しているとします。 こ
PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。 表がPDFの中に埋め込まれているケースも割とあります。 例えば 平成30年 全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。 例えばファイルの40ページの【表14 業種別高ストレス者の割合】を抜き出したいと思ったとします。 この表を選択して、Excelにコピペしてみましょう。 コピーして、Excelに貼り付けます。 おや？うまくいかないですね。 1つのセルの中に、全部のデータが羅列されてしまっています。 実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。 ステップ1. PDFから表をpandasのData
pythonを使った株価の自動収集 - Qiita
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
AWS、SQL互換の新問い合わせ言語「PartiQL」をオープンソースで公開。RDB、KVS、JSON、CSVなどをまとめて検索可能
Amazon Web Services（以下AWS）は、SQL互換の新しい問い合わせ言語およびそのリファレンス実装である「PartiQL」をオープンソースとして公開したことを発表しました。 PartiQLはSQL互換の構文に最小限の拡張を施すことで、リレーショナル形式のデータベースだけでなく、KVSやJSONなどを含むNoSQLデータベースやCSVファイルなど、さまざまなデータソースに対して横断的に検索できる問い合わせ言語およびそのリファレンス実装です。 下記はPartiQLを発表したブログからの引用です。 Today we are happy to announce PartiQL, a SQL-compatible query language that makes it easy to efficiently query data, regardless of where or in
広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な
bash の危険な算術式 - どさにっき
■ bash の危険な算術式 _ 使ってる人がいちばん多いだろうからタイトルでは bash としてるけど、ここで取り上げることは zsh および ksh 一族(本家 ksh、pdksh、mksh)にも該当する。ash、dash などでは該当しない。 _ 以下のシェルスクリプトには脆弱性がある。わかるだろうか。 #!/bin/bash # "品目,単価,個数" の形式の CSV を読んで、"品目,合計金額" の形式で出力する csv="foo.csv" while IFS=, read item price num; do echo "$item,$((price*num))" done < "$csv" これ、細工された CSV ファイルを食わせることで、任意コードの実行ができてしまう。数ある脆弱性の中でもとくにヤバいやつだ。どこが穴なのかというと、タイトルにもあるとおり算術式なのだが、し
Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationYou can use dark themeWhat you can do with signing up
ツーシーム投げ猫 @0000snao 問：「CSVを開いて」と言われたので、ExcelではなくSakuraエディタで開いた際、「それ、CSVじゃないから😅」と言われた時のぼくの気持ちを答えよ 2021-10-01 21:11:37
株式会社ゆめみサーバサイドコーディング試験模試(2023年度版)の回答例とフィードバック例 - Qiita
はじめに 株式会社ゆめみでは、採用時にコーディング試験を課しています。 2023年5月中旬より、数年間内容を更新せずに利用してきたこのコーディング試験の内容を刷新、合わせて模試も新しいものにすることとしました。（※まずは2025年度新卒採用から変更しますが、順次展開する予定です。） この記事では、2023年度版のサーバサイドコーディング試験の模試の内容、およびそれに回答があった場合にゆめみがどういう観点でどういうレビューを実施するかをまるっと全部解説します。 過去のコーディング試験の目的とレビュー観点はこちらを御覧ください。 刷新した理由 5年以上同じ問題を利用してきて、準備されたテストケースの通過率がほとんどの人が90%以上となってしまったこと。 応募者のレベルが上ってきたことに合わせて、より難易度を上げないと差別化が難しくなってきたこと。 【New!!】本試験もChatGPTに回答でき
やってみたら簡単！ディープラーニング・オセロを作って自分を負かすまで強くした話(その1) - Qiita
Kaggleで戦いたい人のためのpandas実戦入門 - ML_BearのKaggleな日常
はじめに 自分は元々pandasが苦手でKaggleコンペ参加時は基本的にBigQuery上のSQLで特徴量を作り、最低限のpandas操作でデータ処理をしていました。 しかし、あるコードコンペティションに参加することになり、pythonで軽快にデータ処理をこなす必要が出てきたので勉強しました。 そこで、当時の勉強メモをもとに「これだけ知っていればKaggleでそこそこ戦えるかな」と思っているpandasの主要機能をまとめました。 注記 実戦入門 のつもりが ほぼ辞書 になってしまいました orz pandasとはなんぞや的な内容は書いていません (import pandasやDataFrameとは何かなど) pandas1.0系でも動くように書いたつもりですが間違ってたらすみません 目次 はじめに 注記 目次 Options DaraFrame 読み書き CSVファイル 読み込み 書き出
「Excelのデータってありますか？」「ありますよ！」ITエンジニアと現場の「綺麗なデータ」の認識の乖離がわかる画像が色々しんどい
海野 @akanecco_0614 「Excelのデータ」とは言わんな。 誰と話すかにもよるけど「何かにまとまってるのありますか？Excelでもメモ帳でも良いんですけど」って聞く気がする。 基本的に"即使えるデータが貰える"とは思ってないから、とりあえず相手が出してきたものを見てから考えるわ。 twitter.com/kazoo04/status… 2020-11-09 23:20:12 きゃんたま王子®それで釣りに行く™ @seiji427 わかりみが深い！ ExcelはExcelでいいけど、 データはデータでも。。 資料とデータは違うよ。。 あと。。文字列とか数式とかごちゃごちゃで機種依存文字がいっぱいとか。。 も.csvでくれw twitter.com/kazoo04/status… 2020-11-09 21:53:28
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法 - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Webスクレイピングを実践するには 1. ベンダーのサービスやツールを利用する 2. 自分でプログラムを作成する なぜPythonなのか？ Pythonでのスクレイピング実践方法 事前準備 BeautifulSoup4のインストール 模擬Webサイトの構築 Webサーバーを立ち上げる 初級編：特定の要素から単一の要素を抜き出す 中級編：あるページから繰り返しを伴う複数の要素を抜き出す 上級編：複数のページから複
データ分析の基礎 - Qiita
1. データ分析の概要と目的 データ分析とは、大量のデータから有用な情報や知識を抽出するプロセスです。 このプロセスには、データの収集、前処理、探索、モデリング、評価、そして最終的な知識の抽出が含まれます。 データ分析の主な目的は以下の通りです ビジネスの意思決定をサポートする 新しい市場の機会を発見する 顧客の行動や傾向を理解する 製品やサービスの改善 予測や予測モデリングを行う 2. Pythonにおけるデータ分析のライブラリの紹介 Pythonはデータ分析のための多くのライブラリを持っています。 以下はその中でも特に人気のあるライブラリです Pandas: データの前処理や探索的データ分析に使用されるライブラリ NumPy: 数値計算を効率的に行うためのライブラリ Matplotlib & Seaborn: データの可視化に使用されるライブラリ Scikit-learn: 機械学習の
Geolonia 住所データ
freee会計と楽天銀行のAPI連携契約満了に伴う 口座明細の自動取り込み停止のお知らせ | プレスリリース | フリー株式会社
JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ
NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A
GitHub - lana-k/sqliteviz: Instant offline SQL-powered data visualisation in your browser
Sqliteviz is a single-page offline-first PWA for fully client-side visualisation of SQLite databases or CSV files. With sqliteviz you can: run SQL queries against a SQLite database and create Plotly charts and pivot tables based on the result sets import a CSV file into a SQLite database and visualize imported data export result set to CSV file manage inquiries and run them against different datab
2020/3/31 Google Cloud Data Platform Dayでの、山田、佐伯、白鳥の講演資料になります
#Visual_Studio_Code 各言語への対応 C/C++ C# Cython Go Markdown Preview Enchanced PlantUML PowerShell Python Ruby SVG Previewer YAML アルファベット順 名前: Better Comments オススメ度：★★★☆☆ TODO: ... みたいなコメントに色がつく VS Marketp
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
話題の「ChatGPT」こんなに使えたら本当にすごい！ 目からウロコの使い方を解説｜GPTs活用事例も | 【レポート】Web担当者Forumミーティング 2023 秋
ChatGPTは、質問するより作業を依頼する方が良さげ | ちゃんとブログ。
Kindle蔵書一覧を取得する方法 - Qiita
VS Code の使い始めに入れておくと便利な拡張機能 10 選
【動画付き】 draw.io 使い方まとめ 〜エンジニアでなくても使えるTips集〜 - Qiita
【自動化】PDF内の表をPythonで抜き出す - Qiita
S3のコストを大幅に削減した話 - Gunosy Tech Blog
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
データ収集からディープラーニングまで全て行って競馬の予測をしてみた - Qiita
先頭のゼロを勝手に消すな ～「Excel」のお節介な自動データ変換を抑制する機能が一般提供開始／「Microsoft 365」アプリ最新チャネルの「バージョン 2309」で
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
「CSVを開いて」と言われたのでExcelじゃないエディタで開いたら「それCSVじゃないから」と言われてしまった
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】
xlsxファイルにSQLを実行するxlsxsql - Qiita
【Excel】CSVファイルをダブルクリックするのは絶対NG！CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ
AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers
GCPで構築する、これからの変化に対応出来るデータ分析基盤の作り方
蔵書管理が捗る！ Kindleで購入済み本の一覧をCSVで取得する方法が有益と話題に【やじうまWatch】
vscodeで使ってる拡張機能 - yuiseki
openai.com
39mag.benesse.ne.jp
jp.news.gree.net
hanabi-navi.jp
toyokeizai.net
www.publickey1.jp