並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 1736件

新着順 人気順

Databaseの検索結果1 - 40 件 / 1736件

 Database1736   database      Watch  
  • 国土交通省が新サイト「不動産情報ライブラリ」を無料公開、早くも神サイトと評判【やじうまWatch】

      国土交通省が新サイト「不動産情報ライブラリ」を無料公開、早くも神サイトと評判【やじうまWatch】
    • リレーショナル・データベースの世界


       DBWeb   SQL 2 (201524 ) 
      • 社内SQL研修のために作った資料を公開します | 株式会社AI Shift


        Development Team AISQL  AI2SQLSQLRDB4   SQL
          社内SQL研修のために作った資料を公開します | 株式会社AI Shift
        • 国際比較に使える唯一の指標「超過死亡」で明らかになる実態 - 新型コロナウイルス情報室 - Quora

          今回取り上げるのは、フィナンシャル・タイムズからの「死者数は報告されているよりも60%高い可能性がある」というレポートです。 Global coronavirus death toll could be 60% higher than reported | Free to read ここで、本論に入る前に、少し前置きです。 アウトブレイクが現在進行形で起きているときに、異なる国での政策の良し悪しを議論するのに使える、信頼できる統計データとは何でしょうか? 感染者数は、検査の性能・件数・方針などに強く依存するため、もっとも信頼性の低い指標です。一方、死亡者数は、相対的には信頼できる指標ですが、検査を受けないままに死亡してしまったケースについてはアンダーレポート(過小報告)となります。 特にいったん医療崩壊を起こしてしまうとあらゆる報告が追いつかなくなり、感染者数も死亡者数もきちんと管理できな

          • 無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録

              無料で使える「住所マスターデータ」公開、表記統一や緯度経度への変換に活用可能 全国の町丁目レベル18万9540件の住所データを記録
            • ゲーム音楽

              音楽サブスクリプション配信中のゲーム音楽のポータルサイト

              • プログラミングスクールに通うくらいならこの本を読め10選 - ニート向けソフトウェアエンジニアリング塾

                概要 職業ソフトウェアエンジニアを目指す方々にオススメしたい書籍トップ10です 以下の観点から選定しました 10年後でも変わらない、流行にとらわれず長く役に立つ、ソフトウェアエンジニアリングにおいて普遍的な知識 特定のプログラミング言語やプラットフォームやツールに精通するのではなく、現代のソフトウェア開発の哲学・文化の全体像が把握できることを優先 200~300ページくらいで初心者でも読破できる 400~500ページくらいの本もあるが、それらは辞書的に使うのがいい あえて10冊に絞り込んだので、ここに含められなかった書籍も当然あります CI/CDやDevOpsに関する本も入れたかった… デザインパターンに関する本も入れたかった… DDDやClean Architectureなどシステム設計に関する本は意図的に入れていない 真・プログラミングスクールに通うくらいならこの本を読め10選を書きま

                  プログラミングスクールに通うくらいならこの本を読め10選 - ニート向けソフトウェアエンジニアリング塾
                • 1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

                  自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

                    1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
                  • データベースを遅くするための8つの方法

                    はじめに Twitterのタイムラインを見ていたらバッチ系のプログラムで逐次コミットをやめて一括コミットにしたら爆速になったというのを見ました。当たり前でしょ、と思ったけど確かに知らなければ分からないよね、と思って主に初心者向けにRDBを扱うときの注意点をまとめてみました。 プログラミングテクニック的なところからテーブル設計くらいの範疇でDBチューニングとかは入ってないです。 自分の経験的にOracleをベースに書いていますが、他のRDBでも特に変わらないレベルの粒度だと思います。 大量の逐次コミットをする バッチアプリケーションでDBにデータをインサートすると言うのはかなり一般的な処理です。しかしデータ量が少ない時はともかく大量のインサートを逐次コミットで処理するとめちゃくちゃ遅くなります。数倍から十数倍遅くなることもあるので、10分程度のバッチが1時間越えに化けることもザラにあるので原

                      データベースを遅くするための8つの方法
                    • 国は何に、誰にカネを使っているのか 政府の全事業の予算をチェックするデータベースを作った人たちがいる

                      Search, watch, and cook every single Tasty recipe and video ever - all in one place! News, Politics, Culture, Life, Entertainment, and more. Stories that matter to you.

                        国は何に、誰にカネを使っているのか 政府の全事業の予算をチェックするデータベースを作った人たちがいる
                      • リクルートテクノロジーズ エンジニアコース新人研修の内容を公開します!(2019年度版) | Recruit Tech Blog

                        こんにちは。セキュリティエンジニアの平松です。 毎年、大きな反響を頂いているエンジニアコース新人研修の内容を今年も公開します。 リクルートテクノロジーズの新人研修 リクルートテクノロジーズでは、新卒採用の新人向けに3ヶ月間の技術研修「ブートキャンプ」を実施しています。 新人たちは採用時の応募職種によって振り分けられ、各職種に適した内容のブートキャンプを受講します。 今年のブートキャンプは以下の3つのコースで実施しました。 スタンダードコース:プログラミングやWebサービスの構造の基礎を学び、その後1つのスマホサイトを企画からリリースまで行うコース。 エンジニアコース:現場での技術に即した実践的な内容を学び、その後実際のサービスでチーム開発のOJTを実施するコース。 データサイエンティストコース:現場でのデータ解析の実務に即した実践的な内容を学ぶコース。 本記事では、実際に「エンジニアコース

                          リクルートテクノロジーズ エンジニアコース新人研修の内容を公開します!(2019年度版) | Recruit Tech Blog
                        • ミクシィの21新卒技術研修の資料と動画を公開します!

                          研修資料・動画一覧git研修(動画、スライド)データベース研修(動画、スライド、SQL演習環境)設計・テスト研修(動画、スライド)iOSアプリ開発研修(動画、スライド、リポジトリ)Androidアプリ開発研修(動画、スライド、リポジトリ)フロントエンド研修(動画、スライド、リポジトリ)ゲーム開発(Unity)研修(動画、スライド1、スライド2、スライド3、スライド4、スライド5、リポジトリ)git研修チーム開発でのGit(+GitHub)の使い方とGitの内部的な挙動についての講義と、Git Challengeから厳選した問題を解くハンズオン。 講義部分の動画とスライドを公開しています。

                            ミクシィの21新卒技術研修の資料と動画を公開します!
                          • 世界中の伝統音楽のデータベース、慶應大が公開 1026民族、5776件の音声記録を掲載

                            世界地図上にマッピングされたポイントをクリックすることで、その地域の民族にゆかりのある音楽を再生できる。例えば日本の東北地方なら、安全を願うために歌われてきた「津軽山唄」、東京都なら作業時に歌われてきた「木遣節」がある。他にもヨーロッパやアフリカ、米国など世界各国の伝統音楽が聞ける。 2017年に暫定版としてデータベースを一度リリースしていた。研究チームは、改めて楽曲の種別や特徴などを見直し、呼吸方法や楽器情報など、より詳細な情報や会話などの音楽ではない音源も加え、データの正確性を上げて再度リリースしたという。 データベース中の全ての楽曲は、個人や研究での利用など非営利での使用を推奨しており、著作権とその文化継承者が許す範囲内のみで利用できる。今後も継続的に新しいデータも追加していくという。研究チームは「Global Jukeboxが他の研究者に刺激を与え、音楽の伝統や文化の進化に関する多

                              世界中の伝統音楽のデータベース、慶應大が公開 1026民族、5776件の音声記録を掲載
                            • 名字マップ

                              この日本の名字マップは、電話帳や住宅地図の表札名の約4千万件のデータを、都道府県ごとに集計し、地図化したものです。表示方法としては絶対数と特化係数が選べます。また、2画面で異なる名字を地図化したり、絶対数と特化係数の地図を比較したりできます。 特化係数:当該の名字が各都道府県でどの程度特化しているかを示したもので、最大値が100であれば、全国的に均等に分布していることになります。 作成:立命館大学 協力:アクトン・ウインズ株式会社

                              • MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]

                                株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 bashパフォーマンスMySQLInnoDBDB設計インデックス こんにちは、羽山です。 今回は MySQL のプライマリキーに UUID を採用する場合に起きるパフォーマンスの問題を仕組みから解説します。 MySQL(InnoDB) & UUID のパフォーマンスについては各所でさんざん議論・検証されていますが、論理的に解説した記事が少なかったり一部には誤解を招くようなものもあるため、しっかりと理由から理解するための情報として役立つことができればと思っています。 UUID と比較される古き良き昇順/降順のプライマリキーはというと、 MySQL の InnoDB において良いパフォーマンスを出すために縁の下の力持ちのような働きをしてくれているケースが実は少な

                                  MySQLでプライマリキーをUUIDにする前に知っておいて欲しいこと | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
                                • データベース概論Ⅰ | 筑波大学オープンコースウェア|TSUKUBA OCW | 北川博之


                                  SQL 2018  ()   19781980ACM SIGMOD
                                    データベース概論Ⅰ | 筑波大学オープンコースウェア|TSUKUBA OCW | 北川博之
                                  • ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita

                                    pictBLandとpictSQUAREに対する不正アクセスがあり、パスワードがソルトなしのMD5ハッシュで保存されていたことが話題になっています。 2023年8月16日に外部のフォーラムにpictSQUAREより窃取した情報と主張するデータ販売の取引を持ち掛ける投稿が行われた(中略)パスワードはMD5によるハッシュ化は行われているもののソルト付与は行われていなかったため、単純なパスワードが使用されていた29万4512件は元の文字列が判明していると投稿。(それ以外の26万8172件はまだMD5ハッシュ化されたままと説明。) 不正アクセスによるpictBLand、pictSQUAREの情報流出の可能性についてまとめてみた - piyolog より引用 これに関連してMD5ハッシュやソルトに関するツイート(post)を観察したところ、どうもソルトの理解が間違っている方が多いような気がしました。

                                      ソルト付きハッシュのソルトはどこに保存するのが一般的か - Qiita
                                    • SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita

                                      2020/9/30追記 本記事は元々、「SQL記述者全員が理解すべきSELECT文の実行順序のお話」というタイトルで投稿しておりました。 しかし、知見のある方からのコメントと自分でも調べてみた結果、今回紹介している順序はあくまで論理的な処理順序であり、実行順序とは別物ということがわかりました。 誤った知識を布教してしまい申し訳ございません。 2020/9/30のタイミングで、本記事のタイトルを「SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話」に変更させていただきました。 はじめに 「SQLといえば、エンジニアが扱うスキル」と思われがちですが、最近はマーケターや営業など、非エンジニアの方もSQLを使って、自らデータを抽出し分析する方が増えてきています。 またエンジニアの方でも、ORM任せでなんとなく理解している状態の方もいるのではないでしょうか? 今回は、そんな方々にこそ

                                        SQL記述者全員が理解すべきSELECT文の論理的な処理順序のお話 - Qiita
                                      • 自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」

                                        自社のクラウド環境に侵入され、データベースから経営に欠かせないデータを持ち出される。バックアップも消され、データを取り戻したければ、身代金を支払うよう要求される──企業にとって絶対に直面したくない事態の一つだ。しかしこのシチュエーションをあえて再現し、訓練という形で自社のCEOに身代金まで要求した企業がある。クラウド会計サービスを提供するfreeeだ。 freeeは2021年10月、標的型攻撃とランサムウェアを組み合わせたシナリオを基に全社的な訓練を実施。AWS上のDBからデータを盗み出し、バックアップを消した上で、自社のCEOに社内SNSを通して身代金を要求したという。訓練を主導したのは、製品やサービスのセキュリティ向上を目指す社内組織「PSIRT」だ。 訓練を実施した背景には、情報システム部などのIT部門だけでなく、経営層まで巻き込みたい考えがあったという。同社のPSIRTが取り組んだ

                                          自社のDB破壊しCEOに身代金要求、freeeが本当にやったクラウド障害訓練の舞台裏 「従業員はトラウマに」
                                        • Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した


                                          Google Good Data Analysis 2022-03-08 Google The Unofficial Google Data Science Blog   Practical advice for analysis of large, complex data sets  Google Developers Guides: Machine Learning Guides > Good Data Analysis  Good Data Analysis 
                                            Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
                                          • アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話


                                            (!S @AntiBayesian  DMP (amzn.to/3vgVTmS) engineer-lab.findy-code.io/jobs-in-statis (!S @AntiBayesian  IT 2022-01-16 15:36:44 (!S @AntiBayesian IT
                                              アパレルで死ぬほどがんばって年収400万だった人がSQLとExcelと基本情報技術者試験で年収600万になった話
                                            • N501Y変異株スクリーニングの実施状況N501Y陽性例構成割合,変異株PCR検査実施割合 | 東京都 新型コロナウイルス感染症対策サイト

                                              東京都福祉保健局: 〒163-8001 東京都新宿区西新宿2丁目8番1号 電話:03-5320-4032 FAX:03-5388-1400 Copyright © Bureau of Social Welfare and Public Health, Tokyo Metropolitan Government. All Rights Reserved.

                                              • 全国130万件の交通事故マップ-みえない交差点-プレミアムA:朝日新聞デジタル

                                                人身事故が起きた全国130万件分の地点を日本地図に置き、あなたの近くに潜む危険な場所を可視化しました。各地の小さな交差点で交通事故が多発していることも明らかに。

                                                  全国130万件の交通事故マップ-みえない交差点-プレミアムA:朝日新聞デジタル
                                                • 今年もミクシィの22新卒技術研修の資料と動画を公開します!

                                                  今年も技術研修資料と動画を公開します!MIXIの新卒技術研修の方針や、LayerX様との合同研修についても紹介します! 研修資料・動画一覧Git研修( 動画 / スライド )データベース研修( 動画 / スライド1, 2 / SQL演習環境 )設計・テスト研修( 動画 / スライド )コンテナ研修( 動画 / スライド1, 2 )iOSアプリ開発研修( 動画 / スライド / リポジトリ )Androidアプリ開発研修( 動画 / スライド / リポジトリ )フロントエンド研修( 動画 / スライド / リポジトリ )ゲーム開発(Unity)研修( 動画 / スライド1, 2, 3, 4, 5, 6 / リポジトリ )Flutter研修( 動画 / スライド / リポジトリ )AI研修( スライド1, 2, 3, 4 / リポジトリ )セキュリティ研修( スライド )チーム開発研修( スラ

                                                    今年もミクシィの22新卒技術研修の資料と動画を公開します!
                                                  • さよなら本番サーバー - Qiita

                                                    とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無

                                                      さよなら本番サーバー - Qiita
                                                    • Googleスプレッドシートと同期できるデータベースアプリ「Memento Database」がかなりいい! - ロマろぐ

                                                      Android/iOSアプリ「Memento Database」 使ってみる(同期の検証) 便利な機能 無料版と有料プランの違い かなり満足! 僕は今はGoogleスプレッドシートで購入物を記録しています。 GoogleスプレッドシートはGoogleドライブで同期でき、ハードオフなど出先でスマホで検索できるのでそこそこ便利です。 ただ、スマホでの一覧性はあまりよろしくなく、検索機能も乏しくソートや条件での整理はできません。画像の登録・閲覧も限定的。まぁそりゃそうだ。ExcelもGoogleスプレッドシートも表計算ソフトであってデータベースソフトではないしね。 ならばデータベース専用ソフト(AccessやFilemaker)で記録と管理を・・・ということになりますが、これらのソフトは使い勝手がかなり専門的で古臭いのです。ボタン一つでスマホ対応・クラウド同期はほぼ無いですし、特に表計算ソフトで

                                                        Googleスプレッドシートと同期できるデータベースアプリ「Memento Database」がかなりいい! - ロマろぐ
                                                      • SQLの実行計画の読み方 |

                                                        今回は、SQLを書く上で特にパフォーマンスに影響のあるSQLの実行計画の読み方について解説します。実行計画はデータベース製品によってさまざまに差異がありますが、ここでは比較的どのデータベース製品でも共通する内容について解説します。 実行計画とは記述したSQLが実際にデータベースの内部でどのように処理されて結果を返すか、その処理方法を記述した情報です。 A5:SQL Mk-2では、SQLエディタで実行計画を見たい SQL の上にキャレットがある状態でメニューから [SQL(S)] – [SQLの実行計画(J)] または、Ctrl+E で表示できます。 表示の仕方はデータベース製品ごとに異なりますが、多くのデータベース製品ではツリー状の情報として表現されます。(このため A5:SQL Mk-2でもツリービューで実行計画を表示します。) ツリーのリーフ(端)から処理が行われ、ルート(根)に向かっ

                                                        • 日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita


                                                           Community Geocoder  Community Geocoder  12 GitHub  JSON    IMI  調Facebook  @hfu 
                                                            日本の住所の正規化に本気で取り組んでみたら大変すぎて鼻血が出た。 - Qiita
                                                          • COVID-19 Japan 新型コロナウイルス対策ダッシュボード #StopCOVID19JP

                                                            新型コロナウイルス感染症(国内事例) 現在患者数 / 対策病床数 ※軽症者等は自宅療養など、病床を使用しないことがあります(詳細) (現在患者数 前日より増加 前日より減少) credit APP (アプリ開発/提供): CC BY jig.jp 福野泰介 @taisukef (src on GitHub) 「厚生労働省提供 新型コロナウイルス対策ダッシュボードについて」「感染者PDFデータをJSON-API化して公開」 DATA: CC BY「新型コロナウイルス感染症について - 厚生労働省」→ JSON / CSV / TXT (集約版 CSV / JSON / APP) DATA: CC BY COVID-19 Japan 新型コロナウイルス対策ダッシュボード JSON / CSV / TXT(厚生労働省、各都道府県公表データの集約) DATA: CC BY 「新型コロナウイルス患者

                                                              COVID-19 Japan 新型コロナウイルス対策ダッシュボード #StopCOVID19JP
                                                            • データベース研修(データベース基礎編)【ミクシィ22新卒技術研修】

                                                              22新卒技術研修で実施したデータベース研修(データベース基礎編)の講義資料です。 動画:https://youtu.be/dseGQ2MZF1U SQL演習編 https://speakerdeck.com/mixi_engineers/2022-sql-training

                                                                データベース研修(データベース基礎編)【ミクシィ22新卒技術研修】
                                                              • データベース設計の際に気をつけていること - 食べチョク開発者ブログ

                                                                皆さんこんにちは、エンジニアの西尾です。 新しい機能・サービスを開発する際、私は特にデータベース設計に気をつかいます。 データベースはシステムの土台です。 土台が不安定だと、その上に積み上げていくアプリケーションコードがいびつなものになり、つらい思いをします。 また、一度動き出してしまったシステムのデータベース設計を変えるのは、容易なことではありません。 データベース設計には”これだ!”という正解はないと思っています。 サービスの特徴、システムの性質、toB向け/toC向け、Readが多い・少ない、Writeが多い・少ない。 その他もろもろの背景により、データベース設計の仕方も変わってきます。 このテーブルは正規化していないから駄目だ、この設計はいわゆるポリモーフィック関連だから使ってはいけない、などということはありません。 アンチパターンと呼ばれるものも時と場合によっては正解になります。

                                                                  データベース設計の際に気をつけていること - 食べチョク開発者ブログ
                                                                • 【まとめ】大学が公開している有益な資料 - Qiita

                                                                  はじめに 今回は各大学が公開している、エンジニア向けの資料をまとめていきます。 東京大学 ChatGPT活用法 ChatGPTの基礎的な内容から実際にどのように活用すべきかが解説されている。 Pythonプログラミング入門 Pythonについて環境構築から始まり、基本文法、応用的な使い方まで分かりやすく解説されている。 AWS入門 ハンズオン形式でAWSの学習ができる。 AI・データサイエンスの活用事例 データサイエンスやAIの活用事例を学べる。 人工知能・深層学習を学ぶためのロードマップ AIやデータサイエンスの具体的な活用事例が学べる。 京都大学 プログラミング演習 Python 統計学 統計学やデータ分析、検定を学べる。 慶應大学 ChatGPTの活用資料 ChatGPTを用いた開発方法が学べる。 東京工業大学 機械学習 筑波大学 データベース データベースの基本から正規化や設計とい

                                                                    【まとめ】大学が公開している有益な資料 - Qiita
                                                                  • みずほ銀行窓口業務ストップの真相、DC切り替えをためらい障害が長期化

                                                                    みずほ銀行で2021年8月20日、営業店の窓口業務が全面停止するトラブルが発生した。前日の19日午後8時53分ごろに営業店端末と勘定系システムをつなぐサブシステムで、データベース(DB)サーバーがディスク装置の故障をきっかけに停止したためだ。待機系DBサーバーへの切り替えも失敗、副データセンター(DC)に処理を切り替えた。副DCへの切り替えに着手するまで11時間超を要し、業務開始に間に合わなかった。 みずほ銀行で2021年8月20日、全463店舗で営業店端末や店頭のタブレット端末が使用不能になった。午前9時の開店から午前9時45分までは全ての店頭取引ができなくなり、その後も午前11時58分まで融資や外国為替(外為)の一部取引ができなくなった。営業店端末などと勘定系システム「MINORI」をつなぐサブシステム「業務チャネル統合基盤」が前日の8月19日午後8時53分ごろに停止したためだ。 業務

                                                                      みずほ銀行窓口業務ストップの真相、DC切り替えをためらい障害が長期化
                                                                    • 決済システムの残高管理周りの DB 設計と戦略 - カンムテックブログ


                                                                        user_id  balance  updated_at  balance  updated_at DB Transaction Processing   
                                                                        決済システムの残高管理周りの DB 設計と戦略 - カンムテックブログ
                                                                      • データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック(構造化データ加工編)」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会

                                                                        一般社団法人データサイエンティスト協会(所在地:東京都港区、代表理事:草野 隆史、以下データサイエンティスト協会)は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック(構造化データ加工編)」をGitHubに公開しました。 「データサイエンス100本ノック(構造化データ加工編)」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

                                                                          データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック(構造化データ加工編)」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
                                                                        • 『データ分析のためのSQL勉強会』資料公開|高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』

                                                                          この本では、無料で公開しているnoteの内容をさらに丁寧に分かりやすく、体系化させてアップデートした内容となっています。 noteの内容を立ち読みだと思ってもらい、より丁寧に学びたい場合は是非書籍を読んでもらえると嬉しいですmm これからSQLを学びたいと思っている方向けに作成したSQL勉強会の資料を公開します!(以下の方向けの勉強会資料です) SQLをこれから学びたい人 仕事でSQLを触り始めたけどイマイチよくわからない人 データ集計やデータ分析をエクセル使ってやってる人 資料こちらから最新の資料をダウンロードして下さい。 (※「Source code (zip)」からダウンロードして下さい) 資料の構成は以下の通りです。 docs PDF資料 演習問題など含めて全部で約200ページくらいあります data ハンズオン用テストデータ csvファイル3つ script ハンズオン用テストデ

                                                                            『データ分析のためのSQL勉強会』資料公開|高橋 光 | 著書『データ分析力を高める ビジネスパーソンのためのSQL入門』
                                                                          • RDBのデータモデリング・テーブル設計の際に参考にしている考え方と資料

                                                                            はじめに タイトルのとおり、RDBのデータモデリング・テーブル設計を行う際に参考にしている考え方と関連資料をまとめました。 P.S. なんと本記事内でいくつか参考として挙げさせてもらっている増田さん・かとじゅんさん・奥野さん・そーだいさんからコメントいただくことができました。 本当にありがとうございます。 前提 RDBを採用するのは事実を無駄なく正しく記録するため 正規化、トランザクション、制約とデータ整合性 基本的には始めに理想として集合論・リレーショナルモデルに基づいて正規化を考え(論理設計)、パフォーマンスなどの現実問題に対して折り合いをつけていく(物理設計) 制約を最大限利用する cf: ↑P91〜 ↑P.29,41 ↑P56〜 ↑5章 ↑P347~ 情報とデータ データ:単なる事実の値→これを永続化して蓄えるものがRDB 情報:データから生み出される意味や目的のあるもの→RDBか

                                                                              RDBのデータモデリング・テーブル設計の際に参考にしている考え方と資料
                                                                            • 検索が爆速になるデータベース設計を公開します

                                                                              こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」(~約2万件) プランの情報「朝食付き・ロングステイ△△プラン」(0~1500件/施設) 客室の情報(~100件/

                                                                                検索が爆速になるデータベース設計を公開します
                                                                              • 個人開発のコストはDB次第 - laiso

                                                                                個人でWebサービスを継続的に運用するのは金がかかってかなわんという問題がある 「個人開発」だと定義が曖昧なので自己資金かつ赤字のプロジェクト(Webサービス)ということにする。 そういうプロジェクトではプロダクトオーナー=自分、開発者=自分、予算管理者=自分というロールになるので予算管理者としてコストを図る必要がある(ここでいうコストはWebサービスを実現するアプリケーションのランニングコストのこと)。 通常はみんな自分の人件費を0として計算していると思う(逆にいうとそれが負債という考え方もできると思う)。 ただしメンテナンス時間とコストのトレードオフもあるので、人件費0ではあるけど有限の時間は別軸として管理しているのが普通だと思う。極端な例だと「コスト削減できるけどメンテナンス時間10倍になる」というのは避けられる。 仮に個人開発のプロジェクトの予算を月数千円から高くても1万円ぐらいか

                                                                                  個人開発のコストはDB次第 - laiso
                                                                                • データベース設計におけるNULL - kawasima

                                                                                  NULL絶対ダメ論や現実的には無理だから上手く付き合っていくしかないんだよ論など見られるが、せっかくCodd博士が上図の分類を提示しておられるので、これを元にもっと詳細化して考えてみよう。

                                                                                    データベース設計におけるNULL - kawasima

                                                                                  新着記事