データセット

データセット︵英: data set, dataset︶は、データの集合のこと。表形式のデータの場合、テーブルの各列が特定の変数を表し、各行が特定のレコードに対応するような1つ以上のデータベーステーブルをデータセットという。データセットには、各オブジェクトの高さや重量といった変数の値が並べられている。データセットは、ドキュメントやファイルの集合で構成することもできる。

オープンデータの分野では、データセットはパブリックなオープンデータリポジトリで公表された情報量を測定するための単位でもある。例えばヨーロッパオープンデータポータルは、50万以上のデータセットを集約している。データセットの定義は複数提案されているが、2020年現在公式の定義といえるものはない。データセットの中にはリアルタイムデータソースなども存在しており、そうしたデータの存在もまた、データセットの定義について合意することを困難にしている。

属性

いくつかの特性により、データセットの構造とプロパティが定義される。この特性には、属性や変数の個数やタイプのほかに、標準偏差や尖度といった、属性や変数に対して適用可能なさまざまな統計的尺度が含まれる。

データセットに含まれる値は、例えば、実数または整数などの数値である場合がある︵例えば人の身長は、センチメートルという単位を用いて数値で表される︶が、他方でカテゴリのような文字列で表現されるラベルである場合もある︵例えば、ある人物が属する民族は数値では表せない︶。より一般的には、値は尺度のいずれかに当てはまる。通常、同じ変数に対応する値は、データが変わっても同じ種類である。ただし、データによっては欠落がある可能性もあり、それも何らかの方法で示す必要がある。

統計学においては、データセットは通常、母集団をサンプリングすることによって取得される、実際の観測値に由来するものである。データセットの各行は、母集団の1要素の観測値に対応する。データセットは、特定の種類のソフトウェアをテストする目的で、アルゴリズムを用いてさらに生成される場合もある。また、データが欠落していたりその値が正しいかどうか疑わしい場合には、代入法を使用してデータセットを完成させることもある。

古典的なデータセット

統計学の文献では、古典的なデータセットが広く使用されている。

●アイリスフラワーデータセット – ロナルド・フィッシャーによって1936年に導入された多変量データセット。

●MNISTデータベース – 分類、クラスタリング、画像処理アルゴリズムの評価に一般的に使用される手書き数字の画像を含むデータセット。

●Categorical data analysis – An Introduction to Categorical Data Analysis︵Alan Agresti、2019年︶で用いられているデータセット。

●Robust statistics – Robust Regression and Outlier Detection︵Rousseeuw、 Leroy、1986年︶で使用されているデータセット。

●Time series – チャットフィールドのThe Analysis of Time Seriesで使用されているデータ。

●Extreme values – An Introduction to the Statistical Modeling of Extreme Valuesで使用されているデータは、本の著者であるStuartColesが提供していたデータのスナップショットである。

●Bayesian Data Analysis – 同名の本︵A. Gelman, J. B. Carlin, H. S. Stern, D. B. Rubin, 1995年︶で使用されているデータは、著者の1人であるAndrew Gelmanによりオンラインで提供されている。

●アンスコムのカルテット – 統計的誤謬を回避するためにデータをグラフ化する重要性を示す目的の、小規模のデータセット。

関連項目

●データ

●データブレンド

●データ (計算機科学)

●サンプル

●データストア

●相互運用性

●データ収集システム

脚注

出典

参考文献

• 株式会社 野村総合研究所『統計データの補完推計に関する調査 (pdf)』（レポート）、総務省統計委員会事務局、2013年3月、1–96頁。2021年2月24日閲覧。

外部リンク

• Datahub – コミュニティベースでオープンデータを管理しているサービス
• Data.gov – アメリカ政府が公開しているオープンデータ
• Bayesian Data Analysisの付録