[B! statistics] barringtoniaのブックマーク

Applied Machine Learning Using mlr3 in R

barringtonia 2024/04/23

リンク

はじめに

このドキュメントは﹃指標・特徴量の設計から始めるデータ可視化学入門﹄で提供されているPythonによる可視化コードをR言語で書き直したものです。ただし、Pythonのコードの直訳・逐語訳ではなくRらしい書き方・表現へ意訳しています。以下が各章ごとのドキュメントです。 2023年2月時点で第8章まで完成。第1章データ可視化の本質第2章数量を把握するデータ可視化第3章メカニズムをとらえるデータ可視化第4章多変数をとらえるデータ可視化第5章データの分布をとらえる指標化第6章関係性をとらえる指標化第7章パターンをとらえる指標化第8章データ指標化・可視化のプロセス MATLAB版も公開されています。以下の方針を取っています。書籍とPythonのコードで微妙に異なる箇所は、極力書籍に合わせる。配色の再現は目指さない。 jetカラーのグラデーションはviridi

barringtonia 2024/01/18

r
statistics

リンク

実験データ解析再入門：論文を「フェイクニュース」にしないために

脳科学若手の会ワークショップ（2022.3.13）神谷之康（京都大学・ATR）概要概念や仕組みをよく理解しないまま実験データの解析で使っている統計手法はありませんか。神経科学では大規模で多様なデータ取得が可能となり、統計解析の重要性が増しています。昔なら比較的無害だった統計の誤用が致命的な偽陽性を生み、論文を「フェイクニュース」にしてしまうことがあります。このワークショップでは、実験データ解析で最近よく使われるが授業ではあまり学ばない、効果量、サンプルサイズ設計、多重比較補正、交差検証、混合モデル、ベイズ推論、因果推論などの考え方のキモを、演習を交えて解説します。その後、参加者が作成する実験の事前登録（プレレジ）のサンプルについてディスカッションし、オープンで再現可能な研究実践法を身につけることを目指します。

barringtonia 2024/01/02

statistics

リンク

数の値打ち

発売日 2023年8月26日本体価格 4,000+税判型 A5判・上製頁数 416頁 ISBN 978-4-8459-2130-0 Cコード C0095 装幀大倉真一郎原題 The Values in Numbers: Reading JapaneseLiterature in a Global Information Age その他のネット書店から購入﹁機械で読む﹂ことで何ができるのか？デジタル・ヒューマニティーズ×日本文学研究から生まれた驚くべき成果。デジタル時代の文学リテラシーがこの一冊でつかめる、最前線の研究をいち早く翻訳！数字と文学のあいだの概念上の分断を超えて、批評理論と統計学・計量的読解を融合した新たなアプローチから、言語やテキストにひそむ人間の認識の問題にせまり、日本文学の読み直しを通して世界文学へと接続する。データ・サイエンスの影響をうけた北米

barringtonia 2023/08/01

リンク

ヒト臨床試験安心プラン | 株式会社オルトメディコ

新サービス「ヒト臨床試験安心プラン」につきましてお詫びとプラン名称変更に関して安心プランは、介入方法 (食品、素材など) の基礎研究データや先行研究データなど、機能性を検証する食品または素材に関わるすべてのデータを提供いただき、それらデータを専門家が審査します。当該プランを委託するには、専門家の審査通過が必要であり、ご依頼をいただいても情報不足や情報の品質によってはお断りいたします。また、機能性表示食品制度におけるヘルスクレームや主要アウトカムも弊社指定の試験デザインとしております。どうして安心なのか？

barringtonia 2023/03/08

統計解析の段階ではなくて、試験自体をやり直す(?)らしいので狭義のP値ハックより怖い気がする

リンク

ランダムフォレストによる因果推論と最近の展開

フォレストワークショップ2023で行った招待講演の内容・honest treesとは？・Causal treesによる因果推論・Random forestの漸近正規性と、causal forestによる因果推論・Generalized random forestによる因果推論

barringtonia 2023/02/28

リンク

バスの乗り方大全 - 最終防衛ライン3

はじめに「バスの乗り方が分からないなら検索しろ！」は的確かバスの乗り方が最もカオスなのは奈良県前から乗るか、後から乗るのか、運賃を乗車時に支払うのか降車時に支払うのか奈良はなぜカオスなのか路線バスの多い都道府県自治体の運営するバスコミュニティバスを運行する自治体の割合コミュニティバスを含めたバスの乗り方まとめ路線バスとコミュニティバスの集計方法乗り方案内をHPに掲示する「路線バス会社」の割合と集計方法コミュニティバスを運営する自治体の割合と集計方法最後にやはり……「バスの乗り方が分からなかった検索しろ」はじめに「バスの乗り方が分からない」との声にお応えするため、全国の路線バスを運行する会社が HP 上で乗り方案内を掲示しているかを調べた。ついでに、自治体が運営するコミュニティバスについても集計した。集計結果をスプレッドシートにまとめた。具体的な集計方法は後述

barringtonia 2022/09/22

各バス停にも対応ICとともに明記してほしい。乗換案内アプリがダイヤ変更に追随していなかったり、繁華街等だと同じ名前(+アルファベット)のバス停が複数あって場所がわからなかったり、他にもハードルはある

リンク

NDL Ngram Viewer | NDLラボ

サービスURL https://lab.ndl.go.jp/ngramviewer/ 概要 OCRによって作成されたテキストデータから、出版年代ごとの単語及びフレーズ（以下「キーワード」といいます。）の出現頻度を可視化・列挙することができるサービスです。可視化グラフの縦軸は、年代ごとにキーワードが何回出現したかを表す出現頻度と、出現頻度を出版年代ごとの総ngram数で割った値を表す出現比率の2種類を切り替えることができます。 2023年1月現在の対象は、国立国会図書館デジタルコレクションで提供されているデジタル化済み資料のうち、図書約97万点及び雑誌約132万点のOCRテキストデータから集計した、約17億種類のキーワードです。具体的な内訳は次の通りです図書及び雑誌約230万点（約17億種類のキーワード) 図書約97万点（約8.5億種類のキーワード) 雑誌約132万点（約8.9億種類の

barringtonia 2022/06/06

リンク

NDL Ngram Viewerを使って「私小説」概念の歴史を大づかみしてみた - 日比嘉高研究室

﹇目次﹈1．文芸用語﹁私小説﹂の使用頻度を調べる2．複数の検索語彙を重ねて表示させる3．﹁私小説/心境小説/本格小説﹂4．﹁私小説/純文学/通俗小説﹂﹁通俗小説/大衆小説﹂5．﹁探偵小説/歴史小説/家庭小説/私小説﹂6．冷静になってちょっとデータを補正する7．まとめ︿点と線の文学史﹀から︿量の文学史﹀へ言及した文献︵年代順︶国会図書館のNDL Lab.で、NDL Ngram Viewerというサービスの公開が始まったので、ちょっと使ってみた感想を書く。が、ちょっとのつもりで書いていたらものすごく長くなってしまった。結論だけ知りたい人は目次から﹁まとめ　︿点と線の文学史﹀から︿量の文学史﹀へ﹂へどうぞ。 lab.ndl.go.jp どんなサービスなのかということは、NDL Lab.のページに簡潔に書いてあるので、そちらをご覧いただくとよいのだけれど、要するに、国会図書館の

barringtonia 2022/06/06

面白いけれど、対象文献の数自体が年代ごとに大きく異なるので、一部の議論は、「出版年代ごとの総対象Ngram数」で割った比率で見ないといけないのでは？検索結果の左上のトグルスイッチで切り替えられる。

リンク

沖縄復帰50年、基地はどこへ　写真とグラフィックで見る米軍基地の変遷：朝日新聞デジタル

半世紀前、日本への復帰によって沖縄の人たちがのぞんだ未来は、﹁本土並み﹂の米軍基地の負担だった。しかし、1972年の復帰前後に次々と姿を消したのはむしろ、本土の基地。なぜだろうか。 1952年に日本が占領を脱した後も、日米安保条約に基づき、米軍は全国に駐留し続けた。米軍機の墜落事故や、米兵による犯罪。基地と住民とのあつれきは、本土でも沖縄でも生じていた。同じスローガンを掲げた抵抗沖縄県公文書館提供沖縄・伊佐浜︵現宜野湾市︶での土地の強制接収に抵抗する住民たち︵左、1955年︶と、米軍の試射場撤去を求めた1950年代の内灘闘争︵石川県︶で使われたむしろ旗︵右︶墜落事故沖縄タイムス提供宮森小学校に米軍機が墜落、児童ら17人死亡︵左、1959年、現沖縄県うるま市︶。市街地に戦闘機が墜落し住民ら4人死亡︵右、1964年、東京都町田市︶犯罪女児が米兵に殺害された事件を伝える沖縄タイム

barringtonia 2022/05/17

リンク

競技かるたの決まり字に関する統計的解析

競技かるたとは，百人一首の札を取る速さを競うスポーツである．上の句が詠み上げられるのを聞いて対応する下の句の札を取り合うが，どの札が詠まれたか一意に定まる最初の数文字のことを決まり字とよぶ．たとえば，﹁ち﹂で始まる札は3枚あり，決まり字はそれぞれ﹁ちは﹂﹁ちぎりき﹂﹁ちぎりお﹂である．しかし，実際には決まり字を聞くよりも早い段階で札が識別できるという選手も多い．そこで本研究では，ベイズモデルを用いた音声解析によって，札による詠み音声の違いがどの時点で生じるかを調べた．選手が詠み音声を聞いて札を識別する過程を逐次ベイズ推定として定式化し，詠み音声の生成過程を隠れマルコフモデルでモデル化した．すなわち，選手は詠み音声を聞きながら札の事後分布を逐次更新し，事後分布が1つの札に集中した時点で札を識別すると仮定し，札の事後分布の更新には隠れマルコフモデルの周辺尤度を用いるとした．このモデルを用いて﹁

barringtonia 2022/02/26

リンク

審判を審判する2022

花样滑冰。中国語で花のように氷上を滑ると書くフィギュアスケートの競技が北京冬季五輪で始まった。露骨なバイアス判定があった韓国・平昌大会以降、11段階採点法や加減点基準の明確化などが進められ、ジャッジの精度は大幅に向上した。ただ、自国選手に対する甘い評価︵ナショナルバイアス︶は時々顔を出す。 2022/2/20 五輪結果の分析国際スケート連盟︵ISU︶の審判評価委員会が評価の基準に用いている逸脱点︵偏差︶は、2021/22年シーズンに大幅に向上した。同季の基準では、①GOE逸脱点が2.0を超えた場合、②PCS逸脱点が1.5を超えた場合に委員会の審査対象になる。 GOE逸脱点の散らばり︵標準偏差︶は、18/19年の0.75から21/22年の0.69に縮小した。また、審査対象になる異常逸脱点の比率も1.16％から0.78％に減少した。21/22年は新型コロナウイルスの影響で審判が9人揃わなか

barringtonia 2022/02/12

リンク

マニフェスト選挙を疑え：2021年総選挙の計量政治学

マニフェストと言えば、総選挙（衆院議員選挙）。総選挙と言えば、マニフェスト。各政党が作成し、選挙の前に配布する政権公約集のことである。この用語は、有権者の間で広く一般的に認知されるようになってきていると思われる。しかし、マニフェストは日本の政治をより良くすることに役立っているのだろうか。選挙の結果は、各党が作成するマニフェストに対する支持・不支持を反映しているのだろうか。マニフェスト選挙18年、続く自民党の圧勝マニフェストの起源は19世紀における英国の総選挙とされているが、日本の総選挙で各政党が初めてマニフェストを作成・配布したのは、18年前の2003年11月である。2003年10月の改正以前の公職選挙法では、枚数、サイズなど厳密に規定されたビラ以外、政党が政策資料を作成して頒布することすら禁止されていたのである。それから18年。マニフェスト選挙元年に生まれた赤ちゃんの多くは、今年1

barringtonia 2021/12/09

マーケティングにおいて商品の属性別評価に使われるコンジョイント分析を用いた政策と政党の相互作用に関する分析

リンク

【デジタル庁】EBPM推進委員会（第1回）について考察してみた｜こてっちゃん

実は、11月4日にEBPM推進委員会なるものが開催されておりました。資料などが公開されていなかったためすぐに記事を書けなかったのですが、本日みてみたらなんと、めちゃくちゃ資料がアップロードされていました。なので、めんどくさいけど見たらなんかいいことある気がする、いやないなと鬩ぎ合う気持ちを持ちつつ読み進めていき、いつも通り愚痴多めの考察を進めていきたいと思います。推進体制 IT室にぶら下がっていたものは全廃なのでまるっと体制作り替えてみましたということのようです。ただ、一番下のEBPM推進委員会という名前自体はそのままなんですね。構成員や任務自体にも変化なしと。今回配布された資料群多い。とても多くて見る気力が湧かないが順々にみていけばいずれ最後までいくだろう。各府省におけるEBPMの取組状況そもそも、皆様今まで各省庁がどんなEBPMをしてきたと思いますか？それがみれる部分がこの取組

barringtonia 2021/11/26

リンク

内閣府エビデンスシステム[e-CSTI]

Evidence data platform constructed by Council for Science, Techno logy and Innovation

barringtonia 2021/11/08

なぜ科学技術政策限定なんだろう？

リンク

ビッグデータ解析でわかった「研究力」と「科研費・交付金」の関係ニュースイッチ by 日刊工業新聞社

内閣府の総合科学技術・イノベーション会議︵ＣＳＴＩ、議長＝菅義偉首相︶は﹁論文成果には科学研究費助成事業︵科研費︶や運営費交付金の方が、近年急増した﹃その他の競争的資金﹄より効果的だ﹂と明らかにした。政策立案のエビデンス︵根拠︶を導く﹁ｅ―ＣＳＴＩ﹂のビッグデータ︵大量データ︶解析で分かった。イノベーション創出や実用化に向けた競争的資金は、論文を指標とする研究力向上には貢献しないことを、再認識する必要がありそうだ。︵編集委員・山本佳世子︶２０２１年度からの第6期科学技術・イノベーション基本計画の議論では﹁国費の選択と集中によらず研究力が低下している﹂との声が上がる。そこでＣＳＴＩ事務局は研究力の指標とされる論文の質と量で分析した。使ったのは国立大学、国立研究開発法人などの研究や資金獲得のデータを関連づけるウェブツールのｅ―ＣＳＴＩだ。財源は18年度で使途が自由な運営費交付金など︵学生納

barringtonia 2021/11/08

「論文成果には」というところが重要かと。「その他の競争的資金」は、実用化、社会実装、政策貢献、人材育成等が要求されることが多く、論文よりもそちらを重視するのであれば、必ずしも間違いという訳ではない。

リンク

Palantirが想像以上にSIerだった件｜ミック

ソフトウェア企業のIPOとしては史上最高額をつけたSnowflakeをはじめとして、Asana、Sumo Logic、Unityなど、2020年の秋はコロナ禍を受けた前半の鬱憤を晴らすかのように、ソフトウェア企業のIPOラッシュとなった。多くがクラウドの機動性を活かしたモダンなSaaSで、スケーラビリティのあるビジネスモデルで急成長を遂げた企業である。その中に一社、異彩を放つ企業がある。 Palantir – Paypal創業者ピーター・ティールが率いるデータ解析企業である。Palantirは、その極端な秘密主義とペンタゴンやCIAとの強い結びつきによって、様々な「神話」のヴェールを纏っている。ビンラディンの居場所を特定するのに決定的な役割を果たした（Palantirはこの噂を否定も肯定もしていない）とか、バーニー・マドフの逮捕に貢献したというのは、よく語られるエピソードだ。 Palant

barringtonia 2021/10/13

リンク

メンデルの法則をめぐる論争について (1) - メンデルはデータを捏造したのか？フィッシャーによる2つの指摘 - もうカツ丼はいいよな

関連記事一覧メンデルの法則をめぐる論争について (1) - フィッシャーによる2つの指摘 < イマココメンデルの法則をめぐる論争について (2) - ﹁1:1.7問題﹂は解決できるメンデルの法則をめぐる論争について (3) - ﹁データができすぎている﹂は解決できないメンデルの法則をめぐる論争について (4) - 連鎖および近年のメンデルに対する評価﹁メンデルのデータには捏造があるのではないか﹂という説は統計学の読み物や教科書にしばしば登場する。多くの場合、これはR. A. フィッシャーによる指摘として紹介される。例として﹃背信の科学者たち﹄の一節を次に引用する。しかしながら、メンデルのデータが極めて正確であったため、一九三六年、高名な統計学者であるロナルド・Ａ・フィッシャーは、メンデルの方法を綿密に検討することにした。その結果はあまりにもうまくできすぎていた。フィッシャーは、

barringtonia 2021/10/10

フィッシャーの指摘のうち、少なくとも一方は否定されたとはいえない状況とのこと

リンク

beyond-bar-and-box-plots/README.md at main · z3tt/beyond-bar-and-box-plots

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert