gfxのブックマーク - はてなブックマーク

データセットの本質的な性質を踏まえないデータ分析には、大抵何の意味もない - 渋谷駅前で働くデータサイエンティストのブログ

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransf ormerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。しかし、それは同時に﹁データセットが持つ本質的な性質﹂と﹁データ分析手法の性質﹂とのミスマッチと、それが引き起こす問題とについてこれまであまり関心を持ってこなかった人が多いということなのかもしれません。そして、そのミスマッチは冗談でなく古来からある程度定まった類型があり、データ分析業界の古参なら﹁そんなの常識だよ﹂というものばかりだったりします。ところが、最近僕の周囲でもそういうミスマッチが深刻な実問題を招いているケースが散見され、思ったよりもそれは常識ではないのかな？と思わされることが

gfx 2023/11/14

リンク

「機械学習で時系列予測はできるのか」論議がTransformerと共に帰ってきた - 渋谷駅前で働くデータサイエンティストのブログ

先日、こちらのポストをお見かけしました。 AI 技術開発部の高橋が社内勉強会の資料﹁時系列予測にTransf ormerを使うのは有効か？﹂を公開しました。論文Are Transf ormers Effective for Time Series Forecastingの紹介を中心に、時系列予測について解説しています。ぜひご覧ください。https://t.co/LplxTT8b1d pic.twitter.com/nUXb4bGiQ3— GOInc. AI Tech (@goinc_ai_tech) 2023年9月28日なるほど、NN全盛というかNN一択の時代にあっては時系列予測もNNでやるのが当たり前になったのだなという感想でした。大昔﹁沖本本﹂で古典的な計量時系列分析を一通り学んだ身としては隔世の感がありますが、これもまたNN時代の趨勢なのでしょう。なお、元論文2点は上記リンクから辿

gfx 2023/10/21

リンク

NN研究における再現性にまつわるエトセトラ - 渋谷駅前で働くデータサイエンティストのブログ

先日、ふとしたきっかけでしましま先生*1がこちらの論文について触れられているのを見かけたのでした。これは推薦システム分野におけるNN研究の再現性について検証した2019年の論文で、近年のトップ会議*2に採択されたNN手法18個に対して再現を試みたところ、「reasonableな」努力で再現できたのはわずかに7個に過ぎず、その中でも1個は論文中で主張されたベースラインを超えることは出来なかったと報告しています。ただ、この報告はNN研究における再現性に関する議論のあくまでも一例であり、実際コロナ禍以前から「論文中ではSOTAを達成と書いているのに同じ実装をどう組んでもSOTAに達しない」みたいな業界噂話はそこかしこで耳にしたものでした。しかしながら、実際のソフトウェアやアプリケーションとしてそれらのNN手法が用いられて、尚且つその結果として何かしらの不具合でも起きない限りは、機械学習業界の

gfx 2023/07/26

リンク

LLM chatbotが人類にもたらすのは、絶望なのか希望なのか - 渋谷駅前で働くデータサイエンティストのブログ

ちょっと前に以下のようなことを放言したら、思いの外反響が多くてちょっとびっくりしたのでした。それだけ、現代のLLM chatbot / generative AIの台頭に期待と不安を抱いている人が多いということの裏返しなのでしょう。既に色々コメントが出ているけど、我々人類が﹁知的労働﹂だと思っていることの大半が実は﹁過去実績をなぞって適当にその場に合わせて組み立てているだけ﹂なんじゃないかと訝っているので、そういう﹁自称知的労働﹂は多分LLMで代替されると思う。新奇なものを生み出す仕事は相変わらず残る https://t.co/GGK41vSDcn— TJO (@TJO_datasci) 2023年3月15日昨年の年末振り返り記事でも話題にしたChatGPT︵そして後続の各種LLM chatbot︶ですが、今年に入ってからの話題の広がり方には想像を超えるものがあり、ついに朝の情報番組な

gfx 2023/03/24

リンク

再現性問題のはなし - 渋谷駅前で働くデータサイエンティストのブログ

経済セミナー2022年6・7月号通巻726号【特集】経済学と再現性問題日本評論社Amazon 最近は計量経済学・統計学方面の方々との交流が多いんですが、そのご縁で『経済セミナー』の2022年6・7月号が再現性問題を取り上げていたと知り、入手して読んでみました。特集部分の目次を以下に引用すると、特集＝経済学と再現性問題【鼎談】再現性の問題にどう向き合うか？……川越敏司×會田剛史×新井康平心理学における再現性の危機――課題と対応……大坪庸介経済学における再現性の危機――経済実験での評価と対応……竹内幹フィールド実験・実証研究における再現性……高野久紀健全な研究慣習を身に付けるための実験・行動経済学101……山田克宣再現性問題における統計学の役割と責任……マクリン謙一郎という内容で、幾つかの分野にまたがって論じられています。特に、このブログ含めて個人的に度々お世話になってい

gfx 2022/07/07

元心理学徒として興味深く読んだ。QRPsを防ぐためにインセンティブを再設計するってのはよさそうに見える。

リンク

「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ

何かこんなメディア記事が出ていたようです。これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは﹁完全に間違った説明というわけでもないのに何故か︵両分野に詳しい︶誰が読んでも猛烈な違和感を覚える﹂ところなんじゃないかなぁと。正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている﹁統計学と機械学習の違い﹂についてちょっとコメントしてみようと思います。あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。統計学はデータを﹁説明﹂す

gfx 2015/09/17

リンク

杜氏のいない蔵元が示した「データ分析さえすれば職人の技を職人抜きでも再現できる」という事実の凄み（追記あり） - 渋谷駅前で働くデータサイエンティストのブログ

先日、とあるコンサルの社長さんとお酒を飲みながらお話していて出てきた話題が﹁畢竟データ分析って何の役に立つんだろう？﹂というものだったんですが、そこで僕が思い出して紹介したのが﹁獺祭﹂で世界進出を成功させている旭酒造のエピソードだったのでした。ということで、その事例を振り返りながら久しぶりにちょっと与太話でもしようと思います。 http://www.tv-tokyo.co.jp/cambria/backnumber/20140116.html ちなみに上ははてブでも大きな話題を呼んだ東洋経済の特集記事ですが、僕にとってはテレ東カンブリア宮殿で紹介された時の映像の方が遥かに衝撃的でした。﹁獺祭﹂は杜氏でも何でもない普通の社員が、データに基づいて一挙手一投足を決めながら仕込んでいる東洋経済の記事では割とざっくりとしか書かれてないんですが、カンブリア宮殿で放映された映像では獺祭の製造工程の

gfx 2014/11/01

リンク

そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 渋谷駅前で働くデータサイエンティストのブログ

データサイエンティストブームが去りつつある一方で、データ分析ブームそのものはじわじわと広がり続けている感じのする昨今ですが。最近また、色々なところで﹁本当にビジネスやるのに統計学って必要なの？﹂みたいな話題を聞くことが増えてきたので、何となくざっくりまとめて書いてみました。ちなみに今回の話題の参考図書を挙げようと思ったら、この辺ですかね。とある弁当屋の統計技師(データサイエンティスト) ―データ分析のはじめかた― 作者: 石田基広,りんと出版社/メーカー: 共立出版発売日: 2013/09/25メディア: 単行本この商品を含むブログ (13件) を見る統計学入門 (基礎統計学) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人クリック: 3,604回この商品を含むブログ (78件) を見る本当は赤