並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 53件

新着順 人気順

data-scienceの検索結果1 - 40 件 / 53件

 data-science53         3 (2020/7/31 ) - todo-mentors diary  
  • 「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary

    データサイエンティストを生業にする手段と実態について述べる。 途中、具体例・境界値の例として私個人の話もするが、なるべく一般性のある話をする。 この記事で言いたいことは具体的には4つだ。 プログラミングスクールをディスるなら代わりの入門方法を提供しようよ。 もう「未経験文系から3ヶ月でデータサイエンティストで一発逆転物語」を止めろ。*1 おじさんは人生逆転したいなら真面目にやれ。 若者はワンチャンじゃなくて、ちゃんと化け物になれよ。 この記事についてはパブリック・ドメインとして転載・改変・リンク記載を自由にしてよいです。 (続き書いた) a. 入門は辛いが… b. 思考停止でプログラミングスクールに通うな。 なろう系・始めてみよう系資料一覧 (最速・最短ルート用) まずは動かしてみよう。強くてニューゲームが体験出来るぞ! 入門以前の本 一般向け業界本 (AI業界と展望がわかる本) 技術者入

      「未経験文系から3ヶ月でデータサイエンティストになって一発逆転」はここで終わり (2020/7/31 更新) - todo-mentor’s diary
    • 総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門

      統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値~平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①-クロスセクションデータ- ・比率の見方②-使い方と注意点- ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手

        総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
      • chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話

        先日、データ解析のセミナーを開催しました。 未経験の方でも、2時間で予測モデルを作成することができるハンズオンセミナーでした。 好評だったので、その内容をYouTubeにまとめたのでご興味ある方はご覧ください。 このハンズオンセミナーで予測モデルの作り方を知った友人がchatGPTにアドバイスをもらって、データサイエンスのコンペティションサイトに応募したところ、上位6.5%に入ることができたという報告を受け、驚愕しました。 chatGPTを上手く使えば素人がプロに勝つことも十分できるのだなと実感しました。 友人が参加したデータサイエンスのコンペは、SIGNATEの糖尿病予測問題でした。 以下のような進め方をしたとのことでした。 まず、問題の概要を説明して、どのように進めていけば良いかを確認したそうです。 そうすると、chatGPTからデータサイエンスの問題を解くための手順を一覧化してくれて

          chatGPTにアドバイスをもらったらデータサイエンスを知って1週間の友人がコンペで上位6.5%に入った話
        • 機械学習が独学できる日本語Youtube難易度別まとめ - Qiita


           Youtube Python Python 使 model.fit(X, y)Python  Python 
            機械学習が独学できる日本語Youtube難易度別まとめ - Qiita
          • データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック(構造化データ加工編)」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会

            一般社団法人データサイエンティスト協会(所在地:東京都港区、代表理事:草野 隆史、以下データサイエンティスト協会)は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック(構造化データ加工編)」をGitHubに公開しました。 「データサイエンス100本ノック(構造化データ加工編)」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ

              データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック(構造化データ加工編)」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
            • データサイエンティスト生活でお世話になった本|武田邦敬|Kunihiro TAKEDA


               9     
                データサイエンティスト生活でお世話になった本|武田邦敬|Kunihiro TAKEDA
              • Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita

                こんにちは、Exploratoryの白戸です。 Appleは新型コロナウイルスの対策支援として、Appleマップでの経路検索をもとにした移動傾向のデータを公開しています。ところが、残念ながらこのデータはそのままでは簡単に可視化できるようなフォーマットになっておらず、ちょっとした加工を行う必要があります。 しかし逆に、加工の仕方さえわかってしまえばそれぞれの都市や地域の移動データを可視化することで、恐怖を煽るばかりのマスコミからは見えてこない現状を理解することができるようになります。 今回はこのAppleの移動傾向データを簡単に可視化できるようにするための基本的な加工方法を、みなさんと共有させていただければと思います。 データはこちらからダウンロードすることができます。 以下は「モダンでシンプルなUIを使ってデータサイエンスができる」Exploratoryを使って、「日本で最も自粛している都

                  Appleの移動データを加工したらわかった東京の厳しい現実 - Qiita
                • データ分析のための統計学入門.pdf

                  • タダで学べるデータサイエンス名著5冊 【日本書は高額でも英語ができれば怖くない】 - Qiita


                          (20205)   (20208) 1  : (15)  2014200120      : The Elements of S
                      タダで学べるデータサイエンス名著5冊 【日本書は高額でも英語ができれば怖くない】 - Qiita
                    • データエンジニア道の俺のバイブル


                        A Beginners Guide to Data Engineering  Part I  Functional Data Engineering  a modern paradigm for batch data processing 使dbt使 Engineers Shouldnt Write ETL: A Guide to Building a High Function
                        データエンジニア道の俺のバイブル
                      • データサイエンティストとして読んで役立った本たち@2020-07|だみ〜

                        2016年10月に未経験・新人データサイエンティストで雇ってもらいました。当時はまだ業界が牧歌的だったのと、比較的書類上のスペックが高い若者だったのもあり、運良く拾ってもらえたのでした。今だと100%受かってないです。 そんな私が今までで読んだ本の中で、役に立った本をつらつら書いていきます。 現代の若者がどんどん優秀になっているので、これくらいでいまんとこいっぱしのデータサイエンティスト(@ビジネスサイド)になれるんだなあという基準を述べようかと思いました。何年か後に振り返りたいですね。 もちろん、これが誰かの学習の役に立てばと思っています。 ちなみに、アフィリエイト入れてないので気にせず買っていってください。 数学無難に解析学と線形代数学を勉強しておくといいと思っています。

                          データサイエンティストとして読んで役立った本たち@2020-07|だみ〜
                        • IT未経験からMLエンジニアになるまでの2年半でやったこと - MLaaSS - Machine Learning as a Self-Satisfaction

                          はじめに 自身の転職活動にあたり皆さんの転職エントリが非常に参考になったので、私も同じ境遇の方の参考になればと思い、書き残すことにしました。(ただ、本当に私と似た境遇の方にはなかなかリーチしづらい気がしていますが・・・) TLDR; 30歳でIT未経験からMLエンジニアに転職 約2年半独学で勉強(ほとんどkaggleしてただけ) 無関係に思えた現職での経験もなんだかんだ転職で役に立った 目次 自己紹介 現職について 転職の理由 勉強したこと 転職活動 終わりに 1.自己紹介 かまろという名前でTwitterなりkaggleなりをやっています。kaggleでは画像やNLPといったdeep learning系のコンペを中心に取り組んでおり、2019年の9月に金メダルを獲得しMasterになることができました。 恐らくここが他の転職エントリを書かれている方々と大きく異なる点かと思うのですが、現職

                            IT未経験からMLエンジニアになるまでの2年半でやったこと - MLaaSS - Machine Learning as a Self-Satisfaction
                          • 各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ

                            都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

                              各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ
                            • 時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ

                              本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその

                                時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
                              • 22社、52人のデータサイエンティストに聞いてみた!「どんなお仕事してますか?」 | Da-nce

                                データ分析とビジネス活用のプロとして、さまざまな業界・フィールドで活躍する「データサイエンティスト」。 スキルセットや必要な知識などが語られることはあるものの、まだはっきりとした定義がなく、いったいどんな人たちなのか?と疑問を持つ人も少なくないのでは。 そこで本企画では、企業で働くデータサイエンティストたちの"リアル"を調査。データサイエンティストを志した理由や興味深かった論文、普段の業務、自社で働く魅力などを22社、52人のデータサイエンティストに聞きました。 企業一覧 DataRobot Japan株式会社 株式会社GA technologies 株式会社HACARUS 株式会社JMDC 株式会社LIFULL MNTSQ株式会社 NABLAS株式会社 株式会社Rist Sansan株式会社 SOMPOホールディングス株式会社 株式会社ZOZO 株式会社ZOZOテクノロジーズ アスクル株

                                  22社、52人のデータサイエンティストに聞いてみた!「どんなお仕事してますか?」 | Da-nce
                                • 【保存版】データサイエンティスト転職を決めるポートフォリオのガイドライン【書籍化決定】 - Qiita

                                  書籍化されました 本記事をベースに監修者の村上さんが1冊の本にまとめてくれました(感謝) データサイエンティストのキャリア面やポートフォリオの細かい部分をさらに追加・ブラッシュアップした内容になっています。 まえがき はじめに 皆さん、「データサイエンティスト」という職種をご存知でしょうか? この数年間で、AIやディープラーニングといったバズワードと共にデータサイエンティストというワードも、よく耳にするようになりました。最新の技術を扱えて、年収も高い非常に魅力的な職業なため、データサイエンティストへの転職を検討されている方もいらっしゃるのではないでしょうか? 実際、データサイエンティスト職への就職・転職希望者は年々増加しています。しかし、未経験の人材を育成できる会社はまだまだ少なく、未経験からの転職は転職希望者の増加に伴い高まっています。 データサイエンティストは求められるスキルの幅が広く

                                    【保存版】データサイエンティスト転職を決めるポートフォリオのガイドライン【書籍化決定】 - Qiita
                                  • GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック(構造化データ加工編)

                                    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                      GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック(構造化データ加工編)
                                    • もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら|次郎花|note

                                      こんにちは、次郎花です☆ タイトル長い(笑)...ぱ、パクリなんかじゃないですよっ! はい。 というわけで、今回はわたくしのお仕事「データアナリスト」についてご紹介したいと思います。データアナリスト/データサイエンティスト(以下、DA/DS)のブームもそろそろバブルがはじける頃かと想像していますが(もうはじけてる?)、いまだに一定数の方が憧れを持って、あるいは異世界転生を狙ってジョブチェンジしようとしているこれらの職業。最近では、実際にDA/DSである方の現場の声なども散見されるようになり、どのような職業なのか実態が少しずつ広まってきたようにも思います。ですので、今さら感はありますが、私もご多分に漏れず知見を共有できたらという思いでこの記事を発信しようと考えました。 次郎花って?まずは、次郎花って誰やねん、というところからですね。わたくし次郎花はとある外資系企業のCEO直轄の経営戦略部門で

                                        もし外資系企業の女子マネージャーが経営戦略部門の「データアナリスト」を務めたら|次郎花|note
                                      • Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715

                                        Data Engineering Study #1 の発表資料です。 https://forkwell.connpass.com/event/179786/ 当日の動画はYoutubeで閲覧可能です。 https://www.youtube.com/watch?v=hFYNuuAaiTg 参考文献 『Software Design (ソフトウェアデザイン) 2020年7月号』 https://amzn.to/30YueL7 『データマネジメントが30分でわかる本』 https://amzn.to/3fmz8Gw

                                          Data Platform Guide - 事業を成長させるデータ基盤を作るには #DataEngineeringStudy / 20200715
                                        • 実務において回帰分析を行うに当たっての注意点を改めて挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ

                                          先日のことですが、以下のニュースが統計的学習モデル界隈で話題になっていました。 肝心の箇所が会員限定コンテンツなので簡潔にまとめると、従来モデルよりも説明変数に入れる海域の数を増やした上で、Lasso(L1正則化)回帰で多重共線性を抑えつつ汎化性能を高めるというアプローチを取った、というお話です*1。これは回帰分析という基本に立ち返った、昨今の「猫も杓子も生成AI」という流れからは一線を画した試みで、いかにも玄人好みという感があるなと僕も感じた次第です。 一方で、僕が身を置く広告・マーケティング業界でもMMM (Media/Marketing Mix Models)を初めとして様々なタイプの回帰分析が広く行われていますが、個人的に見聞する範囲では冗談でなく本当にピンキリで、中には「そんなデタラメな回帰分析で本当に役員会の意思決定に使っているんですか???」みたいなケースも珍しくありません。

                                            実務において回帰分析を行うに当たっての注意点を改めて挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
                                          • リテラシーレベルeラーニング教材・講義動画配信 | 数理・データサイエンス・AI教育強化拠点コンソーシアム

                                            リテラシーレベルモデルカリキュラム対応教材 利用条件とアンケート 東京大学と記載のあるスライド教材の利用についてはこちら(一部スライドは冒頭の利用条件をご参照ください)。 東京大学と記載のある講義動画の利用条件は、各動画の冒頭をご参照ください。 滋賀大学と記載のある教材の利用条件はCC BY-NC-SAです。 九州大学と記載のある教材の利用条件はCC BYです。 筑波大学と記載のある教材の利用条件についてはこちら 北海道医療大学と記載のある教材の利用条件はCC BYです。 東京都市大学と記載のある教材の利用条件についてはこちら 教材のアンケートはこちら モデルカリキュラムと対応する講義動画・スライド 1. 社会におけるデータ・AI利活用 2. データリテラシー 3. データ・AI利活用における留意事項 4. オプション 1. 社会におけるデータ・AI利活用 1-1. 社会で起きている変化

                                            • Interpretable Machine Learning


                                              Interpretable Machine Learning A Guide for Making Black Box Models Explainable. Christoph Molnar 2021-05-31       (feature importance)ALE(accumulated local effects)LIME(mo
                                              • 『データ分析のための統計学入門』pdf版が無料公開! 実際に読んだ感想は……?

                                                データ活用は過度な期待を超え、徐々にビジネスパーソンの基礎的なノウハウとして定着し始めています。データサイエンティストでなくとも、データ分析の基礎的な考え方やその手法について学びたいという方は多いはず。 皆さんは、2021年3月に初学者向けの入門書『データ分析のための統計学入門 原著第4版』日本語版pdfが何と無料で公開されたのをご存じでしょうか? 同書籍は以下のリンクから、閲覧可能です。 http://www.kunitomo-lab.sakura.ne.jp/2021-3-3Open(S).pdf 本記事では同書を書評し、データ活用・統計学初学者におすすめの使い方をレクチャーします。 『データ分析のための統計学入門』の内容は? 何が学べる? 『データ分析のための統計学入門』は米国のNPO OpenIntroが発行した書籍で、Mine Cetinkaya-Rundel、David M D

                                                  『データ分析のための統計学入門』pdf版が無料公開! 実際に読んだ感想は……?
                                                • グロースの逆説 : メルカリで分析とサービスグロースをやる前に知りたかったこと|樫田光 | Hikaru Kashida

                                                  この記事ではメルカリという会社で4年ほどプロダクトやマーケティングの分析、グロースなどをやっていた僕( hik0107 / hikaru )がそこで得た学びをまとめておこうと思います。 金曜の夜だしこれまでの学びをまとめてる。自分がメルカリにはいる前に知っていれば、同じ成果を出すのに20%位の時間で出来たであろう、そんな圧倒的な知見たち。まあ、それを肌身を切って知るということが大事で、はじめから紙の上の知識として知っていても意味はなかったりする側面もあるのですが pic.twitter.com/jV1ZgHr0u5 — hikaru / 樫田光 (@hik0107) December 24, 2021 特に「こうやったらうまく行った」というよくある成功談ではなく、 「これをわかってなかったために時間を浪費した」 「結局の所、これが一番大事という当たり前の結論に達した」 などという"知ってい

                                                    グロースの逆説 : メルカリで分析とサービスグロースをやる前に知りたかったこと|樫田光 | Hikaru Kashida
                                                  • データ整備の基礎

                                                    2022/04/07 初版公開 お問い合わせ先 Twitter:@data_analyst_ メールフォーム:https://bit.ly/37orRqa 執筆者:しんゆう ブログ:データ分析とインテリジェンス https://analytics-and-intelligence.net

                                                      データ整備の基礎
                                                    • データサイエンティスト協会、IPAと共同で『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行 | 一般社団法人データサイエンティスト協会

                                                      2024年5月10日 金曜日 デジタルPRとプレスリリース配信 お問い合わせinfo@digitalpr.jp受付 10:00〜18:00(土日祝日を除く) 一般社団法人データサイエンティスト協会(所在地:東京都港区、代表理事:草野 隆史、以下 データサイエンティスト協会)は、独立行政法人情報処理推進機構(所在地:東京都文京区、理事長:富田 達夫、以下IPA)と共同で、『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行することをお知らせします。 本書は、今必要とされるデータ利活用のためのスキルを体系化した「スキルチェックリスト」と業務プロセスを体系化した「タスクリスト」を読み解くための初の公式ガイドブックです。 『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』表紙(出典:IPA) 『データサイエンティストのためのスキルチェックリスト/タス

                                                        データサイエンティスト協会、IPAと共同で『データサイエンティストのためのスキルチェックリスト/タスクリスト概説』を刊行 | 一般社団法人データサイエンティスト協会
                                                      • データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog

                                                        AI事業本部 Dynalystでデータサイエンティストをしている藤田です。 Dynalystの開発チーム内にはデータサイエンス(以降DS)チームがあり、そこにはデータサイエンティスト・機械学習エンジニア(以降まとめてデータサイエンティストと呼ぶ)たちが所属しています。私がこのチームで働く中で、「プロダクト所属のデータサイエンティストがどこまでエンジニアリングをすべきなのか」ということを考えることがあったのでまとめてみました。当然これは一般的な答えではなく、人・チーム・組織の現状や目指すべきところによって答えは変わるので、あくまで1チームの1個人が考えたこととして読んでもらえればと思います。 プロダクト所属と横断DS組織所属 エンジニアリング云々の話をする前に、まずプロダクト所属と横断DS組織所属のデータサイエンティストの違いについて軽く説明します。両者のメリット・デメリットについても書きた

                                                          データサイエンティストはどこまでエンジニアリングをすべきか? | CyberAgent Developers Blog
                                                        • 機械学習について一回挫折してしまったエンジニアが何とかお仕事で機械学習を使えるようになるまで - Qiita

                                                          初めに 4x歳越えのエンジニアにとって機械学習は何やらややこしいもの、本を開けば数式があり、pythonがあり、何それおいしいの?5年ほど前にCourceraで機械学習を学ぼうとしたがあっさりAndrew Ng先生はWeek4で挫折。"教師付き学習"と"教師なし学習"のちがいなんだっけ? 想定している読者 IT業界で別のキャリアを持っていて機械学習のキャリアをみにつけたい、あるいは身につけようとしたが挫折してしまった人 自分のキャリアについて ホストの開発エンジニアから始まり、クライアントサーバー、Webアプリと開発系を云十年。その後ネットワーク、インフラ系を主な仕事にしています。 機械学習とのかかわり 5年ほど前に機械学習の勉強をしようとしたが、何をやっているか意味が分からず、あっさり挫折。その後は雑誌などで読む程度。 注)データ分析・機械学種・人工知能については、この文章では厳密に分け

                                                            機械学習について一回挫折してしまったエンジニアが何とかお仕事で機械学習を使えるようになるまで - Qiita
                                                          • どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ

                                                            こんにちは、らくからちゃです 2年連続ステイホームのゴールデンウィークになりそうです。 もはやゴールデンウィークって普段何してたのか忘れかけてきたので、過去の履歴を漁ってみたら、一昨年は伊豆半島の東側をぐるぐる回りながら下田までいってたみたいです。 そういやコロナ前のゴールデンウィークって何してたんだっけ?と思ってGoogleフォトのフォルダ漁ってみたら、伊豆半島をぐるぐるしてたらしい。 また落ち着いたら行きたいなあ。 pic.twitter.com/N0fNxIZ5Uq — らくからちゃ@育休中専業主夫 (@lacucaracha) 2021年5月3日 こんなどこにも行けない日には、家でデータ分析をするに限りますね!!(鼻息) 統計局が、e-statを使って遊ぶ方法も教えてくれるそうなので、ご興味がある方は是非! gacco.org 統計として公開されているデータを眺めてみるのも面白いっ

                                                              どこにも遊びに行けないなら"はてブ"のデータ分析をして遊べばいいじゃない - ゆとりずむ
                                                            • データサイエンティスト(及び他のデータ関連職)のスキル要件(2022年版) - 渋谷駅前で働くデータサイエンティストのブログ

                                                              (Image by mohamed_hassan from Pixabay) この記事は毎年恒例のスキル要件記事の2022年版です。昨年版は以下のリンクからご覧ください。 最初に正直に書いておくと、スキル要件自体は昨年版までとほぼ一緒で、大きなアップデートはありません。今回はまず最初に3職種の定義とスキル要件を並べた上で、それに解説を付すという形にしようと思います。 データサイエンティスト 定義 スキル要件 機械学習エンジニア 定義 スキル要件 データアーキテクト 定義 スキル要件 コメントなど 最後に データサイエンティスト 第一次ブームからそろそろ10年になりますが、この「データサイエンティスト」という語だけは変わらず生き残っているところを見るに、依然として期待も幻想も含めて注目され続けている職種といっても過言ではないでしょう。ただし、10年かけて多種多様な業界に浸透していったことで、

                                                                データサイエンティスト(及び他のデータ関連職)のスキル要件(2022年版) - 渋谷駅前で働くデータサイエンティストのブログ
                                                              • Rを用いた データ解析の基礎と応用2022

                                                                Step 3:データを可視化しよう! データ可視化の重要性 ggplot2でデータを眺めよう geom_histogram ヒストグラム geom_density 密度分布 geom_point 散布図 aes(color) 色を表現する facet_wrap, facet_grid グラフを分ける geom_boxplot 箱ヒゲ theme_*** 全体の雰囲気を変える color(aesの外) 線を特定の色にする fill(aesの外) 特定の色で塗りつぶす color(aesの中) 線を値に応じた色にする coord_cartesian 軸の範囲を変える labs タイトルや軸ラベルを書く/書き換える theme 文字の大きさなどを細かく設定 ggsave() 図をファイルとして保存 その他のグラフの描き方を知りたい方は ggplot2公式サイト Jaehyun Songさんの解説

                                                                • はてなブックマーク3万件にみる技術トレンド2020年まとめ - Qiita

                                                                  tl;dr 2020年1年間のはてなブックマークの人気エントリー3万件をもとに技術トレンドを分析。 その結論とPythonでグラフ化した手順を書き記します。 ※ご指摘がありましたが、技術トレンドというよりitニューストレンドと言った方が正しいかもしれません。踏まえてお読みください。 前置き 手元に2020年の1年間ではてなブックマークの技術カテゴリーにおいて人気エントリーに一度でも乗ったことのある記事のタイトルデータが3万件ほどあったため、形態素解析を行い単語の出現頻度順に並べてみました。欠損の割合としては多くても1割程度、つまり少なくとも9割程度のデータは揃っているはずなので精度はかなり高いと思います。 (※はてなブックマークはNewsPicksみたくインターネット上の記事をブックマーク・コメントでき、より多くブックマークされた記事が人気エントリーとしてピックアップされるサービスです。w

                                                                    はてなブックマーク3万件にみる技術トレンド2020年まとめ - Qiita
                                                                  • データサイエンス/AI/ディープラーニングの資格ガイド

                                                                    AI/機械学習/データサイエンス関連で筆者が注目する、データサイエンティスト検定、G検定/E資格、統計検定、データサイエンス数学ストラテジスト、人工知能プロジェクトマネージャー試験という5つの認定資格や検定試験を紹介する。

                                                                      データサイエンス/AI/ディープラーニングの資格ガイド
                                                                    • 特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics


                                                                       @tereka114      xfeat 便使便 Python3 Advent Calendar 2020 15  xfeat    xfea
                                                                        特徴量エンジニアリングのライブラリ xfeat を使ってみて便利だったこと - Taste of Tech Topics
                                                                      • ペパボにおけるデータサイエンティストの職種要件をまとめました - Pepabo Tech Portal

                                                                        この記事は、datatech-jp Advent Calendar 2021 の10日目の記事です。 技術部データ基盤チーム データサイエンティストの zaimy です。 今回、ペパボの職位制度におけるシニアポジションの一職種として、データサイエンティストの職種要件を整理したので内容を社外にも公開します。 主に、社内でデータサイエンティストについて説明したり、ジュニアポジションの方にデータサイエンティストという職種を知ってもらいこれからのキャリアパスの参考にしていただいたりするために、データサイエンティスト協会とIPAによるスキル定義を元に、ペパボのデータ基盤の定義や、ペパボで活用しているDX Criteria1のテーマに照らして簡潔にまとめたものです。 まえおき: ペパボの職位制度について データサイエンティストとは データサイエンティストのスキルセット 3つのスキル領域の概要 4等級シ

                                                                          ペパボにおけるデータサイエンティストの職種要件をまとめました - Pepabo Tech Portal
                                                                        • GitHub - streamlit/streamlit: Streamlit — A faster way to build and share data apps.

                                                                          You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                                            GitHub - streamlit/streamlit: Streamlit — A faster way to build and share data apps.
                                                                          • 100+ Best Free Data Science Books For Beginners And Experts

                                                                            In the previous post we’ve covered 100+ Free Machine Learning and Artificial Intelligence Books. If you haven’t checked make sure you spend 2 minutes after checking this post. In this post, You’ll see 100+ free data science books for beginners, intermediate and experts. The eBooks are updated in 2023 and available in pdf or html format. Note: All the books listed below are open sourced and are in

                                                                              100+ Best Free Data Science Books For Beginners And Experts
                                                                            • データ分析コンペティションを、日本の当たり前に。


                                                                                NishikaInternet Explorer Google Chrome, Firefox, Safari
                                                                                データ分析コンペティションを、日本の当たり前に。
                                                                              • RにTorchとLightGBMがやってきた - 渋谷駅前で働くデータサイエンティストのブログ

                                                                                これまで、RとPythonは両方使える人が少なくないながらも開発陣やコミュニティの思想が違うせいもあってか、「Rは統計学向け」「Pythonは機械学習向け」的な住み分けが年々進み、特に機械学習関連の重要なフレームワーク・ライブラリ類はPython向けのみがリリースされることが多く、R向けにはリリースされないということが常態化している印象がありました。 そんな中、この9月にPythonの機械学習OSSを代表する2つのライブラリが相次いでR版パッケージを発表したので、個人的にはなかなか驚きました。中には「この2つがRに来たからにはもうPythonは触らない」と豪語する過激派の方もいらっしゃるようですが(笑)、それはさておき個人的な備忘録としてこの2つのR版パッケージを試してみた記録を記事として残しておこうと思います。 なお、以下のモデリングはほぼ何もチューニングを行っておりません。あくまでも「

                                                                                  RにTorchとLightGBMがやってきた - 渋谷駅前で働くデータサイエンティストのブログ
                                                                                • ヤングKagglerは、いかにしてグランドマスターになったのか

                                                                                  ヤングKagglerは、いかにしてグランドマスターになったのか:Kaggle グランドマスター インタビュー(前)(1/3 ページ) 24歳&26歳。世界でわずか230人前後しかいない「Kaggle グランドマスター」の称号を持つ2人の青年は、子どものころからプログラミングに親しんできた……わけではなかった。 Google社が所有するKaggle社が運営する「Kaggle」(カグル)という機械学習プラットフォーム上で開催されるコンペティションで、最高の称号「グランドマスター」を持つ人は日本国内で20人前後、世界でも230人前後。その希少な人材のうちの2人が、2021年に社会人デビューした。2人のグランドマスターは、どのようないきさつでKaggleに参加し、どのようにして最高位の称号を獲得し、どのような就職活動をしたのだろうか。 Kaggleのグランドマスターとは ラッパーがMCバトルで技を

                                                                                    ヤングKagglerは、いかにしてグランドマスターになったのか

                                                                                  新着記事