[B! 機械学習] en-en-raのブックマーク

10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。 - Qiita

10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。Python 機械学習 lightgbm SHAP こちらの記事をご覧いただきありがとうございます。ちゃんと内容が伝わるようなタイトルを考えたらラノベみたいになってしまい、かえってわかりにくい気がしてきました。以前からいくらかSUUMO物件について機械学習を用いたデータ分析を行っています。今回は、10万件以上の物件データを与えてなかなか高精度な家賃予測が可能となった機械学習モデルが、クソ失礼にも家賃が安いと査定した高額物件がいくらかあったので、何を考えてクソ失礼な査定となったのかを調べます。もしかしたらボッタくりかもわかりませんからね。楽しみですね。モデルの学習について基本的には前回記事と同じです。使用した機械学習モデル以前から引き続き LightGBM

en-en-ra 2022/11/17

機械学習

リンク

GitHub - lucidrains/DALLE2-pytorch: Implementation of DALL-E 2, OpenAI's updated text-to-image synthesis neural network, in Pytorch

Implementation of DALL-E 2, OpenAI's updated text-to-image synthesis neural network, in Pytorch. Yannic Kilcher summary | Assem blyAI explainer The main novelty seems to be an extra layer of indirection with the prior network (whether it is an autoregressive transf ormer or a diffusion network), which predicts an image embedding based on the text embedding from CLIP. Specifically, this repository wi

en-en-ra 2022/05/02

機械学習

リンク

SynapseML: A simple, multilingual, and massively parallel machine learning library - Microsoft Research

Simplifying distributed ML through a unified API Writing fault-tolerant distributed programs is complex and a process that’s prone to errors. For example, consider the distributed evaluation of a deep network. The first step is to send a multi-GB model to hundreds of worker machines without overwhelming the network. Then, data readers must coordinate to ensure that all data is queued for processin

en-en-ra 2021/11/20

機械学習

リンク

Rustによる機械学習概覧を技術書典11に寄稿するまでの軌跡 - Stimulator

- はじめに - 今回、技術書典11に﹁Rustによる機械学習概覧﹂というタイトルで、所属企業であるエムスリー株式会社の執筆チームより出る﹁エムスリーテックブック3﹂に文章を寄稿した。執筆チームからの熱いコメントは以下。販売ページは以下。 techbookfest.org 本ブログは、エムスリーテックブック3を企画して立ち上げてから、自分で同人誌を書くまでのお気持ちを綴った、所謂ポエムである。 - はじめに - - Rustによる機械学習への想い - - エムスリーテックブック3の立ち上げ - - おわりに - - Rustによる機械学習への想い - ポエムといえば自分語り、自分語りといえばポエム。まず思い出に浸ろう。私が機械学習を初めて実装したのは高専の頃。あの時はC/C++とJava、C#なんかを使って、何とかアルゴリズムを理解して実験していた。VisualStudioの起動に悠

en-en-ra 2021/07/11

リンク

機械学習のパラメータチューニングを「これでもか！」というくらい丁寧に解説 - Qiita

はじめに私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。しかしどれもテクニックの解説が主体のものが多く、﹁なぜチューニングが必要なのか？﹂という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。この経験を後世に役立てられるよう、﹁初心者でも体系的に理解できる丁寧さ！﹂をモットーに記事にまとめたいと思います。具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記‥LightGBMのチューニング実行例追加以下の記事に、Ligh

en-en-ra 2021/06/08

機械学習

リンク

Hiroshi Takahashi

Skip to the content. 機械学習の研究者を目指す人へ機械学習の研究を行うためには、プログラミングや数学などの前提知識から、サーベイの方法や資料・論文の作成方法まで、幅広い知識が必要になります。本レポジトリは、学生や新社会人を対象に、機械学習の研究を行うにあたって必要になる知識や、それらを学ぶための書籍やWebサイトをまとめたものです。目次プログラミングの準備 Pythonを勉強しよう分かりやすいコードを書けるようになろう数学の準備最適化数学を学ぼう基本的なアルゴリズムとその実践機械学習の全体像を学ぼう基本的なアルゴリズムを学ぼう深層学習の基礎を学ぼう scikit-learnやPyTorchのチュートリアルをやってみようサーベイの方法国際会議論文を読もう Google Scholarを活用しよう arXivをチェックしようスライドの作り方論文の

en-en-ra 2021/05/09

機械学習

リンク

グーグルが発見した、機械学習が現実世界で使い物にならない理由

研究室ではうまく機能する人工知能︵AI︶システムが、現実世界でうまく機能しないことはしばしばある。主な原因としてこれまで、AIを訓練・テストする際に使うデータと現実のデータの不一致が指摘されていたが、グーグルの研究チームは別の原因を突き止めた。 by Will Douglas Heaven2020.11.24 391 308 72 55 研究室で完璧に近い性能を発揮できるように調整された機械学習モデルが、現実世界では良い結果を出せないことがしばしばあるというのはよく知られている。通常これは、人工知能︵AI︶を訓練およびテストする際のデータと、現実世界で遭遇するデータの間に不一致が起こることが要因となって起こる問題であり、﹁データシフト﹂と呼ばれている。例えば、高品質な医用画像から疾病の兆候を発見するよう訓練されたAIが、忙しい病院の安価なカメラで撮影された、ぼけや切れ目がある画像に対して能