サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
買ってよかったもの
nonbiri-tereka.hatenablog.com
皆さんこんにちは お元気でしょうか。COVIT-19起因で引きこもっているため、少しずつ自炊スキルが伸びていっています。 以前、実験管理に関していくつかのソフトウェアを紹介しました。 その中で、MLFlow Trackingが一番良さそうではあったのでパイプラインに取り込むことを考えています。 もう少し深ぼって利用方法を把握する必要があったので、メモ代わりに残しています。 nonbiri-tereka.hatenablog.com MLFlow Trackingのおさらい MLFlowとは MLFlowはプラットフォームです。機械学習のデプロイやトラッキング、実装のパッケージングやデプロイなど幅広くサポートしています。 その中ではいくつかの機能があり、主にMLflow Trackingを実験管理に利用している人が増えています。 Trackingの機能については申し分がなさそうで、リモートサ
皆さんこんにちは。 お久しぶりです。本日はPyTorchを用いて、Kaggleをする際に便利なソフトウェアを紹介します。 この記事はPyTorch Advent Calendar 15日目です。 qiita.com 私自身、画像コンペィションでは、豊富な実装からPyTorchを利用するケースが多いです。 PyTorchで今回使っているライブラリを2点紹介したいと思います。 Pretrained PyTorch Pretraining modelを用いてFine turningをすることで、 初期から学習したモデルよりも精度が向上します。 PyTorchには公式で配布している以上に、 github上に様々なPreTrainingモデルを公開されています。 github.com 学習済モデルの利用 from pretrainedmodels.models.resnext import resn
皆さんこんにちは お元気ですか。年末に向けて燃え尽きようとしています。 OpenCVアドベントカレンダー第22日です。 qiita.com 今回、PythonのDataAugmentationで最速の方法を探してみます。 画像処理のDeepLearningでは、頻繁にDataAugmentationが使われています。 このData Augmentationは画像に結果がない程度に変換を加え、 ニューラルネットワークに入力する手法です。 以前、こんな資料を作りました。 How to use scikit-image for data augmentation from Hiroki Yamamoto www.slideshare.net DataAugmentationにも様々な手法がありますが、次の処理する場合が非常に多いです。 画像をファイルから取得する。 リサイズ アフィン変換 左右反
皆さんこんにちは お元気ですか。週末の発表資料も作っています。 本記事は自然言語処理アドベントカレンダー第13日です。 qiita.com 画像処理ではデータをアフィン変換などで変形して、 画像を拡張する処理(=Data Augmentation)が知られています。 変換などをかけて過学習を防ぐ役割が1つとしてあります。 今回は、自然言語処理でもData Augmentationを実現したいと思います。 テキストのData Augmentationの意義 自分でデータセットを作る場合に、全てを網羅して1つ1つの単語が変わった場合を 作り上げるのは非常に困難で、時間がかかります。 そのため、一定の問題ない範囲(=結果が変わらない範囲)で データを拡張する試みをすることで精度やロバストな学習ができる可能性があります。 WordNetの説明 Wikipediaより WordNet(わーどねっと)
皆さんこんにちは お元気ですか。アドベントカレンダー真っ盛りですね。 本日は「python Advent Calendar 2017」のアドベントカレンダー第5日です。 qiita.com 自然言語処理には様々なライブラリ(NLTKやCoreNLP)があります。 せっかくの機会として、本記事では紹介が少ないspaCyを紹介します。 spaCy spaCyとは spaCyはPythonの発展的な自然言語処理のライブラリです。 実際に使われていることを想定しており、英語、ドイツ語、フランス語、スペイン語に対応しています。 トークナイザーは日本語もあるとのこと(確かJanomeで動作します)。 github.com 次のリンク先には他の自然言語処理ライブラリの アルゴリズムの観点や精度(Dependency parsing、Named entity comparison)が 載っており、他のライ
皆さんこんにちは お元気ですか。今回の三連休は二郎食べて満足しました。 Chainerにはじまり、PyTorchなどdefine by runで ニューラルネットワークを計算するフレームワークがあります。 このdefine by runは非常にRNN系のニューラルネットワークを書く際に重宝しています。 そして、10月末にTensorFlowからもdefine by run用の インターフェースが試験的に提供されました。それがTensorFlow Eagerです。 ※define by runが不明な方はこちらへ s0sem0y.hatenablog.com TensorFlow Eager TensorFlow Eagerは次の公式の記事で紹介されています。 ただし、この機能はPreview段階です。 通常使う場面では問題ないと思いますが、念のため何か起こっても問題ない環境で利用してくださ
皆さんこんにちは お元気ですか?私は年末の師走フラグが立っています。 少し前(この界隈ではだいぶ前っぽい)にYandex社からCatBoostが発表されました。 これが発表されたことは知っていたのですが、時間が取れなくて利用してなかったソフトウェアの1つです。 CatBoost CatBoostはYandex社が開発した勾配ブースティングをベースとした機械学習のライブラリです。 catboost.yandex 公式サイトには次の特徴が記載されています。 過学習を減らす。・・・独自のアルゴリズムによって実現した。 カテゴリ特徴量の対応・・・前処理を行わなくてもカテゴリ特徴量に対応をしている。 ユーザフレンドリなAPI・・・コマンドラインツールもしくは、Python,RのAPIをサポートしている。 公式ページ記載のベンチマークは他のLight GBMやxgboostよりも よく見え、かつ新しい
皆さんこんにちは お元気ですか。私は元気です。 分析は基本的にPythonを使って行います。(大体Pandasですが・・・) Pandasを利用すると色々できます。が、ふとどうするんだっけ処理が増えていきました。 自分のメモがてらカテゴリを分けて記録に残したいと思います。 最後のほうは特徴量の作り方集になっています。 Kaggleで実際に使ったことがある処理も数多く掲載しました。 思いついたら随時、追加しようと思います。 準備 ファイル操作 読み込み 書き込み テーブル操作 1行ごとに処理をする。 複数列を取得する。 選択操作 テーブル条件の指定 複数条件の指定 NaNを埋める。 カラム、テーブルの統計情報を取得する。 完全一致の列を発見し、除去する。 日付操作 日付から日などの情報を取得する。 2つ以上のDataFrameの結合操作 内部結合 外部結合 2つの結合処理 集計操作を使った特
皆さんこんにちは お元気ですか。昨日食べた中華そばおいしかったです。 定期的に実行するJobを作成・実行する場合何を使っているでしょうか? メジャーなツールであれば、cronがあります。 しかし、このツールはCUI、かつ、 他に色々追加したいこと(リトライ、通知)などを 設定したい場合に大変で、面倒です。 そこで、Rundeckです。RCO&RLSさんの勉強会に触発されて使ってみました。 Rundeckとは? 一言で表すとジョブスケジューラです。 ジョブを作成し、実行間隔の管理、通知、実行方式などを管理できます。 GUIで実行コマンドを管理できるので、非常に管理しやすく 過去のログも確認しやすい、成功失敗で通知ができるなど、様々なメリットがあります。 個人的に思いつく使い道は機械学習バッチ処理ですね! Rundeckの起動 早速、実行用のjarファイルをダウンロードしましょう。 runde
皆さんこんにちは お元気ですか。私はGWでリフレッシュして、生き返りました。 Kaggleをやっているとき(特に画像などの長い場合)にリモートで 今学習されているかどうか、誤差はどうかなどのモデルの 様子が気になることはありませんか? 私は画像認識系のコンペを実際に行っている時に、気になることがあります。 これどうしようかと考えていたのですが、歩いている時にふと思いついたので実装しました。 このアイデアの実装のために、新しいChainerのExtensionを開発しました。(Trainerを使う想定です) アイデア Slackであれば外出中も見れると考えました。 そのため、学習の途中経過(lossなど)を投稿すれば見れる! 実装イメージは次の図に掲載しました。 コードを見た限りだと、Extensionで実装できそうだったので、トライしました。 Extensionの実装方法 Extensio
次のページ
このページを最初にブックマークしてみませんか?
『のんびりしているエンジニアの日記』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く