あとで試すに関するnikkie-ftnextのブックマーク (78)

  • 日本語自然言語処理のData Augmentationライブラリdaajaを作りました - 農園

    概要 こんにちは@kajyuuenです。 日語自然言語処理のData Augmentationライブラリdaajaを作成しました。 この記事ではdaajaが実装しているData Augmentation手法についての解説とその使い方について紹介します。 ソースコードは以下のリポジトリで公開しています。 github.com また、このライブラリはPyPIに公開しているのでpip install daajaでインストールが可能です。 はじめに Data Augmentationとは Data Augmentationとは元のデータから新しいデータを生成し、データ数を増やす手法です。 日語ではデータ拡張という名前で知られています。 ラベル付きデータを擬似的に増やすことによって、アノテーションコストを必要とせずにモデルの汎化性能や精度の向上が期待できます。 対応している手法 現在daajaは

    日本語自然言語処理のData Augmentationライブラリdaajaを作りました - 農園
  • Introduction to heredocs in Dockerfiles | Docker

    Guest post by Docker Community Member Justin Chadell. This post originally appeared here. As of a couple weeks ago, Docker’s BuildKit tool for building Dockerfiles now supports heredoc syntax! With these new improvements, we can do all sorts of things that were difficult before, like multiline RUNs without needing all those pesky backslashes at the end of each line, or the creation of small inline

    Introduction to heredocs in Dockerfiles | Docker
    nikkie-ftnext
    nikkie-ftnext 2021/08/01
    Dockerfileで&&でつなげていたRUNコマンド、BuildKit有効にするとheredocsが書ける!https://github.com/moby/buildkit/blob/master/frontend/dockerfile/docs/syntax.md#user-content-here-documents さらにRUN python3+heredocsでPythonのプログラムが書けちゃう👀
  • Tex tips


    0. "xxx.sty" tex 便 "foo.sty"CATANtex"foo.sty""foo.dtx""foo.ins" "foo.dtx""foo.sty""foo.ins"使"foo.dtx""foo.sty""foo.dtx""bbm.sty"使1) "bbm.ins""bbm.dtx"CTAN"bbm.dtx"CTAN home / tex-a
    nikkie-ftnext
    nikkie-ftnext 2021/05/31
    見出しの定形部分「第」「章」の変え方などなど
  • 本番運用を想定したDjango settings.pyの書き方入門

    nikkie-ftnext
    nikkie-ftnext 2021/05/30
    #oscnagoya より。1.settings. pyを環境ごとに分ける(baseをimportして環境ごとに設定)2.秘密の値の環境変数からの読み取り、ImproperlyConfiguredを送出。3.ログ出力は標準出力のみ。cookiecutter-djangoで3つとも試せる。two scoop本3.0出た!
  • 公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ


      *1 Wikipedia Wikipedia
    公開されている日本の企業名辞書の紹介 - MNTSQ Techブログ
    nikkie-ftnext
    nikkie-ftnext 2021/04/30
    自然言語処理で会社名を認識したいケースにおいて名寄せタスクをエンティティリンキング的に解くため、2つの日本の会社名辞書を紹介:国税庁法人番号データ、NISTEP企業名辞書。前者からTISがJCLdicという企業名辞書を公
  • atmaCup第10回参加記録 - と。


                RMSLE0submissiontest  
    atmaCup第10回参加記録 - と。
    nikkie-ftnext
    nikkie-ftnext 2021/03/14
    #atmaCup ディスカッションはたかだか47→全て目を通す(自分は漏れがあったという気付き)。特徴量は可能な組合せでマージして実験を回して放置(仕事とかしている裏で実験が進むように仕組み化すればいいのか!)
  • 結婚式のエンドロールを当日作った話


      #   PC() #   # LINE Bot稿 S3稿DynamoDB 稿DynamoDB稿    
    結婚式のエンドロールを当日作った話
    nikkie-ftnext
    nikkie-ftnext 2021/03/06
    Lambdaを組合せ、アップロードされた画像を動画に変更する例(Python)
  • 【Python】MeCabのTaggerオブジェクトを持つ単語分割器をpickleで保存する方法

    【Python】MeCabのTaggerオブジェクトを持つ単語分割器をpickleで保存する方法
    nikkie-ftnext
    nikkie-ftnext 2021/02/27
    scikit-learnのTfidfVectorizerはtokenizer引数にcallableを指定できる。MeCabのTaggerを持ち、__call__でそれを呼び出すクラスを設定可能。MeCabのTaggerはpickle時に除き、unpickle時に再作成 https://docs.python.org/ja/3/library/pickle.html#object.__reduce_ex__
  • 日本語でHugging Face Tokenizersを動かす - MNTSQ Techブログ


    Hugging FaceTransformersTokenizers Hugging FaceTransformers  *1TransformersPython TransformersBERTTransfo
    日本語でHugging Face Tokenizersを動かす - MNTSQ Techブログ
  • Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad


    Doors 5 使Transformer Transformer AI 使Transformer Transformer Transform
    Transformerによる時系列データ予測のご紹介 - Platinum Data Blog by BrainPad
  • MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56


    DockerMakefile使 使tmux CtrlRdocker... Makefile Docker jupyter notebook 使 jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root   Makefile  Docker
    MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
    nikkie-ftnext
    nikkie-ftnext 2021/02/15
    Dockerコンテナのrunやjupyter notebookの立ち上げコマンドをMakefileで扱う例。Makefileの解説が最小限に絞ってという感じですぐ試せそう。@は複数行の実行で、-@がエラーで中断しない
  • Build better developer portals with Spotify’s Backstage - LogRocket Blog

  • PythonでPDFからテキストを読み取る方法について - ガンマソフト


    PDFPDFPythonPyPDF2PDF1 PDF PDF稿PDF PyPDF2pdfminer.six Apache Tika Tesseract OCR PyPDF2 PyPDF2PyPDF2pip pip install PyPDF2extra
    PythonでPDFからテキストを読み取る方法について - ガンマソフト
  • PDFファイルに目次(アウトライン)を追加するPythonスクリプトを書いた | takemikami's note

    macos版の Microsoft WordでPDF出力をする場合、 目次の設定が出来ないようなので、スクリプトを書いてなんとかしてみました。 このエントリでは、その調査を行った際のメモを残しておきます。 # Windows版では、目次付きのPDFが出力できるようですが 作成したスクリプト実際に作成したスクリプトは、以下のようなスクリプトです。 add_outline_to_pdf.py https://gist.github.com/takemikami/7ac487f664a72cc25b49229b535b4c9e # PDFにoutlineをつけるスクリプト # # 概要: # PDFファイルの文中にある目次の文字列を解析し、 # 解析結果を元にPDFにアウトラインを設定する # セットアップ: # pip install pdfminer.six # pip install p

    PDFファイルに目次(アウトライン)を追加するPythonスクリプトを書いた | takemikami's note
  • bash スクリプトの先頭によく書く記述のおさらい - Money Forward Developers Blog


       bash    bash 使2 shebang #!  shebang bash  shebangbash env 使 bash  #!/bin/bash env 使 #!/usr/bin/env bash  /bin/bash 使 /bin/bash 
    bash スクリプトの先頭によく書く記述のおさらい - Money Forward Developers Blog
    nikkie-ftnext
    nikkie-ftnext 2021/01/03
    bashスクリプトの先頭の定型的な記述の解説。シバンでenvコマンドを使うと$PATH上で使われる。set -ue -o pipefailと補足(未定義変数許す、エラーでも無視)。localeによってsortの並び順などを変えない設定がある(export LC_ALL=C)
  • [Pythonチートシート]特殊メソッド編

    特殊メソッドとは Pythonのクラスでは「特殊メソッド」と呼ばれるメソッドを定義(オーバーライド)できる。特殊メソッドとは、各種の演算子や組み込み関数などの操作の対象として、独自のクラスを利用できるようにするための仕組みだと考えられる。つまり、クラスを自分で定義しているときに、適切な名前の特殊メソッドを適切にオーバーライドすることで、例えば、次のような処理が可能になる。

    [Pythonチートシート]特殊メソッド編
    nikkie-ftnext
    nikkie-ftnext 2020/12/28
    Pythonの特殊メソッド実装例。演算子のオーバーロードでは isinstance(other, self.__class__) でチェックして、同じ型のインスタンスなら計算、違う型のインスタンスではNotImplementedError送出。連載は全7回
  • 2021年版Pythonの型ヒントの書き方 (for Python 3.9) | フューチャー技術ブログ


    PythonPEP Python 3.9Python3.6 Python@moriyoshi@aodag@tk0miya  Visual Studio CodeVisual Studio Codevenv使
    2021年版Pythonの型ヒントの書き方 (for Python 3.9) | フューチャー技術ブログ
    nikkie-ftnext
    nikkie-ftnext 2020/12/24
     使VSCodemypy settingenumLiterallistdict3.7,3.8from __future__ import annotations使3.10Union | OK  


     
  • 「1年間続いたオンライン勉強会」秘伝のタレを公開します - jnuank blog


     DDD-Community-Jp Advent Calendar 202020    1 20201DDDCJ  
    「1年間続いたオンライン勉強会」秘伝のタレを公開します - jnuank blog
    nikkie-ftnext
    nikkie-ftnext 2020/12/23
    DDDCJで1年続いた勉強会のtips。開催日時の固定、カンバン確認してスタート→リモートのスタッフ作業にも活かせそう。「まず負けてみる」いいですね。失敗してもよい環境で色々試して経験値稼ぎは財産になると思います
  • Polyaxon を機械学習の実験プラットフォームとして導入した話 | メルカリエンジニアリング


    Merpay Advent Calendar 2020 12 MLOps  ML Platform Mai Nakagawa   Polyaxon  OSS  Polyaxon  Polyaxon  Polyaxon Experiment Phase)Productionize PhaseOperating Phase3Produc
    Polyaxon を機械学習の実験プラットフォームとして導入した話 | メルカリエンジニアリング
    nikkie-ftnext
    nikkie-ftnext 2020/12/18
    k8s使った機械学習実験環境Polyaxon https://polyaxon.com/ 深層学習フレームワーク公式のDockerイメージ利用で実験環境の属人性排除。パラメタサーチ並列実行、ログ見られるダッシュボードよさそう。kubeflowとはどう違うんだろう?
  • Dashboard

    Continue with GitHubContinue with GitLabContinue with Bitbucket

    Dashboard
    nikkie-ftnext
    nikkie-ftnext 2020/12/18
    NextJSConf発のJS製バーチャルイベントプラットフォームキット。動画埋め込み、Discordへ案内、デモスペースやジョブボードをカバー。Vercelに簡単デプロイ。詳細は https://github.com/vercel/virtual-event-starter-kit Contentfulとも連携