[B! python] ch1248のブックマーク

「Pythonのドキュメントでも読むか～」「え、何その裏技」 - Qiita

読み飛ばしてくださいおはようございます、しなもんです。 Pythonの公式ドキュメントを読んでたら、なんか知らない便利機能がたくさん出てきました。なんだこれ。というわけでまとめてみました。参考になれば幸いです。 f-stringsの拡張機能 f-strings、便利ですよね。大好きです。そんなあいつには裏技があるみたいです。デバッグ用の=演算子 Python 3.8以降、f-stringの中で=演算子を使用することで変数名とその値を同時に表示できるらしい。

ch1248 2024/07/15

こんなのあるのか

python

リンク

はじめに — 機械学習帳

import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.it em()) print(w.grad)

ch1248 2024/06/15

リンク

はじめに — pep8-ja 1.0 ドキュメント

X-Translator: Yoshinari Takaoka <reversethis -> gro tod umumum ta umumum> はじめに¶ この文書は Python の標準ライブラリに含まれているPythonコードのコーディング規約です。CPython に含まれるC言語のコードについては、対応するC言語のスタイルガイドを記した PEP を参照してください。この文書と PEP 257 (Docstring 規約) は、Guidoが書いたオリジナルのPythonスタイルガイドのエッセイと、 Barry のスタイルガイドに少し追記したものをまとめたものです。 [2] このスタイルガイドは、追加の規約が必要だとわかったり、Pythonの言語自体が変更されることで過去の規約が時代遅れになった時に徐々に改訂されてゆきます。多くのプロジェクトには、自分たちのコーディングスタイル

ch1248 2024/05/10

コーディング規約

リンク

pdfからtextを抜き出す試行錯誤のメモ｜Kan Hatakeyama

これは二段構えの構成を持っています。この二段構えを正確に検出し、テキストを理解することが望ましいです。 Unstructuredを使うPythonのライブラリであるUnstructuredを試してみましょう。参考記事導入は非常に簡単です。 pip install 'unstructured[pdf]' 実装も簡単です。解析コード‥ from unstructured.partition.pdf import partition_pdf pdf_elements = partition_pdf("pdf/7_71_5.pdf") 表示コード‥ for structure in pdf_elements: print(structure) 結果‥ 残念ながら、2段組のカラムを正確に検出することはできませんでした。 Grobidを使うGrobidは、peS2oというオープンアクセス論文のコ

ch1248 2024/02/24

PDFのText抜き出しは鬼門だからなあ……

python

リンク

Mojo 🔥

先日プログラミング言語 Mojo と呼ばれるもののアナウンスメントがあった。この言語のデザインが私のスイートスポットに刺さる感じだったので、今のうちから注目している。使いたいなというか、将来使うことになりそうな言語なので簡単に何ができそうかを調査してまとめておきたい。ウリとしては﹁C並のパフォーマンスが出る Python﹂といったところだろうか。 k0kubun さんからコメントを裏でもらって、これって要するに並列化とか SIMD化とか入れたら35,000倍のパフォーマンスが出るようだけど、これは Python の部分とは呼べなくて、素の Python 動かして本当にそういえるかは怪しくない？とのことで、判断保留します 🙇🏻‍♀️ k0kubun さんありがとう言語のデザインとしては、AI 開発に向けたプログラミングを提供できるよう設計されていると感じる。表側は Python

ch1248 2023/05/06

これは素晴らしいな。CopyとMoveの違い文法で表現するのも良いし、fnとdefの2種で関数を表現するのも興味深い。

リンク

新入社員のみんな、「ChatGPT×Python」で鬼にならないか？｜ピーナッツ

ChatGPTが本当にヤバい。断言する。新卒がこれを使いこなせば、今職場で﹁優秀﹂とされている5-6年目くらいの先輩なら余裕で出し抜ける。鬼になれる。筆者はメーカー社員なので、メーカーの新入社員がChatGPTを使って鬼になる方法を1つ提案したい。﹁ChatGPT×Python﹂である。 Pythonとは、ご存知のとおり物理シュミレーションからデータサイエンス、機械学習までカバーする汎用性をそなえたプログラミング言語だ。何でもできるわりには書ける人がなぜか少なく、いまだにスキルとして重宝されている。そんなPythonにChatGPTを使おう。 ChatGPTを使えば、上司から求められるアウトプットを一瞬で出すことができる。それに対してフィードバックをもらい、それも一瞬で打ち返すことができる。﹁あいつ"Python書ける"だけじゃないんだよな。こっちが言ったこと正確に理解するし、そ

ch1248 2023/03/21

こりゃすごい。

python
LLM

リンク

お前らのpandasの使い方は間違っている - Qiita

この記事は株式会社Nuco Advent Calendar 2022の9日目の記事です。はじめにいきなりお馴染みの「キャッチーでウィットでセンセーショナルな」タイトルで失礼します。私自身、業務の中でpandasに大変お世話になっており、自戒も込めてpandasの「アンチパターン」をまとめてみました。この記事を読んで、より快適なpandasライフを送っていただけると嬉しいです。対象読者 Pythonを使ったデータ分析や機械学習に携わる方この記事はpandasの基本的な使い方を解説するものではないので注意してください。表形式ファイルを加工する必要がある方 pandasの強みはリレーショナルなデータ全般です。必ずしもデータ分析や機械学習だけが守備範囲ではありません。 pandasとは pandasの公式ドキュメントの概要には、以下のように記載してあります。 pandas is a

ch1248 2022/12/10

python

リンク

Python互換の静的型付け言語「Erg」

承前 Ergは私が数年前から開発を始め、つい一昨日公開したばかりのプログラミング言語です。のはずですが、早速、qnighyさんに捕捉していただきました。ありがとうございます。この記事ではそのErgがどのような言語なのかざっくりと解説していきたいと思います。なお、紹介した機能の一部は未実装です。実装途中の機能を含むコードには*を、完全に未実装の機能を含むコードには**をつけておきます。はじめに Pythonは概ね素晴らしい言語です。オフサイドルールを世に知らしめた(?)、その可読性の高い文法。Numpy, SciPyを始めとする機械学習、科学技術計算用の膨大なライブラリ。しかしPythonにもいくつかの弱点が存在します。まず、動的型付けであること。それ自体は弱点というより良し悪しなのですが、明らかに動的型付けでは手に余るPython プロジェクトが世に溢れています。次に、一貫

ch1248 2022/08/13

Pythonのトランスパイル言語。これは良さそう。

リンク

Visual Studio Code と Docker コンテナを使って開発する - Pepabo Tech Portal

技術部データ基盤チームの @zaimyです。今回は、 Visual Studio Code︵以下 VS Code︶と Docker コンテナを使って開発環境を構築する方法を紹介します。データ基盤エンジニアの開発環境として、Python を使用する単一コンテナを例に記述しますが、他の言語や Docker Compose を使う場合でも応用できます。背景: M1 Mac (Monterey) に Python 3.8.12 をインストールできない先日、業務で使用するマシンを Intel Mac から M1 Mac に切り替えたのですが、CPU アーキテクチャが異なることに加えて、OSのバージョンが上がったことで Apple Clang に下位互換性のない変更が入っており、業務上ある理由で必要な Python 3.8.12 のインストールが困難でした。そこで、私の所属するチームは全員

ch1248 2022/06/11

リンク

ExcelのPythonJupyter Notebook

ExcelのPythonJupyter Notebook JupyterをMicrosoft Excelに埋め込み、VBAの代わりにPythonを記述します以前は、ExcelとPython JupyterNotebooksの間の﹁どちらか/または﹂の選択でした。PyXLL-Jupyterパッケージの導入により、両方を並べて使用できるようになりました。この記事では、Excel内で実行されるJupyterNotebookをセットアップする方法を紹介します。2つの間でデータを共有し、ExcelワークブックからJupyterノートブックに記述されたPython関数を呼び出すこともできます。入門まず、ExcelでPythonコードを実行するには、PyXLLアドインが必要です。PyXLLアドインを使用すると、PythonをExcelに統合し、VBAの代わりにPythonを使用できます。PyXLL

ch1248 2021/03/09

何だこれすげえ。

リンク

「実用的でないPythonプログラミング」がよかった - Stimulator

はじめに 2020/8/12に発売されたImpractical Python Projects: Playful Programming Activities to Make You Smarterの日本語訳書である、﹁実用的でないPythonプログラミング﹂をひょんな事から献本していただく事になった。︵訳者が同僚である︶実用的でないPythonプログラミング: 楽しくコードを書いて賢くなろう!作者:ヴォーン,リー発売日: 2020/08/12メディア: 単行本ありがちなプログラミング初学者向けの本から1段上がった中級者向けの良い本だと感じたので、当ブログでたまにやっている筆者、訳者に媚びを売るシリーズの一貫として、感想を記す。書籍の概要﹁実用的でないPythonプログラミング﹂は、想定する中級レベルのアルゴリズムの問題を例に取り、Pythonでの美しいコードの書き方や、コンピュ

ch1248 2020/08/31

好きなタイプの本だ

リンク

【自動化】PDF内の表をPythonで抜き出す - Qiita

PDFは扱いにくい PDFファイルをPythonで扱うのは大変です。表がPDFの中に埋め込まれているケースも割とあります。例えば平成30年全衛連ストレスチェックサービス実施結果報告書の中にはたくさんの表データが埋め込まれています。例えばファイルの40ページの︻表14業種別高ストレス者の割合︼を抜き出したいと思ったとします。この表を選択して、Excelにコピペしてみましょう。コピーして、Excelに貼り付けます。おや？うまくいかないですね。1つのセルの中に、全部のデータが羅列されてしまっています。実はPythonを使ってこのPDF中の表を比較的簡単にcsvやExcelに変換することができます。 PythonでPDFの表をcsvに PythonでPDF内の表(テーブル)をcsvやexcelに変換する手順は2ステップです。ステップ1. PDFから表をpandasのData

ch1248 2020/06/28

python
Excel

リンク

mimalloc を Python で使う - Qiita

Microsoft が microsoft/mimalloc という新しいアロケータを公開しました。 https://www.microsoft.com/en-us/research/publication/mimalloc-free-list-sharding-in-action/ によると、 One increasing use-case for allocators is as back-end implementations of languages, such as Swift and Python, that use reference counting to automatically deallocate objects. We present mimalloc, a memory allocator that effectively balances these dema

ch1248 2019/07/06

python

リンク

AI時代へ向けて育成すべきはAI人材か?｜楠正憲（デジタル庁統括官）

今年3月に政府のAI戦略が年間25万人を目標にAI人材を育てるとぶち上げたのに続いて、教育再生会議が全ての大学生がAIなどの基礎的な素養を身につけられるように標準カリキュラムを作成することを提言した。ガートナーが2017年1月に産業界で2020年末時点で30万人以上のIT人材︵原典を確認したところAI人材ではなかったようですね︶が不足するといったらしいのだが、今からカリキュラムをいじったところで2030年くらいにならないとAIネイティブな新入社員は入ってこないし、その頃まで深層学習が流行っているのか、NVidiaが残ってるのか、PythonやTensorFlowが広く使われているのか、GAFAがどうなっているかなんてさっぱり見当がつかない。残念ながら私たちは2010年代に深層学習の実用化の局面で米国に負けたのであって、いまから教育をいじるといったって泥棒を捕らえて縄を綯うような話である。

ch1248 2019/05/19

全くもってその通り。

リンク

東大理IIIは本当に男子の合格率が高いのか？ - Qiita

TL;DR 東大の理科3類の男子と女子の合格率の間に統計的に有意︵p<0.05︶な差はない。鳥取大，島根大医学部の男女の合格率の間にも統計的に有意な差はない。背景最近，上野千鶴子氏の東大での式辞が話題になっていて，その中に，以下のような一節があった。文科省が全国81の医科大・医学部の全数調査を実施したところ、女子学生の入りにくさ、すなわち女子学生の合格率に対する男子学生の合格率は平均1.2倍と出ました。問題の東医大は1.29、最高が順天堂大の1.67、上位には昭和大、日本大、慶応大などの私学が並んでいます。1.0よりも低い、すなわち女子学生の方が入りやすい大学には鳥取大、島根大、徳島大、弘前大などの地方国立大医学部が並んでいます。ちなみに東京大学理科3類は1.03、平均よりは低いですが1.0よりは高い、この数字をどう読み解けばよいでしょうか。統計は大事です、それをもとに考察が成り立

ch1248 2019/04/14

統計的観点から

リンク

Pandasで行うデータ処理を100倍高速にするOut-of-CoreフレームワークVaex - フリーランチ食べたい

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。疑っているわけ

ch1248 2019/04/14

python

リンク

Python向け日本語自然言語処理ライブラリ「GiNZA」、リクルートがGitHubで公開

リクルートは2019年4月2日、Python向け日本語自然言語処理ライブラリ﹁GiNZA︵ギンザ︶﹂をオープンソースソフトとして公開したと発表した。1.0.1版では新元号﹁令和﹂にも対応した。公開したのは同社のAI︵人工知能︶研究機関であるMegagon Labs。同ライブラリでは、国立国語研究所との共同研究成果の学習モデルを用いた。 GiNZAは、Python向けの自然言語処理ライブラリ﹁spaCy﹂をフレームワークとして利用し、オープンソースの形態素解析器﹁Sudachi﹂のPython版である﹁SudachiPy﹂を内部に組み込んだ。 import spacy nlp = spacy.load('ja_ginza_nopn') doc = nlp('依存構造解析の実験を行っています。') for sent in doc.sents: for token in sent: print

ch1248 2019/04/06

リンク

【Python】🍜機械学習で「隠れた名店」を探してみた。（そして実際に行ってみた）🍜 - Qiita

１.簡単な概要この記事では都内ラーメン屋の食べログ口コミを使って隠れた名店をレコメンドで発掘するやり方を解説していきます。私自身🍜が大好きで昔は年間100杯以上食べ歩いてきた自称ラーメンガチ勢です。しかしながら、直近の健康診断にひっかかり、医者からドクターストップをかけられてしまいました。。。行き場をなくしたラーメン熱を発散すべく機械学習でラーメンレコメンド︵隠れた名店をレコメンドで発掘︶に挑戦してみることにしました。今回は、集大成として、Word2vecでモデリングしたmodelを使って隠れた名店をガチで発掘し、実際にそのお店に行って確かめるところまでやります！有名店のラーメンに対して類似度が高いラーメン店を探すイメージです。 techgymさんのブログに掲載いただきました！ありがとうございます。︻人工知能の無駄遣い?︼AIプログラミングの面白記事をまとめてみました。２.

ch1248 2019/03/25

面白い。

リンク

50代の銀行員がプログラミング(Python)を始めた話 - やんばるテック

はじめに先日、Pythonを始めた50歳銀行員の方についてツイートしたところ、多くの方からの反響がありました。仕事でお世話になっている銀行員の方にWebエンジニアへの転職活動中であることを打ち明けたら﹁へえ！実は僕も3ヶ月前からPython始めたんだ﹂﹁毎日PaizaとCheckiOやってて﹂﹁Udemyで機械学習動画ひとつ終えて﹂﹁いまDjangoで苦戦中﹂驚きましたちなみにその方50歳です負けてられない😊— やんばる@Webエンジニア(仮) (@shonansurvivors) 2019年3月7日今回はこの銀行員の方について、少しだけ触れたいと思います。目次はじめに目次エピソード私の転職活動を打ち明けたら今後について最後にエピソードこの銀行員の方とは5, 6年前から仕事でのお付き合いがあります。私は以前からこの方を尊敬していて、 40歳を超えて

ch1248 2019/03/22

とてもいい話

リンク

まだExcelで消耗してるの？Pythonによる自動集計ガイド基礎編 - Qiita

ちょっとしたデータの加工や集計に、ExcelやGoogle Spreadsheetは便利ですが、それが日常的な作業になってしまったら自動化したいですよね？そこでお勧めなのがpandasです。 Pandasは Python 用のデータ処理パッケージであり、ExcelファイルやCSVなどの表形式データを読みこみ、加工や集計した上で、出力するといったことがプログラムで記述できます。また開発環境を用意しなくとも、Googleが提供する無料の開発環境であるColaboratory上で、すぐに試すことができます。そしてPythonは、Office 98以降20年以降更新されていないVBAに代わる新たなスクリプト言語として、Microsoftが採用を検討しているという話もあります。 ExcelにPython搭載、マイクロソフトが検討。アンケートを実施中まずPandasの全体像を掴んでみる Pand

ch1248 2019/03/17

例のchrome拡張入れてると見れないエントリ。

python
Excel

リンク

はてなブックマーク

タグ

関連タグで絞り込む (43)

pythonに関するch1248のブックマーク (60)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス