2024年最新版：Pythonデータ解析ライブラリ総まとめ - 実践的ガイド - Qiita
はじめに Pythonのデータ解析エコシステムは日々進化を続けています。2024年現在、効率的なデータ処理、直感的な可視化、高度な機械学習の自動化など、様々な新しいツールが登場しています。本記事では、最新のPythonデータ解析ライブラリを紹介し、それぞれの特徴や使用例、実際のユースケース、そして導入方法まで詳しく解説します。 1. データ操作ライブラリ 1.1 Polars: 高速データ処理の新標準 Polarsは、Rustで実装された高速なデータ操作ライブラリです。pandasに似たAPIを持ちながら、大規模データセットでより高速に動作します。 特徴: 高速な処理速度 メモリ効率が良い pandasに似たAPI 使用例: import pandas as pd # サンプルデータを作成 data = { "age": [25, 32, 28, 35, 40, 50], "categor
EDR製品の有効性について質問させてください。 EDR製品を導入していれば、いわゆる標的型攻撃にみられるような不審なネットワーク探索をほぼ確実に検知できると考えて良いものなのでしょうか？ それともEDR製品ではどうしても検知できないネットワーク探索手法も存在するのでしょうか？ まず、EPP（Endpoint Protection Platform）とEDR（Endpoint Detection and Response）という二つの用語について説明します。 EPPは従来のウイルス対策ソフトをEDRとの対比のためにこう呼んでいますが、基本的にはシグネチャにより、パソコン等に入ってきたファイルをチェックして、マルウェアと判定したら隔離や警告をするものです。 EDRは、エンドポイント（パソコンやサーバー）の挙動を見張っていて、マルウェア特有の挙動を検知（Detection）したら、対応（Resp
今さらながらGoogleの「NotebookLM」を触ったら、インターネットサーフィンが普通にそのまま"仕事"になった話
今さらながらGoogleの「NotebookLM」を触ったら、インターネットサーフィンが普通にそのまま"仕事"になった話 6月頭くらい？ にGoogleがリリースして話題になっていた、自分専用のRAGが簡単に組めるLLMツール「NotebookLM」ですが、そのうち触ろうと思いつつも、「またRAGか」「どうせRAGでしょ？ 知ってます」みたいな気持ちでいたら腰が重くなってしまい、いつのまにか一ヶ月くらい経ってしまっていました。 そして今日、たまたまちょっと時間が空いたので触ってみたんですが、想像していたよりもずっと楽しくてすごかったので書き残したく思った次第です。ちなみにこれ↓ NotebookLMってファイルとかURLとかかなりの量放り込めて、放り込まれただけ参照できる(しかもかなり精度高い)っていうツールなんですが、これの何がすごいというと、インターネットサーフィンをしながらおもしろい
プログラマ、テスト駆動開発者 和田卓人 学生時代にソフトウェア工学を学び、オブジェクト指向分析/設計に傾倒。執筆活動や講演、ハンズオンイベントなどを通じてテスト駆動開発を広めようと努力している。『プログラマが知るべき97のこと』（オライリージャパン、2010）監修。『SQLアンチパターン』（オライリージャパン、2013）監訳。『テスト駆動開発』（オーム社、2017）翻訳。『事業をエンジニアリングする技術者たち』（ラムダノート、2022）編者。テストライブラリ power-assert-js 作者。 講演や執筆などを通じ、日本におけるテスト駆動開発のエバンジェリストとして知られる和田卓人さん。 TDDとは何かを改めて言語化してもらった前回の記事では、「テストを書かずに進むのが合理的といえるときはある。でも、後からテストを書くのって難しいしつらい」とのお話がありました。 テストが書かれないまま
2000年前のキケロ「老年論」に驚かされるばかりだった。
選挙でGitHubを使うことに意味はあったのか？――GitHubを用いた政策リポジトリの公開について振り返る｜#安野たかひろ 事務所（公式）
証明書認証局(CA)のLet's Encryptが、公開鍵の証明書の失効状態を取得する通信プロトコルであるオンライン証明書状態プロトコル(OCSP)のサポートを終了することを明らかにしました。 Intent to End OCSP Service - Let's Encrypt https://letsencrypt.org/2024/07/23/replacing-ocsp-with-crls.html Let's Encryptのエグゼクティブディレクター兼共同創設者であるジョッシュ・アース氏は2024年7月23日に、「私たちは本日、OCSPのサポートを終了し、証明書失効リスト(CRL)をできるだけ早く導入する意向を発表します」と述べました。 Let's Encryptは記事作成時点で約10年間にわたってOCSPのレスポンダーを提供してきましたが、2022年からはCRLのサポートも行っ
【エンジニアの日常】これが私の推しツール！〜日々の開発を豊かにするおすすめツール〜 Part1 - Findy Tech Blog
自動テストの重要性が広く認知されるようになった一方、自動テストの活用に課題を抱える組織も依然として多く見受けられます。 本記事では『Developer eXperience Day 2024』（主催：日本CTO協会）における和田卓人氏によるセッション「望ましい自動テストとは：どのようなテストが開発生産性と開発者体験を共に高めるのか」の内容をお届けします。 和田卓人氏 執筆活動や講演、ハンズオンイベントなどを通じて自動テストやテスト駆動開発を広めようと努力している。 『プログラマが知るべき97のこと』（オライリージャパン、2010）監修。『SQLアンチパターン』（オライリージャパン、2013）監訳。『テスト駆動開発』（オーム社、2017）翻訳。『事業をエンジニアリングする技術者たち』（ラムダノート、2022）編者。 なぜ自動化テストを書くのか 和田 卓人です。インターネット上ではt-wada
こんにちは。プラットフォーム開発部兼財務データ企画部のshigeniiと申します。 普段はデータ基盤の運用保守、および、全社的なデータ活用やデータ駆動推進を担当しています。 今回は、財務に関する情報の収集からその可視化までの過程をシステム化することで、事業計画や予算策定のプロセス改善に結び付けた我々の取り組みについて、システム化に焦点を当てながら書き綴りたいと思います。 この記事がバックオフィス業務において、同じような課題を抱えている方に少しでもご参考になれば幸いです。 経緯 財務レポート可視化プロジェクト システム化にあたっての具体的な取り組み Before After システム化にあたっての課題 今回の対応 全体的なシステム構成 財務レポートを作るまでのながれ 説明1．各業務システムのデータを取得 説明2．マスタ情報の取得・作成 説明3．データの加工・突合機能 説明4．データに対するセ
TypeSpec、Orval、Storybook を使ってフロントエンドのモック生成を自動化する
はじめに フロントエンド開発において、効率的かつ一貫性のあるモック生成は非常に重要です。本記事では TypeSpec、Orval、Storybook の 3 つのツールを使用して自動生成でモックを実現する方法を紹介します。 TypeSpec は、大規模な API を提供するために Microsoft が開発し、使用している新しい API 記述言語です。 Orval は、OpenAPI 仕様から TypeScript のクライアントコードを生成するツールです。これにより、最新の API 仕様に基づいたクライアントコードを常に保持し、API との通信がスムーズに行えるようになります。 Storybook は、コンポーネントを独立して開発・テストするためのインタラクティブなツールです。コンポーネントの見た目や動作を個別に確認できるため、UI の一貫性を保ちながら効率的に開発を進めることができます
自分が管理する全 OSS の Issue や Pull Request を 1 つの GitHub Project に集約
自分が管理する全 OSS の Issue や Pull Request を 1 つの GitHub Project に集約 タイトルの通り、自分が管理する全 OSS の Issue や Pull Request (以下 PR) を 1 つの GitHub Project に集約した話を紹介します。 自分は様々な OSS をメンテしており、様々なリポジトリで作られる GitHub Issues や PR を日々ハンドリングする必要があります。 しかしこれだけリポジトリの数が増えると一つ一つリポジトリを巡回してハンドリングしていくのは困難です。 ユーザーによって issue や PR が作成・更新されるとメール通知で気付けるようにはなっていますが、色々な issue や PR に対応しているとつい存在を忘れてしまうこともあります。 また Renovate の PR がマージされずに放置されたり
Claude 3.5 SonnetでStable Diffusion XLによる画像生成を要件が満たされるまで繰り返すAmazon Bedrockの使用例 - NRIネットコムBlog
概要 GitHub Copilot WorkspaceはAIが組み込まれた開発環境。「見えてきたプログラマー不要時代」で有名。テクニカルプレビュー中で、ウェイトリストに申請すると招待が来る。 githubnext.com 巷で言う”仕様書から開発自動化コーディングエージェント”とはちょっと違って、あくまでCopilot WorkspaceはCo-pilotの役割のみで、コーディングするのは自分、と考えると良い。今までブロック単位のコード補完だったものがレポジトリ全体に及んでる、というようなアナロジーだと思う。 自然言語を使用してタスクを指定し、AIが生成したコードの微調整、レビュー、繰り返しをユーザーが行うことができる。タスクの定義をIssueからインポートすると画像も認識する。 特徴 自然言語で目的(Task)、現在値・期待値(Specification)、変更計画(Plan)の各フェー
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます クリックテック・ジャパンは7月18日、同社が提供するデータ分析部門の製品・サービスに関する記者説明会を開催した。 会見に登壇したQlik Technologies データ分析事業部 ジェネラルマネージャーのBrendan Grady氏は「当社は長らくビジネスインテリジェンス（BI）ベンダーと認識されてきたが、AIの導入が加速することで、新しい方向にかじを切ろうとしている」と話した。 例えば、TalendやAttunity、Mozaic Data、Big Squid、Kyndiなどの企業買収によって、エンドツーエンドのデータソリューションを提供するというコミットメントを強化している。 同社はデータ分析の体験を向上させるため、「ナビゲーショ
【10周年前祝い】歴史・年表でみるAWSサービス(AWS Lambda編) －機能一覧・概要・アップデートのまとめ・入門－ - NRIネットコムBlog
Platform Engineering Kaigi 2024 〜SRE課ふりかえり〜 - RAKUS Developers Blog | ラクス エンジニアブログ
KDDIは7月23日、東京・多摩市にある通信ネットワークの設備を公開した。名称は「多摩第5ネットワークセンター（多摩第5NC）」で、常にネットワークを監視・運用する。 同日、KDDIが重要な社会インフラである通信ネットワークをどのようにして、24時間365日守るのか、通信障害などの対策をどのように行うのかを説明した他、通信ネットワークを監視するモニターや災害を支援する車載基地局などを公開した。 スマートオペレーションとAIによる自動化がもたらす効果 多摩第5NCがある多摩は地盤が硬く揺れにくい地形で、水害リスクが低いエリアとなっている。加えて、建物を免震構造とすることで、地震発生時にも稼働できるようにしている。 ネットワークセンターは日頃耳にしないため、聞き慣れない人が多いだろう。似た設備に例えると、地下鉄や新幹線の司令塔、航空機の管制塔だ。司令塔や管制塔では列車や航空機の運行状況や、位置
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。7月15日（月）～7月21日（日）〔2024年7月第3週〕のトップ30です*1。 順位 タイトル 1位 2011-2024 この13年間における最高の一冊 - HONZ 2位 「AIに仕事を奪われた絵師」な訳だが｜走り書き 3位 軍事研究家・小泉悠氏が「人の脳が戦場になる」解説 「信じない人」が狙われる＜認知戦インタビュー詳報＞：東京新聞 TOKYO Web 4位 【特集】OneDriveの罠に注意！強制同期を切ったり、容量の警告に対処したいならこれをすべし - PC Watch 5位 調味料Tierリスト(ルーキー〜シルバー帯まで) 6位 取調べで使われる卑劣な手口と対処法 - 弁護士が暴露する黙秘権行使の真実｜弁護士髙野傑 7位 世界規模でWindowsデバイスが次々とブルースクリーン（BSo
Amazon BedrockでClaude 3.5 Sonnetの画像理解・分析機能を使用して画像生成を検証・再生成・自動化する(Amazon Titan Image Generator G1編) - NRIネットコムBlog
小西秀和です。 以前の記事では、Anthropic Claude 3.5 Sonnetの画像理解・分析機能を活用して、Stability AI Stable Diffusion XL(SDXL)で生成した画像を検証・再生成するAmazon Bedrockの使用例を紹介しました。 Claude 3.5 SonnetでStable Diffusion XLによる画像生成を要件が満たされるまで繰り返すAmazon Bedrockの使用例 本記事では、Anthropic Claude 3.5 Sonnetの画像理解・分析機能を活用して、Amazon Titan Image Generator G1で生成した画像を検証・再生成するAmazon Bedrockの使用例をご紹介します。 この試みは、前述の記事同様に生成画像の要件充足を自動的に判定することで、人間による目視確認の作業量削減も目指しています
Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – | Amazon Web Services
Amazon Web Services ブログ Failure Analysis Assistant – AIOps で障害分析を効率化してみよう – システムやサービスを提供する上で、障害はつきものです。障害を迅速に分析し対処することがユーザビリティやサービス信頼性を向上し、結果顧客満足度につながります。一方で近年システムは複雑さを増しており、障害特定が従来に比べて難しくなっています。したがって障害分析の効率化や高度化が重要になっています。 従来の手動による障害分析では、膨大なログデータの中から問題の根本原因を特定するのに多大な時間と労力を要し、ダウンタイムの長期化やサービス品質の低下につながる可能性がありました。そこで注目されているのが、人工知能 (AI) や機械学習 (ML) を活用した障害分析です。 AI/ML による高度な分析技術を用いることで、障害の早期発見、迅速な原因特定、さ
食品業界】メーカー５社がロボット活用
未来型食品工場コンソーシアムでの活動についてのニュースです。 コンソーシアムって？という事ですが、わたくしもピンとこないので調べてみると 「コンソーシアムは、複数の組織や企業が協力して共同でプロジェクトを進める組織形態です。通常、共通の目的や利益を持つメンバーが集まり、リソースや知識を共有し、共同で研究、開発、実施を行います」 という事です。 カゴメ、キユーピー、永谷園、ニチレイフーズ、日清製粉グループ本社の、食品メーカー５社と、調理ロボットを開発するTECH MAGICが「未来型食品工場コンソーシアム」を結成したと７月初めに発表しました。 労働力不足や原価高騰といった目の前の課題への対応は、中長期的に継続し、これらに対応するためには先端技術の革新的な取り組みが必要！ということで、食品工場における非競争領域の共通課題に対して、各社の専門知識と高度なロボットテクノロジーを活用し、持続可能な食
前書き 目次 著者 ロボット工学3原則 トロッコ問題 人工知能（AI）の定義 交通領域 シンギュラリティ・2045年問題 ロボット法のゆくえ まとめ（主観です・・・） おまけ １．【自動運転】 ２．【ロボット】 出典：ロボット法 増補第2版 - 弘文堂 前書き 久しぶりの投稿はちょっとお堅い内容です。 タイトルの通り最近読む機会があった 【ロボット法 AIとヒトの共生にむけて】 についてのレビューになります。 初版発行は2017年になりますが、読んだのは2019年の増補版、冒頭の画像は2024年に発行された増補第2版になります。 法律から見る最先端技術（発行当時）という意味でとても興味深く読ませていただいたので、久しぶりに投稿してみる気になった次第です。 本書の詳細については省きますが、以下に示す本書の構成（目次）から興味を引いた内容だけかいつまんでいきます。 目次 序章 ロボット法の必要
仕事をしたくなる選挙戦忘備録｜banbiossa
＊あくまで個人的な忘備録となります こんにちは、チーム安野の志水です。 今日は都知事選2024の選挙戦の個人の視点からのふりかえりを共有いたします。 出馬を知る安野とは大学の同期で、私はX上のニコニコニュースで彼の都知事戦への出馬を知りました。正直しばらくは本当なのかフェイクなのか確信が持てませんでした。そこからグループのMessengerで本人からの声が届き本当なんだとわかりました。 デジタル民主主義を掲げて都知事選に立候補 安野たかひろ氏「オープンソースGitHubで政策を管理、どなたでも変更提案」「24時間AIタウンミーティング」https://t.co/pmbejlokv1 台湾のオードリー・タン元デジタル相から受けたアドバイスも発表しアピール#東京都知事選挙 #都知事選 #安野たかひろ pic.twitter.com/gOzKIwA218 — ニコニコニュース (@nico_ni
第3回では品質保証のためのソフトウエアテストを主力事業とするバルテスとSHIFTの取り組みを追う。 テストベンダーの強みは、これまで実施してきたテスト設計書やバグリポートなどの資産を持つことだ。これらをAI（人工知能）に学習させ、テストに特化した出力を可能にしている。テストケースを自動生成したりテストエンジニアにテスト観点をレコメンドしたりすることで、テストの品質向上が見込める。 テストデータの準備に威力を発揮 バルテスでは、米Microsoft（マイクロソフト）の「Azure OpenAI Service」を利用した社内向けの検証基盤を構築し、数千万点のテスト資産を学習させている。具体的には「テスト設計書」、パラメーターのパターンやテスト観点の深掘り方法などを表記した中間ファイル「テスト明細」などだ。この基盤を活用し、同社のテスト自動化ツール「T-DASH」に「テストケースをより早く生成
【当たり前】バルブは便利だけど怖い
自動化がどんどん進んでいき、人が何もしなくても勝手に製造できることを理想として、いろいろな取り組みをしている昨今。 自動弁をとにかくつければ解決するのだ、という結構危ない意見もあります。 私は手動弁ですら危ない部分があるのに、そこに目を向けている人がどんどん少なくなっていることに、不安を感じています。 自動弁・手動弁問わずバルブの何が怖いのかを解説します。 開閉の状態をすぐに切り替えられる バルブというのはとても便利なもので、開いた状態と閉じた状態をすぐに切り替えることができます。 仮にこの目的をバルブ以外で実践しようとしたら、配管を都度付けたり外したりと、漏れることを覚悟したり時間が掛かることを予想しないといけません。 この手間を解決するための画期的な方法が、バルブです。 便利なものは当然弱点があるもの。 その弱点を見ていきましょう。 内通 バルブのトラブルで最も多いのは内通です。 バル
ソフトバンクは、2024年7月22日より、AIの教師データを作成するアノテーションサービス「TASUKI Annotation」において、生成AIサービスの回答精度を向上させる「RAGデータ作成ツール」の提供を開始した。 同ツールは、生成AIサービスにおけるRAG（検索拡張生成）の検索精度を向上させるための、データの構造化や回答の評価といった作業を自動化してくれるツール。図表やテキストなどさまざまな形式のデータを容易に構造化できる機能や、回答の引用元データの参照や生成結果が適切かを自動評価する機能を備える。 また、検証用のRAG環境を利用でき、検証したデータは本番環境へスムーズに移行できる。直感的なUIによって、生成AIに対する専門知識がなくても、誰でも簡単にこれらの作業を進めることが可能だ。
ジャンプTOON Flutter × GraphQL ~宣言的なアプリ開発の工夫~ | CyberAgent Developers Blog
AIに仕事を奪われた絵師の話が怖すぎた
キャリアEvolution of robots, struggle for a place at work. Automation of business processes. Robot expels the employee's business from the workplace. Concept of replacing people with robots, artificial intelligence. 黒坂岳央です。 イラスト1枚1万円で請け負う、フリーのイラストレーターの投稿が話題をよんでいる。 詳細はオリジナルの原稿を見てもらいたいのだが、AIの台頭で細々とやっていた仕事がなくなり、絵師をやめて再就職をするに至ったという話である。誰もがうっすら感じていた恐怖はすぐそこにある。この話に完全に無関係でいられる人は少なくないのだ。 AIに仕事を奪われる人、奪われない人 同記
料理には、人の考え方と能力がすべて表れる
AirJapan【MCC】バンコクから成田★スワンナプーム空港【プライオリティパス】★ラウンジ&フライトのレポート - SAPPOROベースでマイレージ旅行
こんにちは。かーる1世です。 ANAの国際線 MCC（ミドル・コスト・キャリア＝一般化した言葉なのかは不明です）であるAirJapanを利用して、バンコク・スワンナプーム国際空港から成田国際空港まで搭乗しました。 フライトとバンコク・スワンナプーム国際空港で利用したラウンジについてレポートしたいと思います。 2024年6月の搭乗です。 「本ページはプロモーションが含まれています」 もくじ AirJapan航空券 AirJapanチェックイン スワンナプーム国際空港ラウンジ ターキッシュエアラインズ エールフランス AirJapanフライトのようす 成田で余裕のトランジットそして新千歳へ まとめ AirJapan航空券 AirJapanの航空券は、3つの運賃タイプがありました。 僕は預け入れ荷物と座席指定がついたスタンダードタイプの航空券を購入し、機内食をオプションで購入しました。 バンコク
メール地獄からの解放：AI完全自動メール返信生成システム（by ChatGPT研究所）｜genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
化学プラントでプロセス制御や自動化は、エンジニアの花形ポジションだと思っています。 化工系出身者と機電系出身者が共同して作り上げる。 良否は、製造の質に直結して、安全で競争力のあるプラントかどうか分かれる超重要な業務です。 昨今は、DXやAIなどの動きもあって、興味を持っている人は多いでしょう。 この辺まとめてデータエンジニアリングとかデータサイエンティストなんて呼ばれていますよね。 空調のきいた部屋で仕事できるし、場所も問わないで出来る業務が多かったりするのもポイント。 ですが、私はここにほぼ興味を持っていません。 バックグラウンドとしては十分に素養があり、やればできたのだと思います。（大学や大学院ではプログラミングをするのは当然でしたので） それでも興味を持たなくなったごく個人的な理由を、まとめます。 たまたま機械と現場の仕事だけを経験 私のキャリアは最初は機械の仕事でした。 機械設備
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EDR製品の有効性について質問させてください。 EDR製品を導入していれば、いわゆる標的型攻撃にみられるような不審なネットワーク探索をほぼ確実に検知できると考えて良いものなのでしょうか？ それともEDR製品ではどうしても検知できないネットワーク探索手法も存在するのでしょうか？ | mond
t-wada氏に聞く、テストを書き始めるための「はじめの一歩」 - レバテックラボ（レバテックLAB）
世界最大の認証局のLet’s Encryptが「オンライン証明書状態プロトコル(OCSP)」のサポートを打ち切ると発表
開かずのMO――25年以上前のDTPデータを発掘してひらいてみる
望ましい自動テストとは｜どのようなテストが開発生産性と開発者体験を共に高めるのか｜Tech Team Journal
事業計画を立てる上で必要なプロセスをシステム化し改善した話 - pixiv inside
GitHub Copilot Workspace ファーストインプレッション - laiso
「ChatGPT一択」ではない 営業のプロが解説、商談のレベルを底上げする生成AIサービス活用法
生成AIで非構造化データの時代が到来する--クリックが「Qlik Answers」提供
ＡＩバブルに審判の時が来ると確信－ゴールドマンの株式調査責任者
KDDIは通信障害をどのように検知してインフラを守っているのか ネットワークセンターに潜入
世界規模で起きたWindowsブルスク問題 MicrosoftとCrowdstrikeが支援策公表
「AI、このタスクお願いね」が現実に？ 生成AIの発展系「AIエージェント」でできること
今週のはてなブックマーク数ランキング（2024年7月第3週） - はてなブックマーク開発ブログ
【ロボット法 AIとヒトの共生にむけて】レビュー - sugarless time
ひとりSEは「仕事の早い屋台のおっちゃん」を目指そう - Qiita
テストに特化したAIモデルが登場、存在意義を問い直すバルテスとSHIFT
「RAG」の精度向上をお手軽に ソフトバンクがデータ作成ツールを提供
「ChatGPT」が開発で役に立たない納得の理由 ただし、GPT-3.5版に限る：787th Lap
機電系エンジニアの私がデータエンジニアリングに興味を無くした理由