misshikiのブックマーク - はてなブックマーク

［データ分析］幾何分布と負の二項分布～三度目の正直の確率は？

この連載は、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ﹃社会人1年生から学ぶ、やさしいデータ分析﹄連載︵記述統計と回帰分析編︶の続編で、確率分布に焦点を当てています。この確率分布編では、推測統計の基礎となるさまざまな確率分布の特徴や応用例を説明します。身近に使える表計算ソフト︵Microsoft ExcelやGoogleスプレッドシート︶を使いながら具体的に事例を見ていきます。必要に応じて、Pythonのプログラムや統計ソフト﹁R﹂などでの作成例にも触れることにします。数学などの前提知識は特に問いません。中学・高校の教科書レベルの数式が登場するかもしれませんが、必要に応じて説明を付け加えるのでご心配なく。肩の力を抜いてぜひとも気楽に読み進めてください。筆者紹介‥ IT系ライターの傍ら、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大

misshiki 2024/07/25

“幾何分布とは、k回目に成功する確率の分布。負の二項分布は、n回成功するまでにk回失敗する確率の分布。これらの確率分布が利用できる事例を確認し、確率質量関数や累積分布関数の求め方、可視化の方法などを解説” ●統計 ●データ分析

リンク

Adobeがビジョンを迅速に実現化する生成AI新機能をIllustratorやPhotoshopに搭載

Adobeが、IllustratorやPhotoshopに、デザイナーがビジョンを迅速に実現するため、クリエイティブワークフローを加速して作業に費やす時間を削減する新機能を搭載したことを発表しました。 Adobe - Adobe Unveils Powerful New Innovations in Illustrator and Photoshop Unlocking New Design Possibilities for Creative Pros https://news.adobe.com/news/news-details/2024/Adobe-Unveils-Powerful-New-Innovations-in-Illustrator-and-Photoshop-Unlocking-New-Design-Possibilities-for-Creative-Pros/def

misshiki 2024/07/25

“Illustratorに追加されたのは以下のような新機能です。 ◆Generative Shape Fill(生成図形塗りつぶし)”など

リンク

アジア系に強い新世代動画生成AI「KLING」がやってきたので試した。実用性高く無料生成も可能、静止画KOLORSも使える（CloseBox） | テクノエッジ TechnoEdge

Soraに匹敵する高品質の動画生成AIとして注目を浴びながら、中国の携帯電話番号が必須だったことから世界中の羨望を集めていた、KLINGが一般ユーザーも利用可能になりました。ログインにはメールアドレスだけでよく、Webサイトのklingai.comにアクセスします。アプリのインストールは不要。主要機能は3つ。静止画生成︵KOLORS︶、動画生成︵KLING︶、そしてビデオ編集です。毎日使えるクレジット︵ポイントは︶66。動画生成では10ポイントを消費します。 ■KLINGを使ってみた早速使ってみました。まずはImage to Video。プロンプトを入れて、プロンプトへの準拠レベルを調整。現時点では10秒の生成はできないため、5秒のみ。高品質モードも使えない状態です。出来上がったのはこちら。さすがアジア系には強い感じで、不自然さはほとんどないです。Luma Dream Machin

misshiki 2024/07/25

“Soraに匹敵する高品質の動画生成AIとして注目を浴びながら、中国の携帯電話番号が必須だったことから世界中の羨望を集めていた、KLINGが一般ユーザーも利用可能になりました。”

人工知能

リンク

オブジェクト指向に学ぶデータサイエンスのコーディング術

記事中で「オブジェクト指向」という言葉を使っていますが、決して「オブジェクト指向」で実装を進めているわけではありません。あくまでもオブジェクト指向の一部の考え方を参考に、DS職のコーディングを考えるという立ち位置です。本来のクラスの使い方として適切である保証はなく、「一つの実現方法の紹介」である旨ご了承ください。多くのDS（データサイエンス）職が書くソースコードは、そのままプロダクトに載せることが難しいものが多いです[3]。この理由は、DS職に求められる成果物や職掌がプロダクト開発チームなどとは異なるからであり、ある程度は仕方がないと認識しています。しかしながら、開発したアルゴリズムや機械学習モデルをプロダクトに載せたり、分析コードを他人[4]に引き継いだりする際には、「良いコード」で実装されているに越したことはありません。DS職の人が「良いコード」を書くためにはどうすれば良いかを考え続

misshiki 2024/07/25

“あくまでもオブジェクト指向の一部の考え方を参考に、DS職のコーディングを考えるという立ち位置です。...データ分析のコードに関して、今までたくさんの失敗をしてきた私が現時点で考えていることの一部を紹介”

リンク

難しいことはAIに任せて、素人でもデータ分析できるのか？ ChatGPT4-oで検証！ | 【レポート】Web担当者Forumミーティング 2024 春

世界の話題を牽引するAIチャット﹁ChatGPT﹂は、幅広いビジネス分野での活用が期待されている。Webビジネスを成功させるためには欠かせない業務のひとつであるデータ分析も、その例外ではない。﹁Web担当者Forum ミーティング 2024 春﹂では、IT分野の記事執筆や講演、企業向け研修などを行っているAI コンサルタントのマスクド・アナライズ氏が登壇。本記事では﹁現実的なAI データ分析﹂活用についての講演セッションの内容をレポートする。 AI コンサルタントのマスクド・アナライズ氏データ分析とは？ Web担当者にはなぜ必要？データ分析は、データの収集、データの整理、パターンの発見や問題を特定し、その結果を経営の意思決定などに用いている。データ分析にはさまざまな手法はあるが、分析手法やツールを使いこなすには、数学の知識やプログラミング学習が必要だ。難しいことは生成AIに任せて、自分で

misshiki 2024/07/25

“はじめてデータ分析を行うときに、フォローしてくれる補助輪”書き間違いかな。その前には﹁ある程度知識があることが重要﹂とあり、そっちには賛同できるのだが。ここからの説明は賛同できないな。 ●OpenAI

リンク

自社用LLM構築にむけて　RAG評価ってどうやればいいの？　最新フレームワーク「Auepora」をチェック

生成AIの推論精度向上を目的としてRAGの実装が進んでいますが、その性能を適切に評価することも重要です。複雑な評価プロセスに対応するために提案された「Auepora」と呼ばれる評価方法分析フレームワークを紹介します。

misshiki 2024/07/25

“RAGの性能を適切に評価することも重要です。複雑な評価プロセスに対応するために提案された「Auepora」と呼ばれる評価方法分析フレームワークを紹介します。”

自然言語処理

リンク

Amazon BedrockでClaude 3.5 Sonnetの画像理解・分析機能を使用して画像生成を検証・再生成・自動化する(Amazon Titan Image Generator G1編) - NRIネットコムBlog

小西秀和です。以前の記事では、Anthropic Claude 3.5 Sonnetの画像理解・分析機能を活用して、StabilityAI Stable Diffusion XL(SDXL)で生成した画像を検証・再生成するAmazon Bedrockの使用例を紹介しました。 Claude 3.5 SonnetでStable Diffusion XLによる画像生成を要件が満たされるまで繰り返すAmazon Bedrockの使用例本記事では、Anthropic Claude 3.5 Sonnetの画像理解・分析機能を活用して、AmazonTitan Image Generator G1で生成した画像を検証・再生成するAmazon Bedrockの使用例をご紹介します。この試みは、前述の記事同様に生成画像の要件充足を自動的に判定することで、人間による目視確認の作業量削減も目指しています

misshiki 2024/07/25

リンク

Anthropic’s Claude 3.5 Sonnet model now available in Amazon Bedrock: Even more intelligence than Claude 3 Opus at one-fifth the cost | Amazon Web Services

AWS News Blog Anthropic’s Claude 3.5 Sonnet model now available in Amazon Bedrock: Even more intelligence than Claude 3 Opus at one-fifth the cost It’s been just 3 months since Anthropic launched Claude 3, a family of state-of-the-art artificial intelligence (AI) models that allows you to choose the right combination of intelligence, speed, and cost that suits your needs. Today, Anthropic introduc

misshiki 2024/07/25

“Anthropic の Claude 3.5 Sonnet モデルが Amazon Bedrock で販売開始: Claude 3 Opus よりもさらにインテリジェンスが強化され、コストは 5 分の 1 に”

リンク

「Meta AI」がVR・MRヘッドセット「Meta Quest」に導入

misshiki 2024/07/25

リンク

テスト前の一夜漬けに成功した日本、ＡＩ活用は正念場へ－松尾豊教授

最大の懸念は、進展の速いＡＩ技術に対する活用熱意の後退だ。企業ではプロジェクトの成果が可視化しづらいと継続投資が難しくなる。また、日本の企業文化では成功事例を囲い込む傾向にあり、社会全体としての変化につながりにくいと述べた。政権交代や政局の混乱により、ＡＩ政策への関心が薄れる可能性もあるとみている。労働力不足が深刻化する日本では、ＡＩ戦略の可否が経済の維持に直結する重要課題となっている。経済産業省はこれを﹁2025年の崖﹂と位置付け、デジタル化への体制が整わなければ25年以降、年間12兆円の経済損失が生じる可能性を指摘している。国内では、著作権の問題や偽情報、判断プロセスの信ぴょう性などを巡り、ＡＩ技術に対して懐疑的な見方もある。松尾氏は、技術利用に当たっては試行錯誤をして成果につながるまでやり遂げられるかが問われており、日本社会が﹁変化を当たり前﹂と捉えて官民一体で推進する意識変化が

misshiki 2024/07/25

“ＤＸの進捗が遅れていた日本を「テスト前に真面目に勉強した子ども」に例えて、テスト後も「頑張り続けないと力が伸びない」と指摘。今後の展開は楽観視できないとの認識だ。”

DX

リンク

X / 旧Twitter、水鉄砲の絵文字を実銃に「修正」。Apple主導の武装解除から8年 | テクノエッジ TechnoEdge

X (旧Twitter) が、独自絵文字セットの﹁ピストル﹂を一般的な水鉄砲から、実銃のグラフィックに置き換えました。現在、モバイルアプリでは各社それぞれの絵文字セットによりおおむね明るい色の水鉄砲やオモチャの銃として表示されますが、ウェブのx.com では黒灰の銃身に茶のグリップを備えた拳銃のグリフになっています。ピストルの絵文字は2016年にAppleがiOSで水鉄砲に書き換えてから各社が追従し、2010年代末にはプラスチックの玩具を思わせる明るい色で、実際の拳銃とは離れたデザインが一般的になっていました。 Twitter の担当エンジニアによれば、この変更は﹁あるべき姿の復旧﹂。独自の絵文字グリフを実銃に戻すことで、いわばAppleに取り上げられた武装権を回復したといえます。絵文字、もしくは汎用規格のUnicodeとしての Emoji にはテキストによる抽象的な定義と参考の画像

misshiki 2024/07/25

“X (旧Twitter) が、独自絵文字セットの「ピストル」を一般的な水鉄砲から、実銃のグラフィックに置き換えました。”

考えさせられる

リンク

Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開

Google、BIツールのLooker Studioのグラフからプレゼンテーション用スライドを自動的に生成する「Gemini in Looker」の新機能プレビュー公開 Googleは、同社の最新生成AIであるGeminiをBIツールと統合した「Gemini in Looker」として、Looker Studio ProのグラフからGoogle Slidesのスライドを自動的に生成する新機能のプレビュー公開を発表しました。 Looker Studioは、Google SheetsやBigQuery、Cloud SQLやGoogle AnalyticsといったGoogleが提供するデータソースだけでなく、Amazon RedshiftやMicrosoft SQL Server、MySQL、PostgreSQL、SnowflakeなどのデータベースやFacebook Ads、LinkedIn

misshiki 2024/07/25

“GeminiをBIツールと統合した「Gemini in Looker」として、Looker Studio ProのグラフからGoogle Slidesのスライドを自動的に生成する新機能のプレビュー公開”

リンク

Haruki Sonehara / 🇺🇸シリコンバレーのプロダクトマネージャー(B2B・B2C) on X: "これまた強烈。OpenAIが今年度7700億円の損失、増資しないと資金が向こう12ヶ月で尽きる可能性ありとな。モデルのトレーニングで1兆円ほどコストがかかり、人材の維持確保に2000億円。とにかくLLMは資本主義の権化みたいなビジネス。こんな中でどう収益を確保していくのか。大人の戦いが続く。 https://t.co/RLdJnbyvvw"

misshiki 2024/07/25

“OpenAIが今年度7700億円の損失、増資しないと資金が向こう12ヶ月で尽きる可能性あり”

OpenAI

リンク

Software Architecture in an AI World

Navigating New Constraints, Requirements, and Capabilities Like almost any question about AI, “How does AI impact software architecture?” has two sides to it: how AI changes the practice of software architecture and how AI changes the things we architect. These questions are coupled; one can’t really be discussed without the other. But to jump to the conclusion, we can say that AI hasn’t had a big

misshiki 2024/07/25

“新しいアイデア、新しいパターン：AI はソフトウェア設計に新たな可能性をもたらします。ここでは、構築するシステムの高レベルな構造を把握するための簡単なパターンをいくつか紹介します。” RAG、The Judgeなど。

リンク

機械学習で従来の3500倍以上高速かつコストが10万分の1に抑えられる気象予測モデル「NeuralGCM」をGoogle Researchが公開

Googleの研究部門であるGoogle Researchが、地球の大気をシミュレートする機械学習モデル﹁NeuralGCM﹂を開発したことを発表しました。このモデルは、従来の物理ベースのモデリングと機械学習を組み合わせることで、シミュレーションの精度と効率を向上させており、2〜15日間の天気予報において従来のモデルよりも正確な結果を出し、過去40年間の気温をより正確に再現することができます。 Fast, accurate climate modeling with NeuralGCM https://research.google/blog/fast-accurate-climate-modeling-with-neuralgcm/ Google AIpredicts long-term climate trends and weather — in minutes https://w

misshiki 2024/07/25

“Google Researchが、地球の大気をシミュレートする機械学習モデル「NeuralGCM」を開発”

リンク

国産の画像生成AI、ストックフォト大手＆産総研子会社で共同開発へ　安心して商用利用できるモデル目指す

国産画像生成AIモデルの開発へ──ストックフォトサービスを手掛けるアマナイメージズと産業技術総合研究所︵産総研︶の子会社であるAIST Solutions︵茨城県つくば市︶は7月23日、共同研究契約を8日に結んだと発表した。両社の技術を掛け合わせ、国産画像生成AIモデルの開発に向けた共同研究を始める。共同研究では、権利リスクを最小化したAIモデルの開発を目指す。産総研が持つ、権利関係の懸念が少ないというAIモデル構築手法﹁数式駆動教師あり学習﹂をコア技術に、権利関係が明確で倫理的な問題を含まないというアマナイメージズの画像データ﹁Qlean Dataset﹂などを利用することで、権利リスクを最小化した上で商用利用可能な基盤モデルを構築できるとしている。数式駆動教師あり学習によるメリットは、画像認識の文脈にもあり﹁追加学習に要する実画像枚数の削減につながることが実験的に明らかになっている

misshiki 2024/07/25

“ 国産画像生成AIモデルの開発へ──ストックフォトサービスを手掛けるアマナイメージズと産業技術総合研究所（産総研）の子会社であるAIST Solutions（茨城県つくば市）”

人工知能

リンク

エアコンの設定温度、東京は世界12都市で最も“高い”　ダイキン調べ

ダイキンは7月25日、世界12都市の居住者を対象に調査した結果、東京はエアコン冷房時の設定温度が最も高かったと発表した。最も低かったラゴス︵ナイジェリア︶との差は約4℃だった。東京、ニューヨーク、パリなどの都市で計1200人を調査した。東京の冷房設定温度は平均26.2℃と12都市の中で最も高く、2位はバンコク︵タイ︶の25.1℃、3位は上海の25℃とアジア圏が続いた。最も設定温度の低いラゴスは21.9℃だった。エアコンの電気代を気にしている人の割合も東京が92％で最も多かった。12都市の平均は83.3％だった。﹁10年前と比べてあなたの住む都市は暑くなったと感じるか﹂という設問では、12都市中10都市で﹁とても暑くなった﹂と回答した人の割合が最も高かった。中でも高かったのはバンコク︵タイ︶で87％。ついでニューデリー︵インド︶の81％、サンパウロ︵ブラジル︶の78％だった。関連記事

misshiki 2024/07/25

“東京の冷房設定温度は平均26.2℃” 個人的には26度は暑い。23度ぐらいがちょうどいい。22度以下は寒く感じだす。電車の弱冷房車とか本当に嫌ですぐに乗り換える。妻が寒がりじゃなくて良かった。部屋サイズの影響も。

気になる

リンク

Netflixが大規模ワークフローの管理システム「Maestro」をオープンソース化

Netflixが自社製ワークフローオーケストレーター﹁Maestro﹂をオープンソース化しました。MaestroはNetflix社内で現役稼働しており、データパイプラインや機械学習パイプラインといった大規模ワークフローの管理に使われているそうです。 Maestro: Netflix’s Workflow Orchestrator | by Netflix Techno logyBlog | Jul, 2024 | Netflix Tech Blog https://netflix tech blog.com/maestro-netflixs-workflow-orchestrator-ee13a06f9c78 Netflixは﹁ユーザーが次に視聴する作品の予測﹂などを目的に機械学習を活用しており、記事作成時点では何千もの機械学習ワークフローインスタンスを起動し、平均して1日当たり50万のジョブを

misshiki 2024/07/24

MLOps

リンク

Maestro: Netflix’s Workflow Orchestrator

By Jun He, Natallia Dzenisenka, Praneeth Yenugutala, Yingyi Zhang, and Anjali Norwood TL;DRWe are thrilled to announce that the Maestro source code is now open to the public! Please visit the Maestro GitHub repository to get started. If you find it useful, please give us a star. What is MaestroMaestro is a general-purpose, horizontally scala ble workflow orchestrator designed to manage large-scale

misshiki 2024/07/24

“Maestro は、データパイプラインや機械学習モデルのトレーニングパイプラインなどの大規模なワークフローを管理するために設計された、汎用的で水平にスケーラブルなワークフローオーケストレーターです。”

MLOps

リンク

「RAG」の精度向上をお手軽に　ソフトバンクがデータ作成ツールを提供

ソフトバンクは、2024年7月22日より、AIの教師データを作成するアノテーションサービス﹁TASUKI Annotation﹂において、生成AIサービスの回答精度を向上させる﹁RAGデータ作成ツール﹂の提供を開始した。同ツールは、生成AIサービスにおけるRAG︵検索拡張生成︶の検索精度を向上させるための、データの構造化や回答の評価といった作業を自動化してくれるツール。図表やテキストなどさまざまな形式のデータを容易に構造化できる機能や、回答の引用元データの参照や生成結果が適切かを自動評価する機能を備える。また、検証用のRAG環境を利用でき、検証したデータは本番環境へスムーズに移行できる。直感的なUIによって、生成AIに対する専門知識がなくても、誰でも簡単にこれらの作業を進めることが可能だ。

misshiki 2024/07/24

“ソフトバンクは、2024年7月22日より、AIの教師データを作成するアノテーションサービス「TASUKI Annotation」において、生成AIサービスの回答精度を向上させる「RAGデータ作成ツール」の提供を開始した。”

リンク

はてなブックマーク

タグ

misshikiのブックマーク (20,832)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第3週）

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス