ストックマークの社内研修の公開版※資料です。 (※実際に研修で利用したものとは異なります)
イーロン・マスク氏は7月14日(米国時間)、12日に予告した新企業xAIに関するスペースを予定より少し遅れて開催した。4万人以上がリアルタイムで参加し、マスク氏の伝記を執筆中のウォルター・アイザックソン氏やキム・ドットコム氏なども質問した。 マスク氏は、xAIの目標は複雑な科学や数学の問題を解明し、宇宙を理解するのに役立つ“スーパーインテリジェントAI”を構築することだと語った。そうしたAIは2029年までに登場すると予想するのが現実的だという。xAI立ち上げメンバーらは、社会に利益をもたらす「人間より賢いAI」を構築したいと語った。 マスク氏はまた、将来的にはOpenAIやGoogleなどに代わるAI企業になるが、xAIはまだ初期段階であり、競合に追いつくには時間が必要だとも語った。 途中、異星人が見つからないのはなぜかについての「フェルミのパラドックス」について熱く語る場面もあった。ま
米X(旧Twitter)が9月29日に発効させするプライバシーポリシーの改定で、公開データをAIのトレーニングに使うことを新たに追加していたことが明らかになった。米IT系ブログStackdiaryが9月1日に指摘した。 日本語版では、「本ポリシーで概説されている目的のため、当社が収集した情報や一般公開された情報を、機械学習または人工知能モデルのトレーニングに使用することがあります。」となっている。 この件について、XのオーナーでCTO(最高技術責任者)のイーロン・マスク氏は「(トレーニングに使うのは)公開データだけで、DMやプライベートなものは対象外だ」とポストした。 マスク氏は7月、“スーパーインテリジェントAI”構築を目指して立ち上げる新企業xAIで、xAIのAIモデルのトレーニングに、Twitterの公開データを利用すると明言している。xAIのWebサイトには、「当社はX Corpと
米国の作家の経済的地位向上を目的とするAuthors Guild(全米作家協会)は7月18日(現地時間)、米OpenAIなどの生成AIに取り組む企業のCEOに対し、AIのトレーニングに作家の作品を無断で使わないよう求める書簡を公開した。本稿執筆現在、8500人以上が署名している。 宛先は、以下の企業のCEOだ。 OpenAIのサム・アルトマンCEO AlphabetおよびGoogleのスンダー・ピチャイCEO Metaのマーク・ザッカーバーグCEO Stability AIのエマド・モスタークCEO IBMのアービンド・クリシュナCEO Microsoftのサティア・ナデラCEO 書簡には、「大規模言語モデル(LLM)で構築される生成AIは、われわれの著作物のおかげで存在する」「これらのテクノロジーは、われわれの言葉、物語、スタイル、アイデアを模倣し、逆流させている。著作権で保護された何百
高度なAIのトレーニングには高品質な学習データが欠かせませんが、そのようなデータは急速に枯渇しつつあることが問題となっています。NVIDIA2024年6月14日に、大規模言語モデル(LLM)のトレーニングに使用する合成データの生成を念頭に開発され、商用アプリケーションにも使えるオープンソースのAIモデル「Nemotron-4 340B」を発表しました。 NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models | NVIDIA Blog https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/ Nvidia's 'Nemotron-4 340B' model red
Linux Foundationは、edXプラットフォームを通じて、オープンソースやその他のソフトウェアの安全な使用・開発についての無料オンラインコース「セキュア ソフトウェア開発」を提供している。今回発表されたのは、第2部の「セキュア ソフトウェア開発:実装(LFD105-JPx)」。 本トレーニングは3部から構成されており、6月から第1部「セキュア ソフトウェア開発:要件、設計、再利用(LFD104-JPx)」が提供されていた。 同トレーニングの対象は、ソフトウェア開発者、DevOpsプロフェッショナル、ソフトウェアエンジニア、Webアプリケーション開発者、および安全なソフトウェアの開発方法の学習に関心のある人々。限られたリソースで、情報セキュリティを向上させるための実践的な手順に焦点を当てている。攻撃に強いソフトウェアを開発するためのセキュリティの基本、脆弱性が悪用された場合の実践的
画像認識が可能なオープンソースモデルの「Llama 3-V」が公開されました。Llama 3-Vは、OpenAIのマルチモーダルモデル「GPT4-V」よりも格段に小型で、事前トレーニングにかかる費用は500ドル(約78000円)程度なのにもかかわらず、ほとんどの指標で同等のパフォーマンスを示しています。 Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars | by Aksh Garg | May, 2024 | Medium https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee 今回発表されたLlama 3-Vは、 Metaが公開した言語モデルの「L
ChatGPTのトレーニングにはインターネットから取得したデータが利用されていますが、具体的なデータの中身は非公開となっています。「同じ単語を繰り返して」という単純な命令を行う事でChatGPTにトレーニングデータを出力させることに成功したとGoogleの研究者らが発表しました。 Extracting Training Data from ChatGPT https://not-just-memorization.github.io/extracting-training-data-from-chatgpt.html [2311.17035] Scalable Extraction of Training Data from (Production) Language Models https://arxiv.org/abs/2311.17035 機械学習モデルのトレーニングに使用したデー
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
OpenAIが、AIモデルのトレーニングに用いるために100万時間を超える分量のYouTube動画をダウンロードして利用していたことがThe NewYork Timesの指摘でわかりました。なお、YouTubeと同じ親会社AlphabetのもとにいるGoogleは、OpenAIの行為に気付いていましたが、自分たちも独自のAIモデルのトレーニングにYouTubeの動画を活用していたため、行動を起こさなかったとのことです。 How Tech Giants Cut Corners to Harvest Data for A.I. - The New York Times https://www.nytimes.com/2024/04/06/technology/tech-giants-harvest-data-artificial-intelligence.html Google reporte
Slackが、ユーザーのメッセージやデータ、ファイル、その他のコンテンツを機械学習モデルのトレーニングに利用していることが明らかになりました。プライバシーポリシーが変更されたのは2023年9月のことでしたが、ユーザーの多くはそのことに気付いておらず、ユーザーから明示的に許可を得ることなくデータをトレーニングに使っていた実情があると指摘されています。 Slack Trains Some of Its AI-Powered Features on User Messages, Files | PCMag https://www.pcmag.com/news/slack-trains-ai-powered-features-on-user-messages-files Slack has been using data from your chats to train its machine l
基礎的な内容としては、生成AIの概要を簡単に説明する60秒間の動画、動画や読み物、知識をテストするためのクイズを含むAIの基礎と独自のAIアプリ開発に役立つGoogle Cloudツールについて学べる22分間のコース、大規模言語モデル(LLM)、ユースケース、プロンプトチューニングを通じてLLMのパフォーマンスを向上させる方法についての基礎を学べる約30分のコースを用意しており、3つの基礎コースを修了すると、生成AIの基本概念についての理解を証明する、Google Cloudスキルバッジが付与される。 ほかにも基礎コースでは、Generative AI Studioの使用方法を紹介する動画、Generative AI Studioの機能、オプション、使用方法をデモ形式で学習可能な動画、Vertex AIでトレーニングおよびデプロイできる拡散モデルについて学べる動画、責任あるAIの概要とGo
Googleに買収されたAIスタートアップ・DeepMindの共同創設者であり、記事作成時点ではMicrosoftのAI開発部門であるMicrosoft AIのムスタファ・スレイマンCEOが、オープンウェブ上にコンテンツを公開した瞬間、誰でも自由にコピーして使用できる「フリーウェア」になるという考えを自身が持っていることを打ち明けました。テクノロジーメディアのThe Vergeは、「誤った考えを持っている」と批判しています。 Microsoft’s AI boss thinks it’s perfectly OK to steal content if it’s on the open web - The Verge https://www.theverge.com/2024/6/28/24188391/microsoft-ai-suleyman-social-contract-freew
米Googleは9月28日(現地時間)、Webサイトのオーナー(以下、「Webパブリッシャー」)に対し、サイトのコンテンツをGoogleのAIモデルのトレーニングに使われないようオプトアウトする方法「Google-Extended」を提供すると発表した。 Google-Extendedは、Googleの生成AI「Bard」とMLプラットフォームの「Vertex AI」および、これらの製品を強化する将来の世代のモデルを含む一連のAIの改善のためにコンテンツを使われたくないWebパブリッシャーに、コンテンツへのアクセスを制御する機能を提供する。 この機能は、クローラー巡回を制御するrobots.txtを介して利用する。Webパブリッシャーはこの機能で、Googleのクローラー「Googlebot」によるスクレイピングとインデックス化は持続しつつ、コンテンツのトレーニング利用を回避できるとしてい
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル
「AI開発をリードするということは、ハードウェアインフラへの投資でリードするということ」として、MetaがAIのための投資として行っている、2万4000基以上のGPUを搭載したデータセンタースケールのクラスターの情報を明らかにしました。 Building Meta’s GenAI Infrastructure - Engineering at Meta https://engineering.fb.com/2024/03/12/data-center-engineering/building-metas-genai-infrastructure/ Meta reveals details of two new 24k GPU AI clusters - DCD https://www.datacenterdynamics.com/en/news/meta-reveals-details-o
元OpenAIのエンジニアが設立したAIスタートアップのAnthropicは、大規模言語モデル(LLM)ベースのチャットAIである「Claude」を開発しており、2024年3月にリリースされた「Claude 3」は推定IQが人間の基準値である「100」を上回ったとして注目を集めています。そんなAnthropicが、「AIモデルに有益な性格特性を持つようにトレーニングする」という試みについて報告しました。 Claude’s Character \ Anthropic https://www.anthropic.com/research/claude-character Exploring Claude 3's Character: A New Approach in AI Training - Blockchain.News https://blockchain.news/news/expl
デンマークの著作権侵害対策グループ「Rights Alliance」が、約20万冊にも上る書籍のデータセット「Books3」を削除するよう、ホストする「The Eye」に対して要請し、データセットの削除が行われました。Books3はMetaの開発する大規模言語モデル「LLaMA」のトレーニングにも使用されたデータセットです。 Anti-Piracy Group Takes Prominent AI Training Dataset ''Books3' Offline * TorrentFreak https://torrentfreak.com/anti-piracy-group-takes-prominent-ai-training-dataset-books3-offline-230816/ Revealed: The Authors Whose Pirated Books Are P
インターネット上には膨大なデータが存在しており、それらを学習させることで作られたAIが続々と登場するようになりました。AIの普及が爆発的に進む一方、研究者からはAIシステムを動かす燃料である学習データが枯渇する可能性があると懸念する声が上がっています。 Researchers warn we could run out of data to train AI by 2026. What then? https://theconversation.com/researchers-warn-we-could-run-out-of-data-to-train-ai-by-2026-what-then-216741 正確で強力なAIの学習には、膨大なデータが必要です。オーストラリア・マッコーリー大学法学部の上級講師で、クリエイティブ産業のテクノロジーの法的規制に詳しいリタ・マトゥリオニテ氏によると
by Anthony Quintano ブラジルの国家データ保護機関(Autoridade Nacional de Proteção de Dados:ANPD)が2024年7月2日に、FacebookやInstagramの投稿をAI開発に転用できるとするMetaの新しいプライバシーポリシーを無効とし、ブラジルの国民が生成したデータでAIをトレーニングすることを禁止すると発表しました。 ANPD determina suspensão cautelar do tratamento de dados pessoais para treinamento da IA da Meta — Autoridade Nacional de Proteção de Dados https://www.gov.br/anpd/pt-br/assuntos/noticias/anpd-determina-su
米OpenAIの生成AIチャット「ChatGPT」に単語を永遠に繰り返すよう要求すると、トレーニングに使ったソースデータを吐き出すという論文が11月28日に公開されたことを受け、本稿執筆現在、こうしたプロンプトを入力すると「申し訳ありませんが、そのようなリクエストには対応できません。他にお手伝いできることがあれば、お知らせください」と表示されるようになっている。 この論文を発表したのは、OpenAIと競合する米Google傘下のGoogle DeepMindの研究者らだ。トレーニングデータの抽出は、これまでも攻撃で実施されてきたが、この方法は運用モデルを利用したものだと論文では説明している。 たとえば「company」という単語を永遠に繰り返すよう依頼すると、電話番号やメールアドレスを含む幾つかの実際の企業情報が表示されることが示されている。
SNSのTumblrとWordPressを保有するAutomatticが、AI企業であるOpenAIやMidjourneyと、AIのトレーニングのためにユーザーデータを提供する旨の契約を結ぼうとしていたことが明らかになりました。データがすでに提供済みかまだ提供されていないかは不明ですが、社内からは、契約には含まれないはずの個人的なデータまで提供するための準備が進められていたとの指摘があるということを、内部文書を入手したニュースサイト・404Mediaが報じています。 Tumblr and WordPress to Sell Users’ Data to Train AI Tools https://www.404media.co/tumblr-and-wordpress-to-sell-users-data-to-train-ai-tools/ Tumblr’s owner is stri
Metaが開発する大規模言語モデル「LLaMA」などのトレーニングに使用された書籍データセット「Books3」は、知的財産権や著作権に対する侵害の疑いが指摘されています。そんなBooks3に含まれる書籍の内訳やBooks3が抱える問題点について、テクノロジー系ライターのアレックス・リーズナー氏が解説しています。 Erotica, Atwood, and 'For Dummies': The Books Behind Meta’s Generative AI - The Atlantic https://www.theatlantic.com/technology/archive/2023/09/books3-ai-training-meta-copyright-infringement-lawsuit/675411/ These 183,000 Books Are Fueling the
Googleは対話型AIであるBardを開発しているほか、機械学習プラットフォームであるVertex AIの運営も行っており、生成AIモデルの開発においてウェブ上のコンテンツを利用しています。新たにGoogleが、自身のウェブサイトが生成AIモデルのトレーニングに利用されないようにするオプション「Google-Extended」を発表しました。 An update on web publisher controls https://blog.google/technology/ai/an-update-on-web-publisher-controls/ Google adds a switch for publishers to opt out of becoming AI training data - The Verge https://www.theverge.com/2023/9
生成AIのトレーニングに作家の著作が無断で使用されているとして、全米作家協会が「AIトレーニングに著作権で保護された素材を無断で使用するな」とOpenAIやAlphabet、MetaなどのAI開発企業へ訴える公開書簡を発表しました。この公開書簡には「ハンガー・ゲーム」シリーズで知られるスーザン・コリンズ氏、カナダを代表する作家であり2019年に「誓願」でブッカー賞を受賞したマーガレット・アトウッド氏など、8500人を超える作家が署名しています。 Open Letter to Generative AI Leaders https://actionnetwork.org/petitions/authors-guild-open-letter-to-generative-ai-leaders Nora Roberts, Margaret Atwood sign Authors Guild le
Image credit: HuggingFace 「ChatGPT」「LLaMA 2」「Claude 2」「Bard」「Falcon 180B」など、現在エンタープライズソフトウェア市場で話題になっているような AI の大規模言語モデル(LLM)のトレーニングには、大規模で専門的な計算能力が必要だ。そのため、OpenAI、Meta、Cohere、Google、Abu Dhabi の Technology Innovation Institute など、資金力のある大規模な組織がその役割を担っているのは不思議ではない。 しかし、Microsoft Research 機械学習基盤(Machine Learning Foundation)チームのリーダー Sebastien Bubeck 氏は、彼らの新しい非商用の「phi-1.5」のようなオープンソースでリソース効率の良いモデルの研究のおかげ
ソフトウェアは現代社会のありとあらゆる側面に取り込まれており、飛躍的な生産性の向上や科学技術の発展に貢献してきました。しかし、信頼性の高いソフトウェアの作成・デバッグ・展開といった作業は骨が折れるものであり、熟練した開発者でも最新の技術や言語に追いつくのは大変です。そこでアメリカの大手IT企業であるIBMは、プログラミングコードの生成・修正・別言語への翻訳などのタスクを実行するGraniteコード生成モデルのファミリーをオープンソースで公開しました。 IBM’s Granite code model family is going open source - IBM Research https://research.ibm.com/blog/granite-code-models-open-source GitHub - ibm-granite/granite-code-models:
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く