サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
都知事選
tech.preferred.jp
上記の結果で重要な点の1つは、Trial数を10倍にした際にRust版 Optuna実装の実行時間は約10倍で済んでいるのに対して、Optunaの実行時間は50-100倍にまで伸びてしまっている点です。この原因はOptunaが提供するいくつかの便利な機能に起因しています。Optunaでは利便性と速度低下のバランスを慎重に判断して開発を進めていますが、多くのユーザーにとっての利便性を追求した結果、一部のユーザーにとってこのような速度低下を招いてしまっているのも事実です。 Rust版 Optuna実装は高速化により重きを置いています。速度に大幅な改善がなければ存在意義がなくなってしまうからです。互換性を重視してOptunaの設計や機能に合わせすぎてしまうと高速化に限界が生じてしまうため、enqueue_trial()のような一部の機能については導入を慎重に判断しています。 “基本的に” 同じA
はじめに ブラックボックス最適化フレームワークOptunaの最新バージョンであるv3.6をリリースしました。今回のリリースには、様々な新機能やリファクタリング、バグ修正が含まれています。このブログではv3.6のハイライトと多くの機能改善についてお伝えします。 TL;DR Wilcoxon Pruner、軽量なガウス過程ベースのSampler、 PED-ANOVA重要度評価器等の様々な新しいアルゴリズムのサポート FrozenTrialの検証ロジックの厳密化、 Dashboardのリファクタリング、 Integrationの移行などOptunaの品質に関わる様々な改善を実施 Wilcoxon Pruner Optuna v3.5以前では、Prunerは典型的な機械学習のハイパーパラメータ最適化を想定して作られていました。そのような問題では、学習曲線を見て悪いパラメータを早期終了することができ
本記事は、2023年夏季インターンシッププログラムで勤務された佐々木司温さんによる寄稿です。 目次 概要 背景 先行研究 再現実験 考察&改善案 まとめ おわりに 参考文献 概要 今回のインターンでは、LLM関連の技術領域であるRetrieval Augmented Generation(RAG)について、REPLUG(-LSR)[1]という手法の再現に取り組みました。 最終的にREPLUGについては論文と同様の結果を得ることができましたが、REPLUG-LSRに関しては論文通りの結果とはなりませんでした。実際に取り組んでいる中での難しさ、発見について共有したいと思います。 背景 現在(2023年)LLMが非常に注目されていますが、その活用には様々なハードルがあります。その内の1つとして、ハルシネーション(Hallucination:幻覚)があります。ハルシネーションとは、もっともらしい嘘
本記事は、2023年夏季インターンシッププログラムで勤務された上原祐輝さんによる寄稿です。 背景 商品の購入数予測は重要 近年、小売業界ではDXが進み、多くのビジネスプロセスが効率化されています。その中で、特に購入数予測は企業の競争力を左右する重要な要素となっています。購入数予測とは、過去のデータやトレンドを元に、将来の商品の購入数や需要を予測することを指します。正確な購入数予測は、在庫の無駄を削減し、商品の売り切れリスクを減少させるだけでなく、適切な価格設定を可能にし、利益の最大化に寄与します。 PFNにおいても購入数予測に取り組んでいますが、これまでのモデルでは商品間の需要の食い合いを捉えられていませんでした。そこで、本インターンシップでは需要の食い合いを考慮した商品の購入数予測モデルの開発に取り組みました。 既存モデルの問題点 購入数の予測において、最も基本的なアプローチの一つが各店
ハイパーパラメータ自動最適化フレームワークOptunaの新しいバージョンであるv3.4がリリースされました。今回のリリースには、ユーザーの相対的な評価結果をもとに最適化を行う新機能 “Preferential Optimization” や、ファイル管理機構、Jupyter Lab拡張、VS Code拡張が含まれています。 ✨ハイライト機能 選好に基づく最適化 (Preferential Optimization) 今回のリリースでは、選好に基づく最適化 (Preferential Optimization)が導入されました。この機能は、画像生成や音声合成、自然言語生成タスクのように、生成物の定量的な評価が難しく、人間が主観的な評価をつける必要があるタスクにおいて特に有用です。 Optuna 3.2においてサポートされたHuman-in-the-Loop最適化では、絶対評価のみが可能となっ
はじめに Optunaの新しいバージョン3.4では、新たにJupyter Lab拡張とVS Code拡張が公開・アナウンスされました。これらの拡張機能を利用することで、Optuna DashboardをJupyter LabやVS Code内で起動し、最適化履歴をより手軽に確認できます。 本記事ではこれらの拡張機能がどのように実装されているのか、その仕組みを解説します。Optuna Dashboardの開発に興味を持ってくださっている方に限らず、Jupyter Lab拡張やVS Code拡張を開発しようとしている方のお役に立てば幸いです。 Jupyter Lab拡張の仕組み Optuna Dashboardは次の図に示すように、PythonのBottleフレームワークで書かれたサーバープログラムと、Reactで書かれたシングルページアプリケーションからなります。 このプログラムをJupyt
本記事は、2023年夏季インターンシッププログラムで勤務された竹田悠哉さんによる寄稿です。 はじめに 2023年度のPFN夏季インターンに参加した、東京大学大学院工学系研究科の竹田悠哉と申します。学部では画像生成の研究をしていましたが、技術の社会実装をより俯瞰的に学びたいと思い、現在は技術経営戦略学専攻で教育工学の研究をしています。 インターンでは「機械学習技術の社会実装」をテーマに、LLM(Large Language Model)にドメイン知識を習得させることに取り組みました。様々な設定において、主に英語で学習されたモデルであるLLaMA2に対して日本語のデータでのFine-tuningを行い、LoRAやInstruction Tuning、ドメイン知識の習得に関する知見を得ることができたと思います。本記事では、そこで利用した技術の紹介と、日本語におけるドメイン知識の習得に関する実験、
大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
Preferred Networksでは、9月28日にPLaMo-13Bという大規模な言語モデル (LLM) を公開しました。公開されている他のモデルと比較して、日英2言語を合わせた能力で世界トップレベルの高い性能を示しています。実際に学習を回すまでの技術開発には自社スーパーコンピューターであるMN-2を利用し、学習はAI橋渡しクラウド(AI Bridging Cloud Infrastructure、ABCI) の”第一回 大規模言語モデル構築支援プログラム”を利用して行いました。 今後、PLaMo-13Bを基にした事前学習モデルや、指示学習を行ったモデルについても公開を予定しています。 PLaMo-13Bの概要 PLaMo-13Bは約130億個のパラメータからなる言語モデルです。 PLaMo-13Bは日本語・英語の2つの言語のベンチマークタスクで高い性能を示しています。日本で使われるL
私がPFNに入ってから知った、もっとも好きな技術トピックの一つである、MN-Core™向け再計算のご紹介をします。再計算(recomputation、rematerializationやcheckpointingなどのキーワードで呼ばれることもあります)は、その名の通り同じ計算を複数回することで、GPUメモリを節約するために再計算を利用するテクニックは広く知られています。PFNでも、再計算を使ったメモリ節約アルゴリズムに取り組み、実際の事業でフル活用しています。 MN-Core向けの再計算は、消費メモリ削減でなく、高速化を主目的としています。再計算で計算する量が増えるにも関わらず、高速化が達成できるというのが、私がとても面白いと思う点です。カラクリを紹介していきます。 MN-Coreは、DRAMとSRAMの二種類のメモリを持ち、使えるリソースをとにかく演算器に費やしているのが特徴のアクセラ
エンジニアの上野です。Cluster Servicesチームという、PFNのKubernetesベースの機械学習基盤を開発・運用するチームに所属して、基盤の改善や新機能の開発に務めています。本記事では、深層学習における学習データセット読み込み速度の改善を目指して開発し、現在もKubernetes上で運用中の分散キャッシュシステムを紹介します。 PFNの機械学習基盤については、ブログ「2022年のPFNの機械学習基盤」もご参照ください。 深層学習における学習データセット読み込み 深層学習を高速化するため、深層学習に向いたアクセラレータの開発が日々続けられています。PFNで開発しているMN-Coreシリーズや、NVIDIA社製GPUもそのひとつです。これらのアクセラレータは高速に行列演算を行うことができ、深層学習の1イテレーションにかかる時間を高速化、ひいては深層学習を活用する研究開発全体を加
はじめに PFN では、計算クラスタ MN-2 と MN-3 の運用に Kubernetes を採用しており、3, 4 ヶ月に一度のペースで Kubernetes をアップグレードしています。直近のアップグレードは 2023 年 1 月で、Kubernetes 1.24 から 1.25 に更新しました。 Kubernetes 1.25 ではいくつかの API が削除されましたが、とりわけ影響が大きかったのは PodSecurityPolicy (PSP) の削除でした。PSP は、pod が満たすべきセキュリティポリシを定義し、Pod リソースの定義をそれに適合するよう変更したり、適合しない pod の作成を拒否したりする機能です。しかし、PSP はユーザビリティに大きな問題を抱えており、互換性を保ったままそれを解決するのも難しいという理由から、Kubernetes 1.21 から非推奨に
PFN では HDFS から Apache Ozone への移行を進めています。Ozone クラスタは順調に社内のプロジェクトで採用が進んでデータが増加しており、これまでの 2 年間は数度にわたってクラスタを拡張しました。ところが、段階的にクラスタを拡張したことでデータノード間でのディスク使用量の不均衡が問題になってきました。例えば、全てのディスクが 8 割埋まっている Ozone クラスタにまったく空のデータノードを追加すると、データ使用量に大きな不均衡が生じます。新規追加した空のサーバにデータを移動することをリバランスといいますが、運用しやすいようにリバランスを実装する方法は自明ではありません。HDFS ではノード単位でディスク使用量を規定の範囲内に均すように移動する Balancer やデータノード内のディスクを同様に移動する Disk Balancer があります。一方で Ozon
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士1年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
はじめに PFNエンジニアの上野です。Cluster Servicesチームという、PFNの機械学習基盤を開発・運用するチームに所属して、日々基盤の改善や新機能の開発を進めています。 本記事は、以前にヤフー株式会社のAIプラットフォームチームと共催したイベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #1」のPFNパートをざっくりまとめて、2022年のPFNの機械学習基盤について紹介するものです。 イベントの第二回を 8/29 に開催して、さらに新しい取り組みについても紹介しますので、ぜひこちらから参加登録をお願いします。 PFNのオンプレML基盤の取り組み スライド全体はこちらからアクセスできます。 もくじ オンプレクラスタの概要 使いやすい環境 リソースの効率的かつフェアな利用 信頼性・運用省力化 クラスタに関わる組織 オンプレクラスタの概要 PFNエンジニア
So Takamoto Material Science Team, Researcher/Engineering Manager PFNリサーチャーの高本です。この投稿は、2022年5月30日にNature Communicationsで出版された論文 ”Towards Universal Neural Network Potential for Material Discovery Applicable to Arbitrary Combination of 45 Elements” [1] の解説記事です。論文はオープンアクセスで、以下のURLから閲覧可能です: https://www.nature.com/articles/s41467-022-30687-9 この論文で紹介されているPFPと呼ばれる技術は、PFNとENEOS株式会社が共同出資により設立したPreferred Co
PFNフェローの丸山です。本日、PFNと花王が「仮想人体生成モデル」についての技術発表をしました。私はその構想に深く関わっていたので、その背景や経緯について、お話ししたいと思います。 花王への出向 新型コロナウィルスによってリモートワークになってからおよそ半年後の2020年8月、花王の長谷部さんから「PFNからDX人材を出してほしい」というリクエストがありました。当時専務執行役員だった長谷部さんは、2021年1月からの社長執行役員就任が決まっていて、ヘルスケアの分野でデジタル技術に基づくまったく新しいビジネスプラットフォーム・ビジネスをやりたい、ということでした。ちょうど私はプロジェクトの端境期にいたので「私が行きましょう」と手を挙げました。その後人事の手続き等があり、実際に花王の社員証をもらって働きはじめたのは、2020年の11月のことです。 通い始めてすぐに気づいたのは、花王は約3,0
Pattern matching on algebraic data types is a powerful technique to process a given input and many programming languages have adopted it in one way or another. A check on whether a given match is “exhaustive”, i.e., covers all possible inputs, is helpful to avoid bugs when the set of possible inputs is extended; for example, when new enumeration values are added. In this blog post I will first bri
次のページ
このページを最初にブックマークしてみませんか?
『tech.preferred.jp』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く