サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
Nintendo Direct
tech.drobe.co.jp
概要 背景・目的 本研究の貢献 実験 評価関数とは何か LLMベースの評価関数の区別 データのアノテーション 実験の設定 実験の結果 考察 GPT-4が勝手に任意の観点を盛り込んで、意図通りの評価をしていない とは? データセット作成における他手法との大きな差分 まとめ 貢献 今後の展開 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 DROBEの岸本がJSAIのヒューマン・イン・ザ・ループAIのOSで発表した 「ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索」という萌芽的な研究について内容を共有します。 概要 このブログでは、ファッションコーディネートの説明文生成における人間の評価と相関する評価関数の探索についてJSAI2024での発表内容のサマリを説明しています。 DROBEのサービスにおいて、AIを用いてコーディネート説明文を自動
概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能(定量) 相対的な汎化性能(定性) 考察 未知の知識の定義の難しさ ハルシネーションの対策の難しさ 今後の発展 DROBEで機械学習エンジニアをしております、藤崎です。 概要 大規模言語モデル(LLM)に未知の知識を獲得させることができるかを検証しました。 LLMにとっての未知の知識はモデルの重みがリリースされた日付以降に公開された、ファッションドメインにおける商品の価格や規格の詳細情報としています。 その結果、ドメインの難易度が低く、使用者の専門性が高いようなユースケースにおいて、LLMを活用することは可能だと判断できました。 ただし、未知の知識の定義の難しさやハルシネ
はじめに DROBE の課題と GPT-4-Vision-Preview を試すモチベーション ケーススタディ 入力するデータ 推論周辺部分のコード プロンプト 実験結果 おわりに 参考文献 はじめに OpenAIが Dev Day で発表したGPT-4-Vision-Previewは、画像処理と自然言語処理を組み合わせた最先端の技術です。 このモデルは、画像を理解し、その内容に基づいてテキスト情報を生成する能力を持っています。例えば、写真やイラストから物体を識別し、それに関連する説明や情報をテキストとして提供できます。この技術は、画像とテキストの間のギャップを橋渡しするものであり、多様な応用が可能です。 DROBEは、多様なファッション商品を取り扱うECサイトを運営しています。我々の挑戦の一つは、膨大な数の商品画像と説明文から、正確で有用なタグを抽出し、整理して保存しておく事です。このプ
こんにちは、角田です。 今回はスクラムでの失敗談です。 PBIへ取り掛かるタイミング みなさんは、プロダクトバックログアイテム(PBI)へ取り掛かるタイミングはいつでしょうか?DROBEでは以前は、 スプリントバックログへ移し、スプリントが始まったら でした。一見正しそうなのですが、肝心なことを見落としていたため、効率的にデリバリーできない状態になっていました。 遅かった影響範囲調査 というのも、スプリントバックログへ移しスプリントが始まった後で、影響範囲の調査や該当箇所の洗い出しをしていました。この影響範囲調査や該当箇所の洗い出しにより、スプリント内での作業時間が圧迫された結果、非効率になっていました。 ディスカバリー不足だった この時のPBIは、ほぼ『やることリスト』化していたのが大きな原因ではないかと思っています。PBIを作る際に、開発チームとPBI作成者とのコミュニケーションが不足
概要 背景・目的 関連研究 提案手法 実験 アルゴリズムの説明 順位相関の確認 定量評価 定量評価の内訳 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションアイテムを特徴づけるための情報として、画像とテキストがある。これらは異なる情報を含んでいると考えられる。 類似のファッションアイテムを検索する場面で、画像とテキストの情報を両方活用することで、検索の精度を向上させることができると推測される。 類似のファッションアイテムを検索するタスクで、両方の情報を活用した提案手法の性能を評価し、片方の情報だけを活用するよりも、大幅に性能が改善することを確認した。 背景・目的 この記事は以下の記事の続編です。 tech.drobe.co.jp 以前の記事で、私たちはプロのスタイリストが作成した評価データセットを用いて、複数のアルゴリズムを類似商品検
概要 背景・目的 実験 実験の概要 定量評価 定性評価 おわりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 類似商品検索の基盤となる複数の特徴抽出アルゴリズムについて、DROBEの保有するデータで評価した 定量評価によると、画像単体を入力とする ResNet-50(自己教師あり学習)とCLIPの性能が高かった 定性評価によって、取り扱うモーダルの違いによる各モデル出力の顕著な差異が確認できた 背景・目的 小売において、商品の在庫は無数に存在しています。そのため、消費者やサービス提供者が商品に紐づく情報(画像、商品の説明文など)を解釈して、特定の商品と類似したアイテムを人手で行うのは困難です。 この課題を解決するために、機械学習手法の活用が注目されています。 機械学習を用いた処理の流れは、 商品に紐づく情報を適切に 「要約」 し、 1.で 「要約」 した商品情
概要 背景・目的 関連研究 提案手法 実験 終わりに 参考文献 DROBEで機械学習エンジニアをしております、藤崎です。 概要 ファッションの分野ではトレンドの変化とそれに伴う属性情報の変動に対応するため、画像分類AIモデルを頻繁にアップデートする必要性がある。 しかし、既存の画像分類AIモデルのアップデートには、労力と時間が掛かる。 様々なタスクの遂行能力が高いGPT-3.5に画像処理能力を付与し、画像分類タスクに挑戦した。 既存の研究(ex. HuggingGPT)と違って、GPT-3.5自体が画像分類の推論を行う点がユニークである。 実験からは有望な結果が得られた。 今後の性能向上はプロンプトを工夫するなど、比較的簡単な方法で達成できる可能性がある。 背景・目的 ファッションの業界は、トレンドの変化が早く、新しいスタイルが次々と提案されます。それに伴い、スタイルに付随する属性情報も常
背景 結論 手法の検討 実験 実験概要 実験1 : 単純なPromptを投げる 実験2 : Promptを工夫してみる 実験3 : 間違った分類を回避するには? まとめ 参考文献 補足 DROBEで機械学習エンジニアをしております、藤崎です。 背景 商品のトップ画像はユーザーへの最初のタッチポイントとして機能し、購入を促進します。そのため、適切なトップ画像の選定は重要です。しかしながら、この選定は現在、手動に依存しており、複数の商品画像から最も効果的なものを選ぶ作業は、多大な時間と労力を消費しています。 商品の品揃えが拡大する中で、この作業のコストは切実な課題となっています。そこで、機械学習技術を用いてトップ画像の選別を自動化するアプローチを検討しています。これにより、商品登録時間の削減や業務の効率向上が期待されます。 本記事では、商品のトップ画像の自動選別に焦点を当て、画像分類手法を調査
こんにちは。DROBEの角田です。 2023年9月5日に、DROBEが主催するテックイベント『DROBE Engineer Night』の第5回を開催しました。今回は、"質とスピードを追求する開発チームでの取り組み" というタイトルで、株式会社リンケージ・ピクシブ株式会社と弊社の3社合同で開催しました。 drobe.connpass.com 現地・オンラインとも非常にたくさんの方にお越しいただき、盛況な会となりました。 弊社からは、『素早いバリュー提供のための DROBEの新戦略』というタイトルで、現在行なっている顧客へ素早く価値を届ける試行錯誤についてご紹介させていただきました。 speakerdeck.com リンケージさん・ピクシブさんには非常に積極的にご協力いただき、発表内容も開発・本番環境の差分を減らすであったり、防火壁を持つという考え方など、弊社にも取り込める内容が散りばめられ
この記事を書いた人 DROBE の都筑 (@tsuzukit2) です 簡単なプロフィールはこちらをご覧ください はじめに 機械学習系の機能を開発していると、GPU を利用してトレーニングを行いたいケースが多々あると思います。 この記事では、ECS で GPU を使った ML 系 Task の実行環境のセットアップについて記載します。 作りたいもの 作りたいものの概要はこのようなものです。 ECS で構築する GPU を利用した Task の実行環境 GPU は高価なので、常時起動しているインスタンスは 0 としておきつつ、Task が作られたらインスタンスを起動、Task を実行、Task の実行が終わったらインスタンスを落とし 0 に戻す、という環境をセットアップします。 ECS の capacity provider と autoscaling group を紐付け、ECS Task
はじめに CTOの都筑(@tsuzukit2)です。 DROBE では様々な外部サービスを利用していますが、事前に設定しておく事で外部サービス側で特定のイベントが発生した際に DROBE 側に HTTP のリクエストを送ってくれる仕組みを多く利用しています。 Webhook のわかりやすい例としては、例えば SendGrid のような外部サービスでメールの配信を行っている場合に、実際にメールの配信結果がどうだったかをアプリケーションで確実に検知したいといった場合に、SendGrid での配信完了イベントをトリガーとした Webhook を設定します。 SendGrid の Webhook を使ってメールの配信完了を Application で検知する例 こういった仕組みを使う事で、アプリケーション側ではメールの送信をリクエストした事だけではなく、メールがしっかりと配信された事、もしくはエラ
はじめに CTOの都筑(@tsuzukit2)です この記事では PyTorch の Embedding の挙動について記載します Embedding とは何か 公式の仕様書はこちらになります Embedding - PyTorch 1.9.0 documentation 公式の説明は以下となっており、非常に的を得ていると思います A simple lookup table that stores embeddings of a fixed dictionary and size. 意訳すると、 固定長の辞書埋め込みを保存するシンプルなルックアップテーブル になるんじゃないかなと思います。Embedding は、何だか難しそうにも思えてしまうのですが、ここに記載されている通り非常にシンプルなテーブルでしかないという事です モジュールの解説としては以下のように記載があります This mod
DROBE で CTO をしている都筑です。 簡単なプロフィールはこちらをご覧ください。 はじめに みなさん、LLM 使っていますか? DROBE では 2023年3月に AIスタイリストさん という OpenAI の gpt-3.5-turbo を利用したサービスをリリースしました。 prtimes.jp この記事では LLM を DROBE のサービスに活用するためにセットアップした環境を紹介します。 LLM をサービスに応用していきたいという方の参考になればなによりです! LLM と EC LLM と EC は非常に相性が良いと思っています。実際にインスタカートや shopify などがいちはやく LLM を自社のサービスに取り込んで話題になっています。 ファッション EC の領域においてもヨーロッパのファッションテック企業である Zalando が ChatGPT を活用した EC
このページを最初にブックマークしてみませんか?
『DROBEプロダクト開発ブログ』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く