こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy のエンジニアの Namiki ( @ruwatana ) です。 ここ1〜2年くらいで、生成AI / LLM界隈の盛り上がりは非常に加速してきており、それをいかに活用して新たな価値を提供するかということに集中している方も少なくないことかと思います。 弊社Gaudiyも比較的早期からこの分野に可能性を見出し、積極的に挑戦してきました。そんなLLMプロダクト開発を行なっていく中で、発生した課題に対して蓄積されたナレッジを活かして日々改善できるよう昇華しています。 今回はこの分野の開発に切っても切れないプロンプトチューニングの業務プロセスにフォーカスし、よく起こりうるであろう課題に対してどのように効率化・解消していっているのか、その一端をユースケースとともにご紹介できればと思います。 ※なお、本稿は「技術選定/OSS編」
新世代CPUアーキテクチャ「Zen 5」完全解説。Ryzen 9000シリーズはどのように進化したのか[西川善司の3DGE] ライター:西川善司 2017年の初登場以来,改良と進化を継続してきたAMDの「Zen」マイクロアーキテクチャ。その最新版となる「Zen 5」を採用するデスクトップPC向けCPU「Ryzen 9000」が,7月31日に発売となる(関連記事)。 当初のラインナップとして発表となったのは,以下に示す4製品だ。 2024年7月31日に発売予定のRyzen 9000シリーズのラインナップ AMDは,2022年に投入した「Zen 4」マイクロアーキテクチャ世代のRyzen 7000シリーズから,デスクトップPC向けCPUは「Socket AM5」(以下,AM5)プラットフォームに移行しているが,今回のRyzen 9000シリーズも,引き続きAM5向けとなっている。なお,AMDは
こんにちは。メディア研究開発センターの山野です。私は普段は音声処理や自然言語処理やそれらの技術を使ったプロダクト開発などに従事しています。 さて今回は朝日新聞記事データを使ったニューラル仮名漢字変換について簡易な実験をしたのでその結果を共有します。 はじめに多くの問題を解くことができるLLMですが、ひらがな列Xをかな漢字混じり文Yへ変換する仮名漢字変換については、単語の読み方とその表記の関連性を学習する必要があり、現時点(2024年7月8日)ではLLMでもうまく解くことができません。 実はほとんど全てのオープンな日本語LLMはかな漢字変換が全く出来ません。 出典: https://zenn.dev/azookey/articles/ea15bacf81521e(ちなみに私はiPhoneのキーボードをazooKeyに変更してしばらく経ちますがとても使い勝手/心地が良いのでオススメです。) そ
アラート調査をはじめとした自社のセキュリティ業務の一部を外部に委託するマネージドセキュリティサービスに注目が集まっている。多様化・高度化するこのサービスから本当に自社に合うものを選定する際のコツは何か。 「ランサムウェアに感染して事業が停止した」「情報漏えい事件が発生して顧客への謝罪対応に追われた」――世の中でそんなインシデントが起こる度、これまでのセキュリティ対策を見直し、必要に応じて新たなツールを導入してきた企業は多いはずだ。 しかしセキュリティツールはただ導入するだけでは不十分で、アラートの内容を精査したり、ポリシーをチューニングしたりするなど日々の運用を適切に実施しなければ最大限の効果は見込めない。 ただし、この運用こそ多くのIT管理者やセキュリティ担当者の負荷を高める大きな要因になっている。セキュリティ人材不足が叫ばれる今、貴重なリソースを運用に割くのは困難という声もよく聞く。
今さらながらGoogleの「NotebookLM」を触ったら、インターネットサーフィンが普通にそのまま"仕事"になった話 6月頭くらい? にGoogleがリリースして話題になっていた、自分専用のRAGが簡単に組めるLLMツール「NotebookLM」ですが、そのうち触ろうと思いつつも、「またRAGか」「どうせRAGでしょ? 知ってます」みたいな気持ちでいたら腰が重くなってしまい、いつのまにか一ヶ月くらい経ってしまっていました。 そして今日、たまたまちょっと時間が空いたので触ってみたんですが、想像していたよりもずっと楽しくてすごかったので書き残したく思った次第です。ちなみにこれ↓ NotebookLMってファイルとかURLとかかなりの量放り込めて、放り込まれただけ参照できる(しかもかなり精度高い)っていうツールなんですが、これの何がすごいというと、インターネットサーフィンをしながらおもしろい
IT Leaders トップ > テクノロジー一覧 > AI > 新製品・サービス > エクサウィザーズ、生成AIの回答品質を自社の運用で継続的に改善する「RAGOps」 AI AI記事一覧へ [新製品・サービス] エクサウィザーズ、生成AIの回答品質を自社の運用で継続的に改善する「RAGOps」 2024年5月13日(月)日川 佳三(IT Leaders編集部) リスト エクサウィザーズは2024年5月13日、AIシステム開発ツール「exaBase Studio」のテンプレートとして、AIの回答品質を自社の運用で継続的に改善する「RAGOps」を同年5月から提供すると発表した。品質が高い回答をキャッシュする一方で、品質が低い回答についてはオペレーターが回答を行う仕組みを提供する。入力した回答はデータベースに蓄積され、以降の回答に利用する。回答の品質が求められる用途で活用できるとしている。
AI翻訳ツール「DeepL」を提供する独DeepLは7月18日(日本時間)、言語翻訳や文章校正の特化型大規模言語モデル(LLM)を実装したと発表した。同社が実施したブラインドテストに参加した言語専門家からは「ChatGPT(GPT-4)よりも1.7倍、Microsoft翻訳よりも2.3倍、DeepLの翻訳出力が好ましい」と回答を得られたという。 今回実装した特化型LLMは「特殊な調整を実施した言語に特化したもの」であり、このLLMを活用することで偽情報や誤情報を生成するリスクを下げているという。また、あらゆるユースケースで、これまで以上に人間らしい翻訳と文書作成が可能としている。データの学習には、文書作成と翻訳用にチューニングした7年分以上の独自データを活用した。 新たなLLMを搭載した翻訳サービスは、有料プラン「DeepL Pro」に契約することで利用できる。対応言語は英語と日本語、ドイ
自身の過去の成長過程と現在の環境を思い浮かべたときに、得やすいもの得づらいものの違いを強く感じ、良好な成長のために一考してみた次第です。 といっても既にある Tweet のセルフまとめに、思い出と昔話なポエムを追加したようなチラ裏回です。 時代の変遷によるステータス変化 要約すると、現代は技術力の向上に必要な環境と既定路線があって向上速度が早いのに対し、昔(2010年以前とか)は頭を悩ませまくって乗り越えるべき壁が大量にあったおかげで解決力は相当鍛えられたよねってところ。 個人的には誰であれ、今!自分が!解決しないと!詰んでしまう!! てかもう詰んでるだろコレ!!!! って状況でひたすら悩んでから、寝て起きたら解決したよぉ!みたいのを体験してほしいし、一度は死の淵まで行ってこいって思っている — 外道父 | Noko (@GedowFather) July 17, 2024 これについて、
@2357giです。Pixel7aを買った次の日にPixel8aが発表されて悲しいです。 先日EC2で長らく動いていたRedashをECSに載せ替える作業を行ったのですが、データ量が大きいクエリを実行するとタイムアウトしてしまう問題が発生しました。 (大きいクエリとは具体的には50万行ほど結果が返ってくるクエリなどです。160MBくらいです😇 ) 結論としては、EC2からECSへ移行した際に nginx を外してしまったのが原因でした。 ALB - ECS 構成なので、nginxは要らないよね〜といつも通りのクラウドネイティブ化作業をした結果、gzip圧縮されていないレスポンスを返してしまい、タイムアウトが発生していました。 最終的にgzip圧縮を行う設定を書いたnginxを挟むことにより無事解決することができたのですが、Redashというアプリケーションの性質やECS化のタイミングが重
AMDはデスクトップ向けの「Ryzen 9000シリーズ」を(北米時間の)7月31日に発売する。これに先立ちAMDはロサンゼルスにて「AMD Tech Day」を開催。特に同社が力を入れる「Ryzen AI 300シリーズ」を含めた新技術への説明会を開催した。 本稿はそのTech Dayレポートの第3回目となる。第1回はRyzen 9000シリーズの発売日やスペック、新チップセットの話を、第2回はRyzen 9000シリーズに追加された新しいチューニング技法を解説した。 そして今回はいよいよZen 5アーキテクチャーの詳細に踏み込んでいく。AMDはCOMPUTEXにおいて、Zen 5はZen 4よりも同コア数&同クロック設定で平均16%のIPC(クロックあたりの命令実行数)向上を果たしたと説明した。この数字はいったいどういう設計上の工夫や改善からもたらされたのか? 簡単ではあるが解説してい
XTCのアンディ・パートリッジ(Andy Partridge)は米SPIN誌のインタビューの中で、キャプテン・ビーフハート(Captain Beefheart)を初めて聴いた時のことを振り返っています。最初は「壁越しに聴いた」という。『Trout Mask Replica』は最初まったく理解できずに貸してくれた友人に「これは無理」と弱音を吐くが、友人に「いや、頑張れ」と励まされて6週間後に「ピンときた」という。 「僕が初めて聴いたビーフハートのレコードは正確に言えば、壁越しに聴いたんだ。 その頃の僕は、ちょうど子供として一段落して、女の子に興味を持ち始めた年頃で、放課後になると親友のデイヴィッドの家に遊びに行っていたんだ。彼は“新しいディンキートラック(※ミニカー)を買ったよ”とか言っていた。僕は“こういうおもちゃが好きなことに後ろめたさを感じる。そろそろ卒業しなきゃ”と思っていた。隣の寝
ですので今回はLLMの先に何を見ているのか、LLMと業務自動化ということについて書いてみようと思います。 ちなみに本件に関連してイベントも開催しますので皆様のご参加お待ちしております。 非構造化データの変換世の中一般で扱われるデータ、特に今回のフォーカスである文書は、ソフトウェアが扱いやすいような形式のデータではありません。文字の羅列であって、「非構造化データ」であるといえます。LLM以前のソフトウェアにとっては、このデータは〇〇である、という意味が理解できないので、人間が意味のある「構造化データ」に変換する必要があります。 構造化データがあれば、例えば後段の業務で使うシステムにデータを連携したり、その後検索して別な業務でも活用するなどが実現しやすくなります。システムとシステムが繋がり、より効率的に業務が行えるようになります。例えばバクラクでは、構造化された請求データやクレカの支払データを
電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 先日、 Ruby (CRuby) が String をメモリ上でどのように扱っているのか気になって調べていました。そこで String の構造体やメモリの扱いとその変遷が興味深いと思ったので、ちょっとまとめてみました。 Ruby のオブジェクトのデータ構造 まず前提知識として、そもそも Ruby が C の世界でオブジェクトをどのようなデータ構造で持っているかをざっくりおさらいします。 VALUE 型 Ruby の内部ではオブジェクトを VALUE 型という型の変数で取り扱っています。 // include/ruby/internal/value.h typedef unsigned long VALUE; 宣言の通り VALUE 型の実体は unsigned long で
Amazon Web Services ブログ 【寄稿】AI民主化に向けた丸紅の取組 こんにちは。ソリューションアーキテクトの齋藤です。丸紅株式会社(以下、丸紅) デジタル・イノベーション部 では、デジタルを活用して丸紅グループの変革を推進し、デジタル人財を育成して各部門の事業を大きくしていくことをミッションに掲げています。当部では、デジタル技術に精通するメンバーが、丸紅の各組織へ、課題整理→実証実験→実用化まで一気通貫で支援を実施しており、AI・データ分析 を中心に、内製で開発しています。本ブログでは、どのように丸紅がAWS上で社内生成AIプラットフォームアプリ(以降 Marubeni Chatbot)を開発して、社内公開までに直面した課題を解決したか、どのようにユーザへ活用促進を繋げたか、赤裸々に紹介させて頂きます。本ブログは、丸紅 デジタル・イノベーション部 芹川 武尊 氏 から寄稿
2000円以下のPCスピーカーの新定番「FUNLOGY Speaker」 FUNLOGY Speaker(スピーカー/PCスピーカー)【VGP2024受賞 / 総合14W / ステレオスピーカー/パソコン/USB給電/重低音/AUX / 3.5mmピン入力 / 日本ブランド 】 (ホワイト) FUNLOGYAmazonイヤホンの前に一押ししたいオーディオ製品があるので、最初に紹介したい。FUNLOGYが出したPC用スピーカーは1,980円と非常に安いのだが、音の空間が広がり、しっかりした低音が出る。ほぼ同価格のCreative Pebbleと同様にパッシブラジエーターを採用しており、構造はそっくり。違いは形ぐらいで、音はかなり似ている。どちらを選ぶかなら形で選んでいいのだが、FUNLOGY Speakerは現在セール中で1,490円となり、完全にライバルがいない製品となっている。PC用のア
今晩はジジイです クルマ屋さんにタイヤ交換の相談に行ってき ました 前日に『2時以降ならOK』という返事をも らっていたんで、連絡すると 「うちはタイヤの金額を調べてお伝えするだけですから来てもらっても、電話でも同じですから」 と言われちゃいました( ゚Д゚) そもそも、タイヤのメーカーは伝えてないし もっと言えば、アジアンタイヤにするかも含 めて相談に乗ってもらうという話だったんだ けど… 『オイオイ、昨日と言うことが違うんじゃないの』 とイラつきながらも(笑) 最初から説明をし直して出かけました この店長、こういうパターンがあるんです 店長との会話です 店長 「希望のメーカーはありますか?」 「このサイズのタイヤってあんまりないんで すよねえ」 ジジイ 「昔はポテンザとか履いてましたけど、特に ないです」 (内心はアドバンのフレバが候補に挙がってました) 店長がアドバンのカタログを開い
前書き WordPressで稼働しているリニューアル案件で、Astroを使って実装を行った。 ライブラリにサイトが完全に依存するデメリットもあるものの、 Astroを使用した理由としては、コンポーネント指向による保守性拡張性の観点からと、サイトの最適化の観点から採用した。 結果普通のレンタルサーバーでPageSpeedInsightsでほぼ100点満点。 SPの点数 PCの点数 使用感と感想 正直これまでのタスクランナーやモジュールバンドラーなどを使ったHTML開発は若干レガシー化している感があった。 そんな中、まさに現時点でのWeb開発ベストプラクティスを詰め込み、ほぼ何も考えずに最適化されたサイトを実装できる非常にすぐれたライブラリだと感じる。 また、これまでPageSpeedInsigthsの点数を上げようと思ったら、構築後、PageSpeedInsightsの助言に一つ一つ従いなが
YouTube で見る エンジニアになるとずっと勉強し続けなきゃいけないの?プライベートの時間が全然取れないなんて辛すぎる…。 こんなお悩みを抱えている方、少なくないですよね。IT キャリアに進むにあたって、勉強を続けることへの不安や、果たしてそれが本当に必要なのかという疑問を感じることもあると思います。 この記事では、勉強しない怠惰さこそ、実はエンジニアが効率的に新しい技術を学ぶ原動力になることを解説します。怠惰な気持ちを上手く活用することで、新しい技術を追い続けるのではなく、待ち望むスタイルを獲得し、効率的で意欲的に学習する方法を具体的にお伝えします。 この記事を読むことで、学習の生産性を向上させる方法を理解し、エンジニアとしてのキャリアを安心して歩むことができるようになりますよ! この記事を書いた人 りもじい YouTube X Instagram TikTok IT 歴 20 年の
「SNS発信はみんな苦手」な会社が実験を開始した背景 現在THE MOLTSにはグループメンバー含め、支援に関わるメンバーが約20名、開発やバックオフィスも合わせると約30名在籍していますが、もともと個人のSNSアカウントでしっかり発信しているのはたった1名(データアナリストの西のみ)でした。 私も含め、SNSを見てはいるものの「あまり目立ちたくないから発信には抵抗がある」「投稿のネタがあまり思い浮かばない」といったテンションのメンバーがほとんど。そのためSNS上での情報発信はあまり積極的におこなってきませんでした。 また、ありがたいことに年間一定数のお問い合わせをいただいていたので、SNSを活用する必要性をあまり感じていなかったのも正直なところです。 ですが、「THE MOLTSをもっと広げていくには?」と考えたとき、ふと「コミュニケーション手段として実験的にSNSを活用してみよう」と思
アイ・オー・データ機器は7月10日、テレビ放送などの常時録画機能(タイムシフト)を持つ機器向けのスティック型USBポータブルSSD「AVSSD-RS」シリーズを発表した。価格は1TBモデルが2万6730円、2TBモデルが4万8950円(いずれも税込み)。7月末に出荷を始める。 アイ・オーによれば、SSD製品でタイムシフトによる24時間連続録画に正式対応している製品は業界初(6月時点)だという。 PCでの利用などが想定された通常のSSD製品は、キャッシュなどを生かして読み書きの最大速度を追求したものが多い。しかし、常時録画のような用途による連続的な書き込みに使うと処理が追い付かず、データの書き込みエラーなどが発生する可能性がある。 これまで常時録画に対応している保存媒体はHDD製品しかなく、余計なスペースや別途電源を確保する必要があったという。 AVSSD-RSシリーズはデータを連続的に書き
【納豆の日】約10か月間ほぼ毎日、58種類もの納豆を食べ続けた男が選ぶ「納豆ベスト7」 GO羽鳥 2024年7月10日 納豆にハマっていた時期があった。それも病的にハマっていた。ハマりまくっていた。 2023年の5月から、2024年の3月までなので約10ヶ月。毎日ではないけれど、できるかぎり毎朝、納豆ごはんを食べていた。 どうせ毎日食べるならと、いろいろな種類の納豆に手を出した。最終的には58種類にも及んだのだが、その中でも印象深い納豆が7つある。 神セブンならぬ納豆セブン。本日7月10日は「納豆の日」とのことなので、ドドンと一気に紹介したい。 ・この7つだ! まず結論から書いてしまおう。 約10か月間ほぼ毎日、58種類もの納豆を食べ続けた私が選ぶ「納豆ベスト7」は、 ※価格は購入時のもの ・タカノフーズ「すごい納豆S-903」(3パック税込171円)2023年06月 ・だるま食品「国産小
こんにちは。イオンスマートテクノロジー株式会社(AST)でSREチームの林 aka もりはやです。 Terraformを一定以上扱ってきた方であれば terraform import コマンドを苦労しながら実行した経験があるのではないでしょうか。私自身も5年以上Terraformを扱う中で何度も terraform import を行ってきました。 一般的に terraform import では以下を行います。 実態に合わせてコードを整える 実態を指定するコマンドを組み立てる ステートファイルに取り込む 差分が出たら地道にコードを整えて terraform plan を実行する 4を繰り返して"No changes"となるまでチューニングする これらの作業はTerraform初見では難しく、個人的にTerraform中級者への登竜門として terraform import が試金石のひと
「子育ては挽回できないけど、仕事は挽回できる」 なつみっくす氏(以下、なつみっくす):短期よりも長期の成果が大事というのは頭ではすごくわかるんです。とはいえすぐにリターンを求めてしまったり、組織の中でアウトプットを求められ、すぐに結果を出さなきゃいけない焦りがあったり。例えばワーキングマザーであると、「限られた時間の中でアウトプットを出していこう」って、つい短期目線で見てしまう気がしています。そこはどのように考えればいいんでしょうか。 小早川優子(以下、小早川):育休中とか時短中って、「このキャリアでいいの?」とめちゃくちゃ焦りますよね。これは私が先輩から言われた言葉なんですけど、「子育ては挽回できないけど、仕事は挽回できるよ」っていうワードをいただいて、今は本当にそう思います。私もみなさんに言うんですけど、ここもやっぱり細く長く考えてほしいですよね。 子どもがまだ小さい時は時短しなきゃい
安野たかひろ事務所 技術チームで活動している角野です。普段は機械学習や自然言語処理関連の仕事をしています。 安野とは大学時代の学科の同級生で、彼が創業したBEDORE(現・PKSHA Communication)で一緒に働いていた縁もあり、技術面で今回の選挙活動をサポートしています。 私はAIあんのの開発を担当しており、特に次の3点の開発に携わっています。 返答生成ロジックの開発 返答生成に用いるデータの整備 音声合成 今回の記事では、1点目の返答生成ロジックについて解説します。システムの全体像については伊藤の記事でも解説されていますが、返答生成部分の技術により焦点を当てた記事となります。 返答生成フローについて返答生成は次の4つのパートで構成されています。 知識検索 知識のフィルタリング・リランキング 返答生成 ハルシネーションチェック 返答生成フローの全体像返答生成フローの設計思想全体
グループIT推進本部のデータプロダクトユニット(DPU)でエンジニアをやっている@azazです。DPUではTiDBチームに所属していまして、ここではTiDBの運用、移行のサポート、クエリー最適化のサポート活動などに力を入れています。 大規模データ基盤にまつわるデータベース・ETL・クエリーエンジン・ストリーム処理技術について興味がある方は是非Cyberagentの採用ホームページから大規模データ基盤エンジニア枠で応募してみてください! 流れ 最近注目を集めているMysql互換のNewSQL データベースであるTiDBですが、内部のレートリミッターについて考えたことありますか?本記事ではTiDBで採用されているレートリミッターの仕組みについて3部構成で紹介したいと思います。 様々なレートリミッターアルゴリズムの紹介 分散システムにおけるレートリミッターの課題 TiDBのレートリミッターの仕組
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く