[B! コスト] hiroaki256のブックマーク

hiroaki256 id:hiroaki256

コストに関するhiroaki256のブックマーク (40)

推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密
推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ
hiroaki256 2024/02/19
llm

コスト

日本語

開発

技術
リンク
印税の誤解が広まる前に｜紅林直
まず印税１０%の誤解ですが多くの方は素人なので分かりにくいと思いますので紙の単行本と電子にわけて話をします。紙の単行本の話から雑誌に掲載されまとめられたものを２００P前後で販売するものを漫画では単行本と呼びます。リミックスと呼ばれたりコンビニ本と呼ばれるのが廉価版になります。廉価版とはお求めやすい価格になったサイズや紙の品質を落とした本です。小説はハードカバーが単行本に相当し文庫本が廉価版になります。僕たちがよく読む文庫本は廉価版になります。世間で言われている安いという印税１０%ですが安くはないのです。社会経験者なら分かる数字ですが世間を知らない人だと安く感じるのです。各社実は数字が違います。竹書房は紙は初版８%、重版分から１０%ですし名前は言えませんが少なくない数の出版社が売り上げ分の印税しか払わない会社も存在します。刷った分の１０%が業界で統一さ
hiroaki256 2024/02/16
出版

本

コスト

経済

業界
リンク
Zendesk、DynamoDBからMySQLとS3へ移行し、コストを80％以上削減
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
hiroaki256 2024/02/06
mysql

移行

コスト

db

dynamodb
リンク
BigQuery のストレージ料金を 1/10 に抑える裏技 - Qiita
節約になる理由ここから考察や料金体系の確認、検証内容など長文が始まります。興味のある方は最後までお付き合いください。節約になる理由は BigQuery を経由すると GCS からの読み取り料金がかからないからです。本来アーカイブストレージはデータ保存の料金が安い代わりに読み書きの料金が高くつきます。しかしこのバグのような仕様によって読み取りの料金を無視して安い保存料金の恩恵だけを受けることができます。 GCS からの読み取り料金が無料な理由はおそらくバッチ読み込みオペレーションが無料なためではないでしょうか。 BigQuery の料金#データ取り込みの料金注意事項上記の裏技ですがもちろんいつでも使えるわけではありません。下記の理由から利用については慎重に検討しなければなりません。 Google がいつまでも BigQuery への読み込みオペレーションを無料にするとは限らない。仮
hiroaki256 2024/01/06
BigQuery

コスト

gcs
リンク
開発コストを10％削減、NRIのすごい生産性向上策
SIerの人手不足が深刻だ。旺盛なDX︵デジタル変革︶需要に対応するため、人材獲得競争が激化している。人手不足への対処策の1つとして各社はサービス型への事業モデルの転換を進めている。事業モデルの転換とは別にもう1つの重要な取り組みがある。開発生産性の向上だ。技術者1人当たりの生産性を高めることで、より少ない人数で多くのシステムを開発できるようにする。開発生産性向上への取り組みは今に始まったことではない。数々の開発手法や開発ツールが生まれてきたのはそのためだ。SIerも独自の開発標準や開発環境などを整え、効率のよい開発を進めてきた。その中でもクラウドやコンテナといった最新技術を活用することで成果を上げたのが野村総合研究所︵NRI︶である。複数の企業で共通して使えるソフトをつくり、別のプロジェクトでも利用する。つくらない部分をなるべく増やすことで生産性を向上させる。実施した事業本部内での
hiroaki256 2023/07/20
開発

技術

コスト

プロジェクト

生産性
リンク
ローカルLMMは使えるか？～性能、展望、ホスティングと費用 #ChatGPTjp
A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team
hiroaki256 2023/04/29
機械学習

chatgpt

ai

コスト
リンク
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能
OpenAIの対話型AI﹁ChatGPT﹂は史上最も急速な成長で﹁月間1億ユーザー﹂をわずか2カ月で達成するなど、大いに注目を集めています。それに伴い、GoogleがChatGPTのライバルとなる会話型AI﹁Bard﹂を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。 Open-source replication of ChatGPT implementation process!
hiroaki256 2023/02/24
chatgpt

オープンソース

学習

コスト

モデル

ai
リンク
何度も挫折してきたE2Eテストだけど、今後はDatadog Synthetics Testsが良さそうかも - LIVESENSE ENGINEER BLOG
これは Livesense Advent Calendar 2022 DAY 20 の記事です。はじめに株式会社リブセンスの転職会議事業部Webエンジニアの @ishitan-liv です。今回は、過去に転職会議でも導入しようとして挫折してきたE2Eテストについて書きます。 E2Eテストを自作するか、SaaSを使うのかで比較した結果と、Datadog Synthetics Testsの使い方を軽く紹介したいと思います。なお、この導入については完全に個人プロジェクトとしてやっております。リブセンスではエンジニアの権利として毎月10%の技術投資枠確保というものがあり、Googleの20%ルールのようなもので、約20日勤務だと想定して2日間は興味のある技術的なことに使えます。 grow.google はじめにこのブログ記事を読むと得られる(と思われる)もの今回書かないこと導入検討
hiroaki256 2022/12/21
テスト

技術

コスト

導入

e2e
リンク
どうして統合テストは重要なんだろう？
はじめに最近では、多様なテスト手法や開発者向けツールを散見します。エンドツーエンド（E2E）テストだけでも、「Cypress」「Puppeteer」「Playwright」「Selenium」などのツールがあります。単体テストでは「Vitest」や「Visual Studio」のビルトイン単体テスト機能など、テストの準備を容易に自動化できます。ですが、多様なテストツールを導入しても、「When」、「How」を押さえてなければ、テストの効果を有効に得ることができないと考えています。まず、静的テスト、単体テスト、統合テスト、E2Eテストを実装コスト、実行時間と信頼性の観点で見ていき、無駄や漏れのないテスト戦略を立てていきましょう。テストを実装コスト、実行時間と信頼性で考えるどのテストを使用するかの選択する観点として、テストをする実装コスト、実行時間と、テスト結果の信頼性のトレード
hiroaki256 2022/09/17
テスト

コスト

開発

TDD

結合
リンク
なぜSeleniumを選ばなかったのか～AutifyとMagicPodを選びました～ - スタディサプリ Product Team Blog
こんにちは。QA Engineerの@testtattoです。今回はE2Eテストの自動化にあたって、どういった考えでツール選定を行ったのかを話したいと思います。対象読者以下に興味や関心を持つ方を対象読者として想定しています。 E2Eテスト自動化によって課題を解決したいが、どういった技術があるのか分からなくて困っている人 E2Eテストの自動化は実現できているが、継続に課題を抱えている人テスト自動化なら何でも興味がある人まえがき読んでもらう前にいくつかの前提を共有します。リリースサイクルについて当社のwebプラットフォームのリリースサイクルは一部のマイクロサービスを除いて基本的には週次です。決まった曜日で各プロダクトのプルリクエストを取り込んで、リグレッションテストを実施し、リリースブロッカーがなければリリースしています。流れとしてはこんな感じです。月火水木金特
hiroaki256 2022/08/31
selenium

コスト

ツール

テスト

qa
リンク
個人開発のコストはDB次第 - laiso
個人でWebサービスを継続的に運用するのは金がかかってかなわんという問題がある「個人開発」だと定義が曖昧なので自己資金かつ赤字のプロジェクト(Webサービス)ということにする。そういうプロジェクトではプロダクトオーナー=自分、開発者=自分、予算管理者=自分というロールになるので予算管理者としてコストを図る必要がある(ここでいうコストはWebサービスを実現するアプリケーションのランニングコストのこと)。通常はみんな自分の人件費を0として計算していると思う(逆にいうとそれが負債という考え方もできると思う)。ただしメンテナンス時間とコストのトレードオフもあるので、人件費0ではあるけど有限の時間は別軸として管理しているのが普通だと思う。極端な例だと「コスト削減できるけどメンテナンス時間10倍になる」というのは避けられる。仮に個人開発のプロジェクトの予算を月数千円から高くても1万円ぐらいか
hiroaki256 2022/07/21
db

コスト

開発

sqlite

litestream
リンク
次世代データベース TiDB の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
※こちらは先日実施された DeNA インフラエンジニア / SRE MEETUP で話した内容を Blog記事化したものです！こんにちは！IT基盤部の熊谷です。IT基盤部にて大規模ゲームのインフラを見ている新卒2年目のインフラエンジニアです。この記事では “DeNA でのデータベース運用とそのツラミ” と、“TiDB導入への検証・検討” をご紹介させていただきます。データベースの最適解 DeNA のデータベース構成は最適解を求めて改良を積み重ねてきました。最初期の構成、(便宜上、第1世代と呼びます) では VM Instance 上に MySQL を構築し管理する MySQL on EC2 構成。続く第2世代では、マネージドサービスを駆使した Aurora MySQL 構成。この2世代の中で生じた “ツラミ” を解消する次の世代、言わば第3世代に該当する新しいデータベース構成を現
hiroaki256 2022/01/21
データベース

評価

コスト

mysql
リンク
月間500万PV＆転送量80TBのサイトをたった4万円で維持する方法
月間ページビュー(PV)が500万PVあり、データ転送量も80TBあるという人気ウェブサイトを400ドル(約4万6000円)以下で維持する方法を、3Dのアセットライブラリを一般公開しているPoly Havenがまとめています。 How we handle 80TB and 5M page views a month for under $400 – Poly Haven Blog https://blog.polyhaven.com/how-we-handle-80tb-and-5m-page-views-a-month-for-under-400/ ウェブサイト運営のポイントの1つは「資金リソースをどう管理するか」です。資金があればAmazon S3のようなクラウドプラットフォームを利用するのが簡単ですが、データ転送量が月間80TBもあるPoly HavenのようなウェブサイトでAmaz
hiroaki256 2022/01/08
クラウド

コスト

最適化

インフラ

サーバ

キャッシュ

Cdn
リンク
なぜ、ソフトウェアプロジェクトは人数を増やしても上手くいかないのか - Qiita
はじめにソフトウェアプロジェクトには不思議な性質があります。現状のスケジュールに課題を感じて、短くするために人員を投下しても、なかなか思い通りに短くならない。それどころか悪化してしまうことがあります。場合によってはプロジェクト自体が破綻して失敗してしまうことすらあります。今回は、このようなソフトウェアプロジェクトに潜む直感に反する性質を数理的なモデルを介して理解していく試みです。ある種の思考実験としてお楽しみください。宣伝Qiitaさんとコラボ企画でアドベントカレンダーをつくりました。 DXをめちゃくちゃ改善した話を募集しています。 https://qiita.com/advent-calendar/2021/dx-improvement 10人の妊婦がいても1ヶ月で一人の子供は生まれないこれは誰かの技術力やプロジェクトマネジメント力に欠陥があるのではなく、﹁人月の神話﹂で有名な
hiroaki256 2021/11/01
プロジェクト

ソフトウェア

コスト

マネジメント
リンク
GKE 1.20+ で preemptible / spot VM とうまく付き合う | GREE Engineering
インフラの駒崎です。 Google Kubernetes Engine (GKE) の 1.20+ で有効な kubelet graceful node shutdown と、それを活用した preemptible VM の利用について書かせていただきます。 GCP の Preemptible VM とは Preemptible VM は、いくつかの制限があるかわりに通常のインスタンスよりも安く利用できるインスタンスです。制限はいくつかありますが、最も留意すべきは﹁いつでも停止される可能性があり、最長でも起動から24時間で停止される﹂点でしょうか。 ※ Preemptible VM の新バージョンとして Spot VM もアナウンスされました (2021/10/13 現在 preview) 。 Graceful node shutdown GKE 1.20 以降のバージョンではku
hiroaki256 2021/10/15
gke

kubernetes

gcp

k8s

preemptible

コスト

最適化
リンク
Firestore Data Bundlesを活用してFirestoreの読み取りコストを削減する
2020年12月頃にFirestore Data Bundlesという機能がリリースされたもののあまり話題になっていないので調べてみました。知らない人も多いのではないでしょうか？まず参考にしたblogとドキュメントを👇 に載せておきます。公式blogが利用シーンなども書かれておりわかりやすかったのでおすすめです（英語）。参考公式blog Load Data Faster and Lower Your Costs with Firestore Data Bundles! 公式ドキュメント Cloud Firestore data bundles Serve bundled Firestore content from a CDN Firestore Data Bundlesとは Firestoreでは、ユーザー全員が同じデータを読み取る場合でもそれぞれのユーザー（デバイス）ごとに読み
hiroaki256 2021/07/15
firestore

コスト

firebase
リンク
エンジニアといい感じに連携したいデザイナーの取り組み｜taiga / 佐野大河
こんにちは、デザイナーの佐野大河 @sn_taiga です。今日はエンジニアといい感じに連携したいデザイナーの取り組みについて話します。社内でC2Cというデザイナー同士で学びを共有し合う場があり、そこで話した内容を社外向けにまとめました。 👉 C2Cについて詳しく書かれている記事はこちらチームのエンジニアにヒアリングしてみた画面を設計するときや仕様を詰めるとき、伝えるとき、動作検証をするときなどなど、日々デザイン業務に取り組む上でエンジニアとコミュニケーションを取るシーンは多いと思います。そんな中自分が﹁エンジニアが開発しやすいように﹂よかれと思ってやっていることを付箋に書き出し、チームのエンジニアにヒアリングをしてみました。良いと思った付箋に印を付けてもらい、その理由等を聞きました💬 ﹁エンジニアが開発しやすいように﹂というテーマで書き出してみたものの、むしろデザイナーがエン
hiroaki256 2021/05/18
エンジニア

コスト

チーム

デザイン
リンク
決済サービスを閉じるときのやることリスト | メルカリエンジニアリング
Merpay Advent Calendar 2020の20日目は、メルペイProduct EngineeringチームのVP of Engineeringを担当しているnozaqがお送りします。 2020年はメルペイEngineeringチームとして業務しながら、一方で年初からOrigami PayというQRコード決済サービスの提供終了に伴うシステム停止業務を計画・実行してきました。サービスの終わらせ方について詳しく説明されることは中々ないと思ったので、本投稿では決済という外部影響が大きい種類のサービスを終了するにあたり、どのような検討がなされたのかを事例としてお伝えできればと思います。取り組んだこと決済サービスはお支払いを行う一般のお客さま・お支払いを受け付ける加盟店様・システム連携している金融機関様やパートナー様など多くのステークホルダーが存在します。また店頭でのお支払い方法をご
hiroaki256 2021/01/27
サービス

決済

コスト

要件

機能
リンク
「NO HARD WORK!」を読んで、“説明責任”と、“コンテキストスイッチコスト”について思いを巡らせた - Magnolia Tech
NO HARD WORK!　無駄ゼロで結果を出すぼくらの働き方 (早川書房) 作者:ジェイソンフリード,デイヴィッドハイネマイヤーハンソン発売日: 2019/01/31メディア: Kindle版﹁リモートワークの達人﹂を書いたジェイソン・フリードと、ディヴィッド・ハイネマイヤー・ハンソン(DHH)の﹁NO HARD WORK!﹂をようやく読んだ。 2018年に原著が出版され、去年日本でも翻訳が出た、二人の最新作だ。ちなみに、原題は﹁It Doesn’t Have to Be Crazy at Work﹂となっていて、﹁リモートワークの達人﹂のときもそうだったけど、原題の方がいいなと思う。なお、﹁リモートワークの達人﹂の感想エントリはこちら。 blog.magnolia.tech 今回は﹁仕事だけに忙しく、クレイジーに働きすぎない﹂というテーマだ。世の中の働き方がそうなっているこ
hiroaki256 2021/01/13
コスト

マネジメント

技術

組織

本
リンク
ECS×Fargateで実現する運用コストほぼ0なコンテナ運用の仕組み/ ecs fargate low cost operation
AWS DevDay Online Japan 2020 の登壇資料です
hiroaki256 2020/10/21
ECS

コスト

コンテナ

aws

fargate

運用
リンク
1 2 次のページ