[B! チューニング] yamadarのブックマーク

yamadar id:yamadar

チューニングに関するyamadarのブックマーク (94)

動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか
Kritaの AIDiffusion プラグイン、SDのインターフェースとしてかなり良い。話題の LCM によるライブペイントも便利だし、イラストレーションツールだからレイヤーや選択ツールが使えるのが強い。すでにSDでできたことだが、こんな感じの変換が素早く、気持ちよく行える。https://t.co/bUPOZrKs1n pic.twitter.com/0hn8iMHHms — Naoto Yokoyama (@builtinnya) November 18, 2023 これらを ControlNet8で入力してAnimateDiff を使えば済むと考えていたが、甘かった。動画生成 AIに期待しているのは、この2枚の画像の間のフレームを説得力のある形で補間することである。しかし、7秒という長さでは、例えば次の動画1のようになってしまう。動画1. 図1と図2を使い、パラ
yamadar 2024/07/03
凄い

AI

チューニング

動画

生成AI
リンク
結局、Go言語をやめる理由はなかった件 - Qiita
この記事は Go2 Advent Calendar 14日目の穴埋め記事です。はじめに @okdyy75 さんによる Go5 Advent Calendar 14日目のの記事﹁だから僕はGo言語を辞めた﹂が﹁ベンチマークっていうのはこうやるんだよ﹂というのを説明するために反面教師的な意味で良い教材だと思ったので、反証記事を書きたいと思います。ベンチマークを取りながらコードを改善して、最終的にGoは遅くないからやめる必要はないということ、そして、なぜ遅いという結論になってしまったのかを掘り下げていきたいと思います。下準備幸いなことに、ベンチマークのソースコードがGitHubにあるので、こちらを実行しながら問題点を改善していきましょう。ちゃんとコードが上がっているのは素晴らしいですね！一方で、元記事には測定環境が明記されていませんでしたので、同じ環境で測定することはできま
yamadar 2024/05/09
*go

パフォーマンス

チューニング
リンク
リレーショナル・データベースの世界
序文私の仕事は、DB エンジニアです。といっても別に望んでデータベースの世界へきたわけではなく、当初、私はこの分野が面白くありませんでした。﹁Web系は花形、データベースは日陰﹂という言葉も囁かれていました。今でも囁かれているかもしれません。ですが、しばらくデータベースを触っているうちに、私はこの世界にとても興味深いテーマが多くあることを知りました。なぜもっと早く気づかなかったのか、後悔することしきりです。もちろん、自分の不明が最大の原因ですが、この世界に足を踏み入れた当時、先生も、導きの書となる入門書もなかったことも事実です。今でこそバイブルと仰ぐ﹃プログラマのためのSQL 第2版﹄も新入社員には敷居が高すぎました (2015年2月追記‥その後、自分で第4版を訳出できたのだから、人生は何があるか分からないものです)。そこで、です。このサイトの目的は、データベースの世界に足を踏み
yamadar 2024/02/29
とてもお世話になったサイトの一つ。本も買った。あとは漢のコンピュータ道

パフォーマンス

チューニング

*DB
リンク
MySQLでUUIDv4をプライマリキーにするとパフォーマンス問題が起きるのはなぜ？（N回目）
はじめにこんにちは、令和トラベルでバックエンドエンジニアをしている飯沼です。 MySQLでは、UUID (v4)などのランダム性の高いIDをプライマリキーに設定すると、パフォーマンスが低下すると言われています。私自身もこの問題については認識しておりアンチパターンとして避けて来ましたが、イマイチ理由を理解できず何度も調べていたので自分の理解を整理しました。 ※ この記事は令和トラベルのTechLT会で共有した内容を記事にしたものです。社外の方にもご参加いただけるTechLT会は connpass にて告知しています。 UUIDをプライマリキーにするユースケースそもそもUUIDをプライマリキーにするユースケースはどのようなものがあるのでしょうか？いくつかの観点から考えてみます。パフォーマンス観点大量の同時書き込みが発生するような状況でauto incrementを利用してIDを発
yamadar 2024/01/18
パフォーマンス

チューニング

*MySQL
リンク
MySQL 5.7 から 8.0 にしたらテストが激遅になった - Qiita
この記事は、株式会社カオナビ Advent Calendar 2023 の3日目です。はじめに株式会社カオナビの高橋(@kunit)です。今回は MySQL バージョンアップ(5.7 -> 8.0) で起きた問題とそれに対してどのように対処したのかを書いていこうと思います。何が起きたのか MySQL 5.7 から 8.0 にバージョンアップをするにあたって、CIおよびローカル環境でテストができるように MySQL 8.0 のイメージを作成し、それをつかって各機能の担当者にテストを開始してもらっていたのですが、以下のような事が起きました。接続を MySQL 5.7 から 8.0 に切り替えただけでテストの時間が3倍くらいかかるようになったそこを変更するだけで3倍遅くなるってやばいぞということで報告してくれた担当者と同じテストを自分でも実施してみると再現性があり、それが以下のどの
yamadar 2023/12/03
*MySQL

テスト

チューニング
リンク
GPT-3.5 Turbo fine-tuning and API updates
Developers can now bring their own data to customize GPT-3.5 Turbo for their use cases. Fine-tuning for GPT-3.5 Turbo is now available, with fine-tuning for GPT-4 coming this fall. This update gives developers the ability to customize models that perform better for their use cases and run these custom models at scale. Early tests have shown a fine-tuned version of GPT-3.5 Turbo can match, or even
yamadar 2023/09/18
API

チューニング

AI

@ChatGPT
リンク
【完全保存版】GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.) - Qiita
︻完全保存版︼GPT を特定の目的に特化させて扱う (Fine-tuning, Prompt, Index, etc.)OpenAI ChatGPTlangchainGPT-4LlamaIndex ChatGPT に代表される今日の AIブームを牽引しているのは大規模言語モデル︵Large-scale Language Model, LLM︶と言っても過言ではないでしょう。LLM とは大量のテキストデータを使ってトレーニングされた自然言語処理のモデルで、代表的なものに、GPT︵OpenAI︶、Llama︵Meta︶、PaLM︵Google︶があります。我々開発者は、事前学習されたこれらのモデルを使って簡単にアプリケーションを作ることができます。 LLM が遂行可能な言語的タスク LLM を使って行える言語的タスクには次のような種類があります‥ Classification: 感情やポジ
yamadar 2023/03/31
『GPT を特定の目的に特化させて扱う方法として、Fine-tuning と Prompt Design を紹介し、それぞれについて解説しました。加えて、それらの実用に向けたときの課題と参考になるかもしれない資料をまとめました』

チューニング

AI
リンク
SQLを速くするぞ―お手軽パフォーマンス・チューニング
このサイトでは、SQL を高速化するためのちょっとしたパフォーマンス・チューニングの技術を紹介します。と言っても、﹃プログラマのためのSQL　第2版﹄の受け売りがほとんどなので、この本を読んでいただければ、本稿を読む必要はありません。最初に、パフォーマンス・チューニングに関する全体の方針を述べておくと、それはボトルネック︵一番遅いところ︶を改善することです。当たり前ですが、既に十分速い処理をもっと速くしたところで、システム全体のパフォーマンスには影響しません。従って﹁処理が遅い﹂と感じたら、最初にすることは、SQL やアプリの改修ではなく、﹁どこが遅いのか﹂を調査することです。いきなりあてずっぽうで改善をはじめても効果は出ません。医者が患者を診るとき最初にすることが検査であるのと同じです。病因が何であるかを突き止めてからでないと、正しい処方はできないのです。その基本を承知していただいた
yamadar 2023/01/13
なんで今さらハテブに上がってきてるんだ...

*MySQL

パフォーマンス

チューニング
リンク
1ミリ秒でも早く届けたい! HTMLで画像読込を高速化するために取り組んでいること - ICS MEDIA
ウェブサイトの表示スピードはサイトの健全性における重要な観点の一つです。Googleが提唱するCore Web Vitalsコア・ウェブ・バイタルズと呼ばれる指標の中にもサイト表示スピードに関する項目があり、表示されるまでの時間が単なるユーザー体験だけでなく、SEOでも無視できない存在です。表示スピード低下の要因はネットワークやサーバーサイド、そしてフロントエンドまで広範囲におよびます。本記事ではその中でも画像の読み込みについて改善できるテクニックを改善前と改善後を比べながら紹介します。改善前サンプルを別ウインドウで開く改善後サンプルを別ウインドウで開く画像読み込みBefore / Afeter 上図はLighthouseによるチェックの結果です。Lighthouseはウェブサイト検査ツールで、ウェブページのパフォーマンス、アクセシビリティ、SEOなどの状態を計測できます。Googl
yamadar 2023/01/05
*html

パフォーマンス

チューニング

高速化
リンク
Bulk insertでも20時間以上かかっていたMySQLへのインサート処理を1時間以内にする - エムスリーテックブログ
この記事はエムスリー Advent Calendar 2022の30日目の記事です。前日は id:kijuky によるチームメンバーのGoogleカレンダーの休暇予定一覧をスプレッドシート+GASで作ったでした。 AI・機械学習チームの北川(@kitagry)です。今回はMySQLへのインサートを20倍以上高速化した話について書きます。仕事をちゃんとしてるか見張る猫 TL; DR はじめに今回のテーブルバイナリログを無効化する追試 LOAD DATA INFILE 追試テーブルの正規化インデックスを一時的に剥がすまとめ We are hiring!! TL; DR バイナリログをオフにする LOAD DATA INFILEを使うインデックスを一時的に消すはじめに AI・機械学習チームではサイトトップからアプリに至るまで多くの推薦システムがあります。そこでは推薦ロ
yamadar 2022/12/30
*DB

*MySQL

チューニング

高速化
リンク
RLS + 大量データ下でクエリチューニングして100倍高速化した話 - Beatrust techBlog
Beatrust で SRE をやっている Yuta (中川裕太) です．運用がラクにできるように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています．今回のブログでは，Row Level Security (RLS) 下で現実的なレイテンシで大量データを扱うためにクエリをチューニングした結果とそこから学んだプラクティスを紹介します．モチベーション Beatrust ではセキュリティ向上のために，顧客 (テナント) ごとにデータを論理的に分離する RLS を用いています． tech.beatrust.com tech.beatrust.com おかげさまで Beatrust は BtoB サービスとして順調に成長しており，創業3年目のタイミングで1顧客あたり数万人規模のお客様の導入も現実味を帯びてきました．RLS はその性質上，データ量の増加に
yamadar 2022/11/11
チューニング

*PostgreSQL
リンク
Web Speed Hackathon 2021 miniでほぼ満点を出しました
gzip圧縮だとあまり圧縮できていなく、スライディングウィンドウが小さいせいかなと思ったのですが、実際に大きさがかなり違うみたいなので、それが原因としてありえそうです。 Gzip uses a fixed size, 32KB window, and Brotli can use any window size from 1KB to 16MB, in powers of 2 (minus 16 bytes). This means that the Brotli window can be up to 512 times larger window than the deflate window. Results of experimenting with Brotli for dynamic web content - The Cloudflare Blog AudioContextの
yamadar 2022/01/04
**これはすごい

パフォーマンス

チューニング

開発

*javascript

*CSS
リンク
pixivのブックマークに関する負荷対策をしました - pixiv inside
10/22(金) 追記この記事で解説している内容について解説する勉強会を開催することとなりました。以下のconnpassよりお申し込みください。 pixiv.connpass.com 10/22(金) 追記 pixivのブックマークについてブックマークDBの問題について具体的な対策内容論理削除廃止・index追加・ブックマークタグのテーブル分割適応ハッシュインデックスの無効化アプリケーションコードのリファクタリング・全発行クエリの列挙と見直し大きな更新処理の非同期化結果あわせてよみたい pixivではサービスの成長に伴い、気に入った作品に対して付けることができるブックマークの総数が急速に増加しており、ユーザーの皆様に滞りなくサービスを提供し続けるためブックマークに関するデータベース(以後DB)の負荷対策が必要になりました。 2021年2月より対策を行うプロジェクトを発足し
yamadar 2021/10/21
高速化

パフォーマンス

チューニング

*MySQL
リンク
フロントエンドを100倍速くした（＾ω＾） - Qiita
おはようございます、なのくろです。年の瀬ですね。この記事は ABEJA Advent Calendar 2020 の最終日です。追記‥おかげさまでQiita LGTM賞を受賞いたしました、ありがとうございます！私は2020年01月にABEJAへ入社しました。チームではフロントエンド開発全般を任されています。参入してちょうど1年が経過しましたので、今年取り組んだことをまとめました。﹁フロントエンドを100倍速く﹂というタイトルは誇張気味なのですが、難しいことはせず、基本的なパフォーマンス改善を素直に実践したという話を書きます。本稿では事例とやったことを紹介するのみですが、何かしらの知見や改善のきっかけに役立てば幸いです。サービスについて話をする前に、どんなサービスを開発しているかについて少しだけ触れます。 ABEJA社では﹁Insight for Retail﹂という、小
yamadar 2020/12/25
*javascript

チューニング
リンク
理屈で考える、データベースのチューニング | Raccoon Tech Blog [株式会社ラクーンホールディングス技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。パフォーマンス勉強会OracleデータベースMySQLInnoDB こんにちは、羽山です。今回はOracleデータベースのチューニングで少し踏み込んだ内容です。途中で比較対象としてMySQLも登場します。日頃からSQLチューニングの機会があってそれなりに得意としているのに、それでもなぜかパフォーマンスがでないSQLに悩んだ経験はありませんか？謎の遅い現象は特に大規模データベースになってくると発生しがちなのですが、速い場合も遅い場合も必ず理由があります。そこで本記事ではデータベースのチューニングにおいて意外と見落とされがちなローレベルな部分に着目して、さらに一歩上のパフォーマンスチューニングに必要な知識を解説します。この記事を書くきっかけとなったのは私た
yamadar 2020/10/03
チューニング

パフォーマンス

*DB
リンク
社内でフロントエンドのパフォーマンスチューニングコンテストを開催した
フロントエンド/Node.js エンジニアの mizchi です。plaid では新しい分析エンジンのフロントエンド側の技術的な仕様を考えたり、それを実装したりしています。趣味として社内の他のプロダクトのパフォーマンスを勝手に測って、貼り付けていくこともあります。 plaid のエンジニア組織には「組」という制度があって、メインとなるプロダクト以外にも、そのテーマで会社横断で活動するグループがあ
yamadar 2020/09/30
パフォーマンス

チューニング
リンク
Pythonの知っておくと良い細かい処理速度の違い8個 - kumilog.net
はじめに標準入力 input と sys.stdin.readline ソート sort と sorted ソートの key ループ for と while リストリストの初期化二次元配列の場合リストの値参照リストへの値追加それぞれの処理速度まとめはじめに最近、PythonでAtCoderなどの競技プログラミングに挑戦しています。これまであまりに気にしなかったけど、ちょっとした書き方で処理速度が変わってくることに気づいたので、これを気に少し調べてみました。目次にあるように、標準入力、ソート、ループ、リストについて、計8個の処理の速度比較を行いました。処理速度の計測方法は、Mac Book Pro*1を使い、timeitでそれぞれ100回計測*2し、平均と標準偏差を求めています。結果だけ知りたい方は、まとめへどうぞ。計測に用いたコードは以下にあります。 github.
yamadar 2018/08/22
チューニング

高速化

*Python
リンク
『メルカリ』アプリの画面描画を高速化する技術、バックエンド・iOS・Androidの基本設計 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
﹃メルカリ﹄アプリの画面描画を高速化する技術、バックエンド・iOS・Androidの基本設計多くのユーザーに愛されるフリマアプリ﹃メルカリ﹄ですが、そのスムーズな画面描画はどのような技術で生み出されているのでしょうか。同アプリの高速表示の秘密を、バックエンド、iOS、Androidの3方向からメルカリ社のエンジニア4人に聞きました。バックエンドの高速化を支える技術︻Tips1︼画像のファイルサイズを最適化し、アプリ全体の通信量を抑える︻Tips2︼データセンター間通信のレイテンシを抑える︻Tips3︼アプリのありとあらゆる挙動を常にモニタリングする iOSアプリの高速化を支える技術︻Tips4︼Objective-CからSwiftへの移行＆アーキテクチャの刷新︻Tips5︼﹃UIStackView﹄を活用し、UIの描画をより滑らかにする Androidアプリの高速化を
yamadar 2018/07/28
**あとで読む

iOS

android

高速化

チューニング
リンク
コネクションプールのチューニング - Qiita
TL;DR 負荷の変動が激しい環境でコネクションプールの設定のチューニングをさぼるためによくやるハックを紹介します。問題 Goから https や mysql など外部のリソースにアクセスする場合、一般的にコネクションプールを使うことになります。コネクションプールは、利用が終わった (idle) コネクションをプールしておき、次に使いたい時に再利用するものです。 (idle コネクションのプールを以後 free pool と呼びます。) ほとんどのコネクションプールの実装には、 idle なコネクションの最大数を制限するオプションがあります。また、利用中の (active) コネクションと idle なコネクションを合計した全体を制限するオプションを持つものもあります。例えば net/http パッケージの Transport は MaxIdleConnsPerHost というフ
yamadar 2018/02/14
チューニング

*MySQL
リンク
SQL高速化のカギは「時間=道のり／速さ」　シンプルな考え方がデータ処理を変える
世界中の技術者を対象に、最新技術の動向をシェアする﹃Oracle Code Tokyo﹄が2017年5月18日に行われました。普段DBAを指南しているディレクター・柴田長氏が﹁Live Challenge!! SQLパフォーマンスの高速化の限界を目指せ！﹂というテーマで、デモンストレーションを実施。Oracle Database 12cの最新テクノロジーを駆使して、SQLの高速化を実演しながら説明しました。パラレル化で複数CPUコアを駆使柴田長氏‥続いていきましょう。﹁パラレル化で複数CPUコアを使いこなせ！﹂、ミッション3です。先ほどパーティション化したCPUバウンドのSQLのアクティビティを見きました。8つのCPUコアがありますが、どうしても1CPUコアのボトルネックになっていました。これ、もったいないですよね。なぜ起きるかと言うと、SQLの実行ではCPUコアが1つしか使えま
yamadar 2018/02/03
*SQL

*DB

チューニング
リンク
1 2 3 4 5 次のページ