[B! mysql] tecklのブックマーク

YappoLogs: なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのか

なぜ SQL_CALC_FOUND_ROWS や LIMIT OFFSET のページングが良く無いのかここ最近の大規模サービス関連したデータページング考です。 mysql 5.5.34 で試して記事書いてます。 bigdata テーブルは id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, PRIMARY KEY (id) なカラムがある前提です。もちろん InnoDB です。 2014年なんだからCOUNT(*)とかSQL_CALC_FOUND_ROWSとかLIMIT OFFSETのページングはやめようぜ - Togetterまとめが発端にみえるけど、わりと昔から話されてる事なんだけど、﹁nippondanji SQL_CALC_FOUND_ROWS﹂でググっても有用な情報ないし文書化されてないからしとく。ページング処理で使われがちな機能です。S

teckl 2014/03/12

リンク

MySQLコマンドラインツールで使えるコマンド小ネタ

MySQLコマンドラインツールで使えるコマンド小ネタ 2012-12-12 知らなくても何とかなるけど、知っておくと役に立つmysqlシェルから使えるコマンド。 systemコマンド MySQLのプロンプトを開いたままで、ロードアベレージを見たいとか、SQLを書いておいたファイル名を見たい、という時は、OSのシェルで実行できるコマンドをMySQLシェルから実行するsystemコマンドを使えばよい。 mysql> system uptime 10:47:48 up 24 min, 5 users, load average: 3.94, 3.68, 2.57 mysql> system ls test.sh sample01.sql teeコマンド実行結果をターミナルにも表示するがファイルにも保存しておきたい時はteeコマンド。ファイルへの書き出しをやめる時はnotee。ファイルには、プロ

teckl 2014/02/19

mysql上でteeなんか使えたのか・・

リンク

MySQL の pager が便利だった - xykの日記

mysql のコンソールで grep とか使えないかなぁと思っていたら pager を使えば出来ることを今更知った。 MySQL :: MySQL 5.1 リファレンスマニュアル :: 7.7.2 mysql Commands http://dev.mysql.com/doc/refman/5.1/ja/mysql-commands.html mysql のプロンプトで以下のように pager (または\P) を指定すればよい。・grep mysql> pager cat | grep hoge PAGER set to 'cat | grep hoge'・ファイルに保存 mysql> \P cat > ~/dump.txt PAGER set to 'cat > ~/dump.txt'・less mysql> \P less PAGER set to 'less'less の -S オ

teckl 2014/02/19

うお、less -S 超便利だ… mysql> \P less -S

mysql
tips

リンク

ラッパーも含めて mysqldが起動するときにどのmy.cnfを舐めてるのか知りたいとき

いやまあ、マニュアルに書いてあるけど。 http://dev.mysql.com/doc/refman/5.6/en/option-files.html Linuxで公式MySQL、--defaults-file, --defaults-extra-fileを指定しない場合は、 /etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf SYSCONFDIR/my.cnfのこと。公式のバイナリーはSYSCONFDIR== /usr/local/mysql/etc。cmakeのオプションで変えられる。 MariaDBはこいつが設定されていないっぽい。 /usr/local/mysql/my.cnf $MYSQL_HOME/my.cnfのこと。 basedirを設定してれば$MYSQL_HOME== basedirになる。 /home/

teckl 2013/10/10

なるほど、straceはこんな時にも使うと便利なのかー

リンク

第3回　すべてのMySQLユーザに高速な全文検索機能を！ - mroongaの紹介 | gihyo.jp

前回の地価マップでの事例紹介では、RubyonRailsからgroongaとmroongaを使って位置情報検索をした事例を紹介しました。Active Recordを拡張して位置情報検索をするためのgemとその使い方も紹介していたので、RubyonRailsユーザにとって実用的な内容だったのではないでしょうか。今回は、前回使い方を紹介したmroongaについて、さらに紹介します。前回はmroongaの使い方がでてきましたが、今回は使い方の紹介はしません。その代わり、mroonga自身のことについて紹介します。mroongaの歴史、大事にしていること、さらにどのようなアーキテクチャになっているかについて説明します。自分のアプリケーションで利用するプロダクトを検討するときに、プロダクトがどのような方向で作られているかを考慮していますか？自分のアプリケーションが大事にしたいことをその

teckl 2013/10/04

良さそう、あとで試す

リンク

MySQL　InnoDBストレージエンジンのチューニング（後編）

チューニングの基礎それでは、具体的にInnoDBでどこをチューニングするべきかを見ていこう。バッファプール最も基本となるのがバッファサイズの調整だ。ワーキングセットが全てバッファに収まらない限り、バッファプールは大きければ大きいほど良い。その分ディスクアクセスが減るからだ。バッファサイズが小さいと、キャッシュミス時にディスクからReadするのに時間がかかり、I/Oがボトルネックになってしまう。予算のある限りメモリを目いっぱい搭載し、バッファプールに割り当てよう。InnoDBのバッファプールは、innodb_buffer_pool_sizeオプションで設定する。利用可能なメモリは、他の処理に必要な分を除いたすべてをInnoDBのバッファプールに割り当てよう。 innodb_buffer_pool=32G ここで一つ注意がある。innodb_buffer_pool_sizeはバッファプー

teckl 2013/08/01

memo

リンク

InnoDBのファイルサイズ管理

最近、InnoDBのデータ領域︵テーブルスペース︶が成長してしまって元に戻すことが出来ない場合の対処についてよく質問されるので、今日はテーブルスペースが成長することへの対策について説明しよう。︵ここのところMySQLネタが続いているが、Planet MySQL日本語版を意識しているわけではないのであしからず！！＜＜ホントかよ？！＞俺︶ InnoDBのテーブルスペースが成長してしまうのは、ズバリ自動拡張しているからである。テーブルスペースに対して何もオプションを指定しないと、デフォルトでは次のような設定と同じテーブルスペースが作成される。 [mysqld] innodb_data_file_path=ibdata1:10M:autoextend サイズは10MBしかないが、自動拡張するのである。自動拡張してしまうと何が問題なのかというと、データが増えた場合にファイルシステムの空き領域を使い切

teckl 2013/08/01

>共有テーブルスペースを削除してはならない！！

innodb
mysql

リンク

Percona Toolkit

All of Percona’s open source software products, in one place, to download as much or as little as you need.

teckl 2013/04/17

よさげ

リンク

MySQLの冗長化 2013-01-24

＜SKILL BASECAMP 2013＞ MySQLの冗長化～無停止運用を実現するには～ http://www.pasonatech.co.jp/entry/index.jsp?mode=2&d=on&no=3756Read less

teckl 2013/01/29

良いまとめ。mysqlfailoverとかよさそうだなぁ

リンク

『redis、それは危険なほどのスピード』

どうも、プラットフォームDivでエンジニアをやっている Wataru です。最近3人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何？Redisとは﹁remote dictionary server﹂から名前が付けられたオープンソースのkey-valueデータストアです。MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が

teckl 2012/11/26

redis、よさそう

リンク

1台から500台までのMySQL運用(YAPC::Asia編)

PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...

teckl 2012/09/29

リンク

Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT

平素よりQA＠ITをご利用いただき、誠にありがとうございます。QA＠ITは﹁質問や回答を﹃共有﹄し﹃編集﹄していくことでベストなQAを蓄積できる、IT エンジニアのための問題解決コミュニティー﹂として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日︵金︶15:00をもちましてQA＠ITのサービスを終了することにしました。これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。QA＠ITの7年間で皆さまの知識

teckl 2012/09/13

んーむpostgresqlも少しずつ覚えた方がいいかな…

リンク

MySQL AB :: MySQL 5.1 リファレンスマニュアル :: 15 パーティショニング

テーブルのパーティション化は、ウィンドウ関数で使用されるパーティション化とは異なります。ウィンドウ関数の詳細は、セクション12.21﹁ウィンドウ関数﹂を参照してください。 MySQL 8.0 では、パーティション分割のサポートは InnoDB およびNDB ストレージエンジンによって提供されます。 MySQL 8.0 は現在、MyISAM などの InnoDB またはNDB 以外のストレージエンジンを使用したテーブルのパーティション化をサポートしていません。ネイティブパーティション化サポートを提供しないストレージエンジンを使用してパーティションテーブルを作成しようとすると、 ER_CHECK_NOT_IMPLEMENTED で失敗します。 Oracle によって提供される MySQL 8.0 Community バイナリには、InnoDB およびNDB ストレージエンジンによっ

teckl 2012/08/06

リンク

パーティショニングの使用例 - カーディナリティが低いカラムを使って検索する場合

MySQL 5.1で追加された機能にパーティショニングがある。これは適切に利用すれば非常に強力な機能であることは間違いないのだが、使いどころが難しい。なぜなら、インデックスをつけるだけでカバー出来る場合が多い。パーショニングを使わずに、単にテーブルを分けてしまえばいい。テーブルが巨大にならないとあまり効果を実感できない。使い方を間違えると性能が落ちてしまう。などの問題があるからだろう。そんなわけで、今日と明日でパーティショニングが役に立つシーンを2つ紹介しようと思う。今日は一つ目、インデックスをつけたいカラムのカーディナリティが低い場合だ。カーディナリティとは日本語に訳すと濃度とか訳されるが、要は値の種類︵分散具合︶のことである。例えば、YesかNoの2つの値しかとらないカラムは非常にカーディナリティが低く、インデックスをつけるととても効率が悪い。インデックスを使って目的の行を

teckl 2012/08/02

リンク

うるう秒のあとにMySQLなどのCPU使用率が高騰する件について - SH2の日記

2012年7月1日のうるう秒のあとに、MySQLやJavaなどのCPU使用率が高騰する事象が報告されています。 CPU %user %nice %system %iowait %steal %idle 08時30分01秒 all 0.02 0.00 0.02 0.04 0.00 99.91 08時40分01秒 all 0.02 0.00 0.02 0.08 0.00 99.88 08時50分01秒 all 0.02 0.00 0.02 0.03 0.00 99.92 09時00分01秒 all 0.11 0.00 0.13 0.04 0.00 99.72 09時10分01秒 all 23.02 0.00 29.09 0.11 0.00 47.78 09時20分01秒 all 23.11 0.00 29.08 0.06 0.00 47.75 09時30分01秒 all 22.85 0.00

teckl 2012/07/02

うーぬ… >date -s "`LANG=C date`"

mysql
linux

リンク

MySQLがレプリケーション遅延がALTERで治った - takami_hiroki’s blog

ある特定のテーブルに対するレプリケーションの遅延時間が、ここ数ヶ月間どんどん長くなり、場合によっては10分以上︵！？︶という状態になっていて困っていました。データ量や更新頻度は、テーブルを作成した時とほぼ同じなのにどうして！と思って調べていました。 OPTIMIZE TABLEコマンドが使えそう該当のこのテーブルは、他のテーブルと比較して、以下のような特徴があります。データ量は多い INDEXデータサイズも大きい更新頻度もかなり多いこのあたりが、レプリケーション遅延に影響しているのだろうと思い、調べていると以下のような情報を見つけました。 optimize tableでテーブルを最適化するだけでMyISAMはパフォーマンスが格段にアップするらしい︵特にデータ更新が頻繁なテーブルの場合︶。 MySQLとオープンソースに捧げる毎日:MySQLの管理など - livedoor Blog

teckl 2012/06/14

おお、空のALTERでインデックスが最適化されるんですな…　> mysql> ALTER TABLE user_table ENGINE MyISAM;

mysql
tips

リンク

ジョインが70倍高速で、Memcached API搭載の「MySQL Cluster 7.2」正式版が登場

米オラクルは、オープンソースのデータベースとして普及しているMySQLをクラスタ化して利用するためのソフトウェア「MySQL Cluster 7.2」の正式版を公開しました。 GPLに準拠したオープンソース版と同時に、管理ツールを同梱し、24時間365日のサポートも行う商用版の「MySQL Cluster Carrier Grade Edition」も同時に公開しています。ジョインが70倍高速に MySQL Cluster 7.2の最大のポイントは、ジョインが高速になったことです。これまでクラスタでのジョインは、ジョインするテーブルのデータがクラスタ内のノード間をいちいち飛び交っていたため、複雑なジョインになるほど遅いものになっていました。 MySQL Cluster 7.2で採用されたAdaptive Query Localization（あるいはPush Down Joins）と呼ば

teckl 2012/06/05

ジョイン70倍

リンク

MyISAMからInnoDBへ切り替えるときの注意点

MySQLを使い始めて間もない人がよく陥る罠の中に、気づくと使ってるストレージエンジンがMyISAMだった！ということがある。デフォルトのストレージエンジンはMyISAMなので、MySQLに詳しくない人たちが比較的陥りやすい罠なのだ。そもそもストレージエンジンという概念自体がMySQL独自のものなので仕方のない話である。MyISAMは素晴らしいストレージエンジン︵たとえばこのYahoo!の中の人による投稿で言われているように︶であるが、長所もあれば短所もある。例えば、トランザクション対応ではない。クラッシュセーフではない。更新と参照が入り乱れた場合の同時実行性能がよくない。テーブルが大きく︵数億行とか︶なるとINSERTの性能が劣化する。などなど。特に前者の2つが問題で、アトミックな操作が必要なところでロジックを実装出来なかったり、サーバがクラッシュした時にデータがお亡くなりにな

teckl 2012/05/30

リンク

1台から500台までのMySQL運用 MySQL Beginners

Designing Opeation Oriented Web Applications / YAPC::Asia Tokyo 2011Masahiro Nagano

teckl 2012/05/30

my.cnfテンプレート化は良いなぁ

mysql
tips

リンク

maatkitを一通り使ってみたメモ - はまさき

#hbstudy11でid:marqsさんがMaatkitに関する発表をしていて，僕も仕事でちょこちょこ使っていたのでダイアリーあたりに書きますねと云ったきり，書く書く詐欺になっていたので，さすがに書こうと思います．割とみなさん知っているツールだと思うのですが，ウェブ上で日本語の情報がなかなか見つからないので，何かのお役に立てればと思います．というか英語読めってことなのかもしれませんが． Mattkit 公式 MySQL Tools and Management Software to Perform System Tasks by Percona Maatkitは﹁実践ハイパフォーマンスMySQL﹂の著者であるBaron Scheartzによって作り始められた，MySQLやPostgreSQLのようなオープンソースのデータベースのための高品質なコマンドラインツールです．実践ハイパ

teckl 2012/03/14

すごい　＞特定のエラーを無限スキップしてレプリを再開させたり(mk-slave-restart)

リンク

はてなブックマーク

タグ

関連タグで絞り込む (51)

mysqlに関するtecklのブックマーク (36)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第2週）

はてなブックマーク透明性レポート（2024年 2月-2024年4月）

今週のはてなブックマーク数ランキング（2024年7月第1週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス