[B! MySQL] hokorobiのブックマーク

[MySQL][Python]8000万レコードをInsertする | Momentum

概要・とある物件で8000万弱のレコードを新規のDBに効率的にぶち込む方法を考える必要に・MySQL(Amazon RDS) + Python(mysql.connector)を想定・mysql.connector + pythonについては拙文ながら(http://nekopuni.holy.jp/?p=927)に書いております。・コミットの位置には気をつけよう + Multiple Insert最強ねというお話。方法その1まずは最初にやった方法。1レコードごとにInsertしてコミットしていく方法。今までDB関連でやったコードはレコード量も大したことなかったので以下の方法でも特に問題なかった。具体的な環境としてはテキストデータ(csv)を読み込み、それをDBにInsertしていくというもの。 csvの中身は日付(DATE)とデータ値(VALUE)がカンマ区切りになってい

hokorobi 2014/05/04

MySQL
python

リンク

Devsの常識、DBAは非常識

2015/09/10 「Ansible 入門 #01 (初心者向け) 」の資料です。ハンズオンの答え => https://github.com/uorat/ansible-handson.git https://atnd.org/events/68155

hokorobi 2013/09/14

MySQL

リンク

レプリケーションを使わないMySQLの冗長化

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blogこんにちは、DBMSチームの三谷です。ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。今回はこの集約環境の冗長化方法についてご紹介します。集約環境の構成集約環境ではマスターの冗長化にレプリケーションを利用せず、エンタープライズ向けの共有ストレージを利用したアクティブ・パッシブ型のHA構成を採用しています。データファイルを共有ストレージに置き、どのマスターサーバーからでも同じデータに対してアクセスできるように

hokorobi 2012/11/23

MySQL

リンク

MySQLバックアップの基本

バックアップ勉強会#2 (#bkstudy) での発表資料です。 http://atnd.org/event/bkstudy02 MySQLバックアップの基本的な内容についてまとめています。Read less

hokorobi 2012/11/22

MySQL

リンク

1台から500台までのMySQL運用(YAPC::Asia編)

PacemakerのMaster/Slave構成の基本と事例紹介(DRBD、PostgreSQLレプリケーション) @Open Source Confer...

hokorobi 2012/09/29

MySQL

リンク

Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT

平素よりQA＠ITをご利用いただき、誠にありがとうございます。QA＠ITは﹁質問や回答を﹃共有﹄し﹃編集﹄していくことでベストなQAを蓄積できる、IT エンジニアのための問題解決コミュニティー﹂として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日︵金︶15:00をもちましてQA＠ITのサービスを終了することにしました。これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。QA＠ITの7年間で皆さまの知識

hokorobi 2012/09/13

万が一、会社で使うとしたらPostgreSQLの方がいいのかなと思った。

リンク

第2回 ioDrive+MySQL勉強会発表資料 | 外道父の匠

GMOさんのところで、ioDrive＋MySQLの発表をしてまいりました。前回のFluentdから中4日で登壇という恐ロシアなスケジュールに真っ白な灰となっております。1番手だったので基本を抑えつつ尖り気味のところまで入れてしまったせいで、40分のところを53分使い、さらに質疑応答で1時間以上になり、他の発表者や参加者にご迷惑を、そしてピザを冷えさせて申し訳ありませんでした。が、資料自体はぼちぼちな出来になったと思いますのでサクッと公開しておきます。事前にページを削りとってしまったり、早送りで説明してしまった部分があるので補足したいところなのですが、燃え尽き症候群中なのでMySQL関連は後で少しずつ書いていけたらと思います。戦利品 Fusion-IO社のサンタクロースと言われる例の方が、登壇者にプレゼントをしてくれました。ゴルフシャツですがMサイズ Woman用で、微妙に形が女

hokorobi 2012/08/28

MySQL

リンク

TechCrunch | Startup and Technology News

Unlike Light’s older phones, the Light III sports a larger OLED display and an NFC chip to make way for future payment tools, as well as a camera.

hokorobi 2012/08/21

ホントに？！

MySQL
Oracle

リンク

便利なスクリプト集 MySQL Utilities - rkajiyama’s diary

実は1.0.0が2010年12月にリリースされていたのに全く知名度の無い"MySQL Utilities"。実は便利な機能が複数用意されているので、スクリプトを手作りしなくても済む可能性大です。またリリースに向けて新たなマイルストーンリリースが出てきたMySQL 5.6でのレプリケーションの追加機能と組み合わせる便利機能もあります。 MySQL UtilitiesはPythonで書かれたスクリプト集で、MySQL Workbenchに同梱されて配布されています。ライセンスは﹁もちろん﹂GPLです。2012年7月上旬時点での最新版は1.0.5です。また実行可能なスクリプトの他に、ライブラリとして細かな機能が用意されているため、独自のスクリプト作成にも役立ちます。起動にはMySQL Workbenchのメニューの︻Plugins︼から︻Start Shell for MySQL Utilit

hokorobi 2012/07/27

MySQL
未

リンク

クリアネオの口コミって信じていい？効果は確実なの？ | 愛と小町

クリアネオの特徴無添加・無着色だから肌が弱い人でも安心ワキガや嫌な臭いの原因となる菌を殺菌・消毒お得な定期コースは、購入縛りなし！いつでも解約可能体臭の悩みは老若男女問わず共通の悩みですが、他人には相談しにくいので1人で悩んでいる人が多いんです。体臭って、自分でニオイが気になった時は、他の人はもっとクサイと思っています。もしあなたが、自分でワキガかも…と思うのであれば、周りの人はあなたのニオイに気づいているかも… クリアネオは、そんなワキガ臭や足のニオイなど、イヤーな体臭全般を10秒でカットしてくれるんです。クリアネオの効果や口コミを調査しましたので徹底解説します。購入時に特典が付いてくるのでお得公式サイトはコチラ ※特典は毎月変わるので公式サイトでご確認くださいクリアネオはどんな人におすすめ？クリアネオの殺菌率は、なんと99.999%！体臭の悩みを解消してくれるクリ

hokorobi 2012/07/24

MySQL
未

リンク

http://www.2ch-search.net/blog/3

hokorobi 2012/06/27

MySQL

リンク

MySQLをさらに理解するために読んだ記事まとめ - $shibayu36->blog;

最近MySQLの勉強をしていました。実践ハイパフォーマンスMySQLを読むべきという話を聞いていたのですが、かなり網羅的に書かれていて、今の知識ではどれが重要なのかわからない状態でした。そこで色々調べてみて、参考になる記事をいくつか見つけたので、少しまとめてみようと思います。今回まとめた記事を読んで、大体以下のことが理解できました。インデックスの使われ方とその構造(MyISAMとInnoDB) EXPLAINの詳しい使い方、見方 InnoDBの特性 ALTER TABLEの特性レプリ遅延まず最初に Webエンジニアのためのデータベース技術[実践]入門 (Software Design plus)posted with amazlet at 12.06.02松信嘉範技術評論社売り上げランキング: 9767 Amazon.co.jp で詳細を見る松信さんの書いた「Webエンジ

hokorobi 2012/06/03

MySQL
未

リンク

MySQL日本語利用徹底入門

速習！論理レプリケーション～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料） 2022年11月11日（金） NTTデータ技術開発本部先進コンピューティング技術センタ鳥越淳

hokorobi 2012/05/30

MySQL

リンク

初心者向けMySQLの始め方

講師：日本仮想化技術宮原日時：2015/5/22 タイトル：これから始める人のための自動化入門〜Ubuntu Jujuを使って〜概要： - 自動化をやってみたい人に簡単に始められる自動化ツール「Juju」を紹介します - 自動化とは？ - Jujuを動かしてみよう - Juju環境を構築しよう --- VirtualBox+Vagrantでの導入 --- Ubuntu環境に手動でインストール - Juju活用とトラブルシューティング - スタッフ募集のお知らせ

hokorobi 2012/05/29

MySQL

リンク

MySQLの監視はCacti+Percona Monitoring Pluginsがおすすめ(監視サーバ構築編)

MySQLの監視はCacti+Percona Monitoring Pluginsがおすすめ(監視サーバ構築編) 2012-05-18 MySQLをリソース監視する仕組みにはいくつかあるが、対象のMySQLサーバが5台以上ある場合はCactiがおすすめ。導入のしやすさだけでMuninを選ぶ人が多い気がするが、その選択基準は間違っている！ Cactiのいいとこわるいとこ多数のグラフを見やすく並べられる muninと比べて多数のサーバから軽快に情報を収集・表示できる監視対象には、MySQLのユーザを追加するだけでかなりの項目数を監視できるデータの保存にデータベースが必須だったりしてセットアップがやや面倒慣れるまで監視プラグインを書くのに手間取る Muninのいいとこわるいとこ監視プラグインを書くのが簡単監視サーバにデータベースなどが必要なく、セットアップが簡単グラフの並び方などが

hokorobi 2012/05/18

MySQL
未

リンク

これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発インフィニットループ

これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ︵クエリ編︶こんにちは、インフラ担当新人の nob です。サーバー監視ツールで MySQL を監視しているのにデータが多すぎて活用していない。という方はいませんか？その豊富なデータをパフォーマンス・チューニングに活用しない手はありません。今回はサーバー監視ツールのグラフを読み解いた実戦経験を元に、﹁これだけ見れば大丈夫﹂というツボをまとめてみました。これだけ見れば大丈夫！　クエリ編　3つのつぼと5つのグラフ︵その1︶監視ツールが何を見ているのか知る︵その2︶監視のキモ、グラフ3点セット (Questions, Lock Waitsと Transaction Handler) ︵その3︶グラフでチェックする SQL チューニング ( Select Type とHandler) シンプルでお勧め、サーバー監視グラフ化ツール

hokorobi 2012/03/09

MySQL

リンク

MySQLにおけるレプリケーション遅延の傾向と対策

レプリケーションはMySQLで最もよく使われる機能のひとつだ。レプリケーションは基本的に非同期でデータの複製を行う仕組みになっているのだが、非同期故にどうしても逃れられない問題がある。そのひとつが今回のテーマ、遅延である。というと、MySQLのレプリケーションはすぐに遅延が生じてしまうように感じてしまうかも知れないが、そのようなことはない。ほとんどの場合は即座にスレーブの更新が行われる。なぜ遅延は発生するのか、どのように遅延が起きていることを調べるのか、どのように回避するのかということを本エントリでは解説したい。うまく遅延と付き合って、MySQLのレプリケーションをより快適に運用してもらえればと思う。そもそも遅延とは何かMySQLのレプリケーションは非同期で行われる。これは準同期でも同じであり、スレーブにおいて更新が起きるのはマスターよりも一瞬遅れてしまう。これは非同期であるが故に逃れ

hokorobi 2011/12/14

MySQL
未

リンク

Does eating pussy make hair grow

Does eating pussy make hair grow - free nudes, naked, photos, I Know What You Did Last Summer - FRPRN.com

hokorobi 2011/12/08

MySQL
未

リンク

MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...

しわっす！DBA兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ますこんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま

hokorobi 2011/12/02

MySQL
未

リンク

カヤック流ソーシャルアプリの作り方インフラ編 - KAYAC engineers' blog

入社4年目にもなってtech.kayac初登場のせいです。ブログ書けプレッシャーにとうとう屈する時がきました。これで夢にkyo_agoが出てうなされなくてすみます。(彼はtech.kayacの尻たたき担当でした) 先々月﹁ぼくらの甲子園!熱闘編﹂というゲームをモバゲー内にてリリースしました。これは去年リリースした﹁ぼくらの甲子園!﹂の続編です。モバゲーユーザの方、是非遊んでみてください。今回はこの﹁ぼくらの甲子園!熱闘編﹂がどういうインフラ構成になってるか紹介したいと思います。注) 題名に﹁カヤック流﹂とはつけましたが、カヤックでは多様性を善としている風潮があり、ゲームによってインフラの構成が違うどころか、利用しているプログラミング言語すら違います。なので全てのゲームがこのような構成になってるわけではありません。前提今回のインフラ構成を決めるに至って考慮した点は﹁ラクに

hokorobi 2011/10/15

リンク

はてなブックマーク

タグ

関連タグで絞り込む (19)

MySQLに関するhokorobiのブックマーク (53)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第5週）

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス