[B! SQL] [6ページ] raimon49のブックマーク

開発スピードアクセル全開ぶっちぎり！日本よ、これがMySQL 5.6だッ！！

米国で行われているMySQL Connectというイベントで、ついにMySQL 5.6 RC︵リリース候補版︶が発表された。リリース候補版ということは、これが次の正式版になるということだ。MySQL 5.5は5.1から凄まじい進化を遂げたバージョンであった。だが、MySQL 5.6はさらにそれを上回る進化を遂げている！正直ここまでの進化を誰が予想しただろうか、いや誰も出来なかったであろう。これまで、α版が出たときから何度か新機能について紹介してきたが、今回改めてMySQL 5.6の新機能を振り返ってみようと思う。すべてまとめるともの凄い内容だ。興奮して夜も眠れなくなること請け合いだ。MySQLの進化が止まるのでは？などという心配は吹き飛び、もはやもうちょっと小出しにしなくて良かったのか？と心配してしまうレベルである。それではMySQL 5.6の新機能について紹介していこう。 InnoDB

raimon49 2012/10/01

リンク

自由を愛する人のための Kobo Touch の正しいセットアップ方法 - A Day in Serenity @ kenjis

Kobo Touch を使うには、最初にアクティベーションの処理が必要とされており、Windows か Mac そして楽天のアカウントが必要とされています。 (08/28 追記) 現在の Kobo は、パソコンなしでも Wi-Fi と楽天のアカウントがあれば、アクティベーションできるようになりました。しかし、この記事の方法ではパソコンは必要ですが、Wi-Fi や楽天のアカウントは必要ありません。 kobo電子ブックリーダーをパソコン（USB接続）経由でセットアップ（初期設定）するには？しかし、それらなしでも使えることが確認できました。【警告】この記事は、パソコンの操作に不慣れな方を対象としたものではありません。この記事の方法でセットアップすると楽天から電子書籍を買うことはできません。 Kobo デスクトップアプリなしの初期設定 1. Kobo を USB で PC に接続します。

raimon49 2012/09/02

楽天アカウント不要

リンク

NEC、ビックデータ処理の高速化ハードウェアを「SQL」で設計できる技術を開発 | RBB TODAY

日本電気︵NEC︶は31日、ビックデータ︵大量の時系列データ︶のリアルタイム分析処理を高速化するハードウェアを、専門知識がない人でも簡単・高速に設計できる技術を開発したことを発表した。ビックデータ処理専用のハードウェアは、開発や実装に数か月程度の長い期間が必要である、運用中に処理内容の変更ができないなどの課題があった。今回開発された技術は、データ分析担当者がプログラミング言語﹁SQL﹂で、必要な分析処理の内容を入力するだけで、簡単に専用の高速化ハードウェアが設計できるという。SQLで設計されたソフトウェアを、NECのFPGA回路合成技術﹁CyberWorkBench︵サイバーワークベンチ︶﹂を利用して、専用ハードウェアに自動変換する。これによりデータ分析担当者が、使い慣れたSQLでFPGAを直接設計することを可能とした。またデータの処理内容を切り替える際に、旧処理と新処理の回路を並列で

raimon49 2012/09/02

リンク

米ヤフーのサービス、ログイン情報45万件が漏えいか

米Yahooがセキュリティ侵害の犠牲となり、40万件を超えるログイン認証情報が漏えいする結果となったようだ。ハッキングされたデータはハッカーサイト﹁D33D Company﹂に投稿された。同データは、45万3000件超のログイン認証情報を含んでおり、Yahooのネットワークから取得されたものとみられる。ハッカーらはUNIONベースのSQLインジェクション技術を使ってYahooのサブドメインに進入したと述べ、このデータダンプは﹁警鐘﹂のつもりだとしている。ハッカーらは﹁このサブドメインのセキュリティ管理を担当している関係者には、これを脅迫ではなく警鐘としてとらえてほしい﹂とデータの末尾にコメントとして記している。﹁Yahooが所有するウェブサーバには悪用可能なセキュリティホールが多くあり、これらはわれわれのデータ公開よりもはるかに大きな損失を生み出している。軽く考えないでほしい。このサブ

raimon49 2012/07/13

UNIONベースのSQLインジェクション

リンク

クエリの改善に。MySQLのSlow Query Logを可視化する·MySQL slow-query-log Visualizer MOONGIFT

MySQL slow-query-log VisualizerはMySQLの時間のかかるクエリをWeb上で閲覧するソフトウェアです。 MySQLには実行時間の遅いクエリをログファイルに書き出す機能があります。単純にテキストに吐かれるだけなので分析に時間がかかってしまうのではないでしょうか。そこで使ってみたいのがWebブラウザベースの解析ソフトウェアMySQL slow-query-log Visualizerです。サンプルです。データ量が多くないとあまり面白くないですね。公式サイトより。曜日ごとに発生回数をグラフ化しています。クエリログファイルをWebブラウザの画面にドロップするだけで解析処理が行われます。その結果はグラフに描かれる仕組みです。また、クエリは一覧で表示され、任意の文字でフィルタリングすることもできます。曜日と時間によって分析されるので対応すべきポイントが分かりやすくな

raimon49 2012/06/19

クエリログをブラウザにドロップっていうアイディアは面白い。

リンク

グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理

BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速︵数秒〜数十秒︶に実行します。とのこと。 SQLによる問い合わせが可能この高速性に加え、BigQueryではSQLを問い合わせ言語に使えるという点にも大きな特徴があります。数秒程度のレスポンスとSQL文による記述は、大規模データに対するアドホックな処理を行うのに適したサービスだといえるでしょう。 BigQueryのSQLの構文は﹁Query Reference﹂で解説されていますが、SELECT文にFROM、WHERE、JOIN、HAVING、GROUP BY、ORDER BY、LIMITなどが使えるため

raimon49 2012/05/08

構文リファレンス見るとサブクエリまで実装してあってほんと凄いなコレ。

リンク

ビッグデータの価格破壊？　Googleが「処理量100GB/月まで無料」の解析サービスBigQueryを提供開始 - ITジャーナリスト星暁雄の"情報論"ノート

情報と技術は未来をどう変えるのか──IT、スマートデバイス、ロボット、電子工作、メディアのアーキテクチャ Google勤務のKazunori SatoさんがGoogle+に簡潔な解説をポストしてくれています。ポスト1 BigQueryが一般公開されました！数100億件の全検索が数十秒で完了する超並列クエリサービスで、MapReduceと並びGoogleの根幹を支える虎の子技術です。 Google BigQuery brings Big Data analytics to all businesses - Google Developers Blog ポスト2 BigQueryプチ解説：BigQueryはGoogle社内では「Dremel」と呼ばれる超並列クエリインフラを利用した一般向けサービスです。DremelはSybase IQやOracle Exadataと同様のColumar DB

raimon49 2012/05/03

データの参照・集計に特化　JOINもサポート

リンク

Webサービスにおける外部APIの使用（その3） - Facebook Query Language - O'Reilly Japan Community Blog

最近はFacebookのユーザー、Facebookアプリの数が増えています。本記事では、はじめにFacebook APIについて簡単に説明した後、Facebookが持っている情報を効率的に取得するためのFacebook Query Language︵FQL︶について説明します。はじめに昨年から日本でもFacebookユーザーが爆発的に増加しています。最近のWebアプリの多くはFacebookとの何らかの連携機能を持っていて、連携機能を持っていないものを探すほうが難しいかもしれません。 Facebook APIには多くの機能があるのですが、今回はその1つであるFacebook Query Language︵以下FQL︶について説明します。なお本記事は、読者に以下の前提知識がある事を想定しています。 Facebookの基本的な仕組み Facebookアプリ、Graph APIの基本的な仕

raimon49 2012/04/23

Facebook Graph APIのラッパー　SQL風に情報を取得できるDSL

リンク

NoSQLデータモデリング技法

NoSQLデータモデリング技法.markdown #NoSQLデータモデリング技法原文‥NoSQL Data Modeling Techniques « Highly Scala bleBlog I translated this article for study. contact matope[dot]ono[gmail] if any probl em. NoSQLデータベースはスケーラビリティ、パフォーマンス、一貫性といった様々な非機能要件から比較される。NoSQLのこの側面は実践と理論の両面からよく研究されている。ある種の非機能特性はNoSQLを利用する主な動機であり、NoSQLシステムによく適用されるCAP定理がそうであるように分散システムの基本的原則だからだ。一方で、NoSQLデータモデリングはあまり研究されておらず、リレーショナルデータベースに見られるようなシステマティック

raimon49 2012/04/17

リンク

MySQL SQLオプティマイザのコスト計算アルゴリズム - SH2の日記

いちいさんにお誘いいただいて、勉強会で発表をすることになりました。 InnoDB Deep Talk #1 : ATND おそらく初見では内容が難しいと思いますので、先に資料を公開しておきます。プレゼンテーション資料 (PDF) テストデータ生成スクリプト (JdbcRunnerで利用します。) プレゼンテーション資料からリンクしているウェブサイトの一覧です。 MySQL Bugs: #64567: Last_query_cost is not updated when executing an unique key lookup Understanding and Control of MySQL Query Optimizer: Traditional and Novel Tools and Techniques: MySQL Conference & Expo 2009 - O'R

raimon49 2012/03/11

Last_query_cost

リンク

にひりずむ::しんぷる - MySQL で SELECT のときにユーザー変数を代入して使う

知らなかったのでメモ。 mysql> SELECT @foo := UNIX_TIMESTAMP(), FROM_UNIXTIME(@foo) +--------------------------+---------------------+ | @foo := UNIX_TIMESTAMP() | FROM_UNIXTIME(@foo) | +--------------------------+---------------------+ | 1331202141 | 2012-03-08 19:22:21 | +--------------------------+---------------------+ @variable := expr で変数に代入し、それをその場で使うことができる。いままでは SET @variable = expr してからしか使えないのかなーと思って

raimon49 2012/03/11

集計クエリでお活躍できそうな予感！　SQL標準では定義ｓれていないのかな

MySQL
SQL

リンク

5分でできるPHPセキュリティ対策 - ぼくはまちちゃん！

こんにちはこんにちは！！ Webプログラミングしてますか！よく﹁PHPはセキュリティがダメ﹂とか言われてるよね。でもそれって、べつにPHPが悪いんじゃなくて、たぶん、セキュリティとかが、まだよくわからない人が多いだけなんじゃないかな。がんばって勉強しようと思っても、なんだか難しい理屈が並んでいたりするしね…。なので今日は、セキュリティ対策について、﹁これだけやっとけば、わりと安全になるよ﹂ってことを、初心者むけに、大雑把に書いてみます！理屈がわからなくても、最初はコピペでも、なにもやらないより、やったほうがきっとマシになる！ 1. XSS対策動的なものを表示するとき、全部エスケープすればokです！ (NG) あなたの名前は <?= $name ?> ですね！ ↓ (OK) あなたの名前は <?= htmlspecialchars($name, ENT_QUOTES) ?>

raimon49 2012/02/16

X-FRAME-OPTIONSヘッダかぁ。

リンク

リアルタイム・ランキングを考える | GREE Engineering

はじめにこんにちは。プラットフォーム開発部のsp1rytusと申します。先日、私もついに30歳のおっさんになってしまいました。加齢臭が出ないようにがんばります！ランキングって？ランキングは誰でもわかる、何らかの得点をソートして順位位置を決定する凄く簡単でシンプルなものです。しかし、ゲームを扱うコンテンツ・サービスにおいては、得点を通算/日別に順位付けされたものが直ぐに目に入るように、他人と自分を比較する非常に重要な役割を果たしています。そこで、この記事では次の3つ要件を満たすようなランキング・システムの難しさと、それを解決するための一例を簡単に説明させて頂きます。順位付けはリアルタイムに行い、集計時間を必要としない。 100万件以上の得点データが扱える。すべてのデータが正しい順位付けで取得できる(線形補完などで順位を概算しない︶。リアルタイムによる正確な順位付けは、データ件数

raimon49 2012/02/02

クエリチューニング　分布テーブル

リンク

MySQLチューニング虎の巻／ソートに関連するトピックとクエリの書き換え

EnterpriseZine（エンタープライズジン）編集部では、情報システム担当、セキュリティ担当の方々向けに、EnterpriseZine Day、Security Online Day、DataTechという、3つのイベントを開催しております。それぞれ編集部独自の切り口で、業界トレンドや最新事例を網羅。最新の動向を知ることができる場として、好評を得ています。

raimon49 2012/01/21

ORDER BYとGROUP BYでインデックスが使われる条件

リンク

しゅとろ〜む、しゅとろ〜む - KaiGaiの俺メモ

昨年、オタワでTim Child氏の発表を聞いて以来、実装できないものかと思って暖めていたアイデアがある。GPUの処理能力を使って、PostgreSQLの検索処理を高速化できないか？というものである。特に複雑な計算を含むクエリの場合、Index-Scanに落ちないで、全件スキャンが走ることが往々にしてあるが、こういったケースで有効に作用するのではなかろうか？という着想である。クリスマス休暇の間、割とまとまった開発時間を取る事ができたので、PostgreSQLのFDW(Foreign Data Wrapper)として動作するモジュールを作成してみた。モジュールの名前は PG-Strom で、ドイツ風に﹃しゅとろ〜む﹄と発音する。これは GPU の処理単位である Streaming Multiprocessor に由来する。もちろん、現状のFDWのI/F前提なので、更新は不可能でソー

raimon49 2012/01/06

PCIバスまで考慮したWHERE最適化、JITコンパイルでGPUに任せて結果を受け取る。すごいアイディア。

リンク

妥当性とは仕様の所作 - SQLインジェクション対策とバリデーション - ＊「ふっかつのじゅもんがちがいます。」withぬこ

繰り返しになりますが、妥当性検証は仕様の問題であってセキュリティ対策ではありません。バリデーションは仕様の問題であってセキュリティ対策ではないとはどういうことか説明します。SQLインジェクションの対策は、1. SQLを文字列結合で作らない 2. プレースホルダを使うです。バリデーションは関係ありません。簡単な例 Webアプリケーションで郵便番号を指定するフォームを考えましょう。日本の郵便番号を指定するフォームの設計でよく見るものは大きく分けて2通りあり、上3桁と下4桁を別々に入力させるものと、1つのフォームにまとめて入力させるものです。住所から補完させる設計もありえますがここではおいておきます。 <input type="text" name="postal_code_1"> - <input type="text" name="postal_code_2"> <input typ

raimon49 2011/12/28

＞この入力にはSQLやHTMLとして特別な意味を持つ文字が含まれていますが、そもそもRDBMSとのやり取りで適切にプレースホルダを使用していたり、HTMLとして出力する直前にHTMLとして特別な意味を持つ文字を適切にエスケープ

リンク

INDEX FULL SCANを狙う - MySQL Casual Advent Calendar 2011 - SH2の日記

2011年8月のkazeburoさんのエントリに対する解説記事です。結論から言うとkazeburoさんの案に賛成なのですが、本日はどうしてそうなったのかというところを確認していきたいと思います。本記事はMySQL Casual Advent Calendar 2011の17日目のエントリです。16日目はakira1908jpさんでした。当時の内容を覚えていない方は、先にkazeburoさんのエントリをご一読ください。また、テストケースがGitHubに公開されていますのでカジュアルに再現試験をすることも可能です。 Covering Index と self-join と MySQL - blog.nomadscafe.jp kazeburo's gist: 1150842 - Gist 問題のSQLをチューニングするには、MySQLがインデックスに対してどのようにアクセスするかという点につ

raimon49 2011/12/21

＞MySQLでINDEX FULL SCANが選択されるには、「SQLがそのインデックスに定義されたカラムにしかアクセスしないこと」という制約条件を満たす必要がある

リンク

SQLとJSONをNode.js上で組み合わせた新言語「ql.io」をeBayが公開

eBayが、JavaScriptアプリケーションからSQL文のような形式でデータベースへの問い合わせを記述できるDSL︵ドメイン固有言語︶のql.ioを発表。オープンソースとして公開しました。現在、多くのWebアプリケーションが、バックエンドとのデータのやりとりにHTTPをベースにしたAPIを用いています。しかし、WebベースのAPIによってデータを取り出すのは、プログラマにとって実は手間のかかることです。例えば、キーワードを入力すると関連する商品の名前、詳細、購入者の評価をユーザーに表示する、というWebアプリケーションでは、まずキーワードでデータベースを検索して商品IDを取得し、今度はその商品IDをキーにして名前や概要、評価の情報を取得する、といったように、APIを繰り返し呼び出す必要があります。 ql.ioはこうした内容をSQLのように分かりやすい記述で実現するだけでなく、複数の

raimon49 2011/12/02

データ選択インタフェースとしてのDSL

リンク

MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...

しわっす！DBA兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ますこんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま

raimon49 2011/12/02

5分で切り分けは凄い

リンク

Google、ビッグデータ分析サービス「BigQuery」を一般公開

﹁Google BigQuery Service﹂をGoogleのクラウド経由で利用することで、中小企業でもテラバイト級のビッグデータの分析が可能になる。米Googleは11月14日︵現地時間︶、同社のクラウド上でいわゆる﹁ビッグデータ﹂を分析する企業向けサービス﹁Google BigQuery Service﹂のプレビュー版を公開したと発表した。正式版は有料になる見込みだが、現在は無料で利用できる。 BigQueryは、同社が2010年の開発者向けカンファレンス﹁Google I/O﹂で発表したクラウド分析サービス。これまでは一部の企業を対象にクローズドなプレビュー版を提供していた。ユーザーはGoogleのクラウドストレージサービス﹁Google Cloud Storage﹂に分析したいデータをアップロードし、Webブラウザ経由で分析できる。同社は10月にクラウドデータベース﹁Goo

raimon49 2011/11/16

リンク

はてなブックマーク

タグ

関連タグで絞り込む (202)

SQLに関するraimon49のブックマーク (178)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第4週）

今週のはてなブックマーク数ランキング（2024年6月第3週）

今週のはてなブックマーク数ランキング（2024年6月第2週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス