[B! gpu] [4ページ] mapk0yのブックマーク

vectordash: 暗号通貨採掘している奴らに暗号通貨採掘よりは歩合のよい報酬を払ってGPGPU計算を購入するGPU版AirBnBみたいなサービス

vectordash: 暗号通貨採掘している奴らに暗号通貨採掘よりは歩合のよい報酬を払ってGPGPU計算を購入するGPU版AirBnBみたいなサービス Rent out your GPU compute to AIresearchers and make ~2x more than mining the most profitablecryptocurrency. : gpumining Deep Learningを研究しているある苦学生は、AWSやGoogle CloudのようなクラウドでGPGPU計算を提供している高い利用料に頭を悩ませていた。そこで、GeForce GTX 1080Tiを複数枚使ってEthereumを採掘している友人の存在に気が付き、交渉して、Ethereumを採掘するよりも歩合のよい報酬を支払い、機械学習に必要なGPGPU計算を請け負ってもらうことにした。その対

mapk0y 2018/03/25

gpu

リンク

ECSでGPUを扱う nvidia-docker2編 - Qiita

過去にAWSの公式手順を参照する以下の記事を書いたのですが、nvidia-dockerがv2になって進化していたので更新します。 ECSでGPUを扱うためのAMI作成byAmazon Linux Deep Learning AMI なぜ公式の方法ではなくnvidia-dockerを使いたいのかそれにはまず以下の記事でnvidia-dockerとは何をしているのかを知りましょう。 nvidia-dockerは何をしているのか dockerからGPU扱う時には、volumeを指定してマウントしたり、deviceオプションで適切なdeviceを渡してあげるか、privilegedでホスト上のプロセスとほとんど同じレベルでホストへのアクセスを許可するか︵AWS公式に記載されている方法︶をする必要があります。上記記事の通り、nvidia-dockerはGPUの情報を抽象化してdockerに渡

mapk0y 2018/03/18

ECS
gpu

リンク

KubernetesでGPUを使う

KubernetesでGPUを使う一般的なWebアプリケーションと比較してMachine Leaning︵ML︶は複雑なインフラを要求する．Data processingを行う環境やModelのTraining/Validationを行う環境，実際にサービスからModelを利用するためのServingの環境といった複数の異なる環境が必要であり，WorkloadによってはCPUだけではなくGPUも必要になる．これらを効率的に扱うためのインフラを構築・運用するのは容易でなくGoogle and Uber’s Best Practices for Deep Learningにあるようにこれまで培われてきたDevOpsの知見を結集していく必要がある．このような複雑なMLのインフラとしてContainerとKubernetesが利用されることが多くなってきている．特に複数の環境間のPortabi

mapk0y 2018/02/14

k8s
gpu

リンク

コンテナで機械学習を動かすKubeflow - Qiita

KubernetesでオーケストレートされたDockerコンテナでTensorflowを動かすKubeflowというツールがGithubに上がっていました。 https://github.com/google/kubeflow ためしに動かしてみました。 Kubeflowとは KubeflowはKubernetesで機械学習を動かすためのスケーラブルでポータブルな環境を提供します。目的は"to provide a straightforward way for spinning up best of breed OSS solutions"とのことですので、OSSで機械学習基盤を実現するシンプルな構成を提供するというものだと思います。 Kubeflowには以下が含まれています。 - JupyterHub - Tensorflow Training Container - Tensorfl

mapk0y 2018/01/12

リンク

Google、クラウドでのGPUの利用価格が半額になる「プリエンプティブGPU」発表。ただし、いつシャットダウンするかGoogleが決めることも

Googleは、Google CloudでGPUが半額で利用可能になる﹁プリエンティブGPU﹂︵PreemptibleGPUs︶を発表しました。ベータ版として提供されます。 Googleは2015年に、通常のインスタンスよりも料金が大幅に安くなる﹁プリエンプティブ仮想マシン﹂を正式にリリースしています。今回のプリエンプティブGPUは、そのプリエンプティブ仮想マシンにアタッチされたGPUの利用料金が安くなる、というものです。連続稼働保証はないけど最大70％安くなる仮想マシン﹁プリエンプティブルVM﹂が正式サービスに、Google Compute Engine － Publickey ︵新野注‥英語での名称はPreemptible VM、つまり﹁プリエンティブルVM﹂なのですが、Googleは日本語の公式名称としてこれを﹁プリエンプティブ仮想マシン﹂としています。そのため、本記事中でもPr

mapk0y 2018/01/09

gpu
GCP

リンク

長文日記

mapk0y 2017/12/23

nvidia
gpu

リンク

さくらの専用サーバ高火力シリーズ Quad GPUモデルの新規提供一時停止のお知らせ | さくらインターネット

お客さま各位さくらインターネット株式会社平素よりさくらインターネットに格別のご愛顧を賜り、誠にありがとうございます。 2017年11月30日に、NVIDIA Corporationのドライバソフトウェアの使用に関するライセンス条件が改訂され、最新のGeForce用のドライバソフトウェアのライセンス条件に、「データセンターへの導入の禁止」の条項が追加されました。詳細は、下記URLより第2.1.3条をご参照ください。・日本語: http://www.nvidia.co.jp/content/DriverDownload-March2009/licence.php?lang=jp&type=geforcem ・英語: http://www.nvidia.com/content/DriverDownload-March2009/licence.php?lang=us&type=gefo

mapk0y 2017/12/21

リンク

GPUでディープラーニングやるならAWSよりFloydHub - Qiita

UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ起動が簡単 floyd-cliというコマンドラ

mapk0y 2017/10/15

リンク

進捗）SSD-to-GPU ダイレクトSQL実行機能 - KaiGaiの俺メモ

ここ暫くブログでまとめていなかった、SSD-to-GPUダイレクトSQL実行機能の進捗について。この機能をかいつまんで言うと、NVMe-SSDに格納されているPostgreSQLのデータブロックをGPU RAMに直接転送し、そこでSQLのWHERE句/JOIN/GROUP BYを実行することで見かけ上のI/O量を削減するという代物である。 NVIDIAのTesla/QuadroGPUが対応するGPUDirect RDMA機能を使い、SSD<=>GPU間のデータ転送を仲介するLinux kernel moduleを使えば、CPU/RAMにデータをロードする前にGPU上での処理を行うことができる。しばらく前からScan系の処理には対応していたが、JOIN/GROUP BYへの対応を加え、さらにPostgreSQL v9.6のCPU並列にも追従したということで、簡単なベンチマークなら取れる

mapk0y 2017/04/23

リンク

PCIe のファジング : GPU 導入に向けたセキュリティ検証と対策 | Google Cloud 公式ブログ

私たち Google は先ごろ、Google Cloud Platform︵GCP︶で GPU の提供を開始しました。このハードウェアは高並列ワークロードの処理に活用できます。GPU は各種の PCI Express︵PCIe︶スイッチを介して Google のクラウドマシンに接続されるため、私たちは GPU を導入するにあたって PCIeのセキュリティを深く把握しておく必要がありました。 PCIeデバイスのセキュリティを確保するには固有の問題を克服しなければなりません。GPU はここ数十年で極めて複雑になっており、新たな攻撃の手口が現れるおそれがあるのです。 GPU はシステムメモリに直接アクセスするように設計されていますが、これまでこの種のハードウェアは信頼できるのが当たり前のように考えられてきたため、GPU を安全に動作させるための設定がすべて正しく行われていることを確認する

mapk0y 2017/04/03

gpu

リンク

Ubuntu14.04.3でnvidia-docker使ってCaffeをインストールしてみた - Qiita

機械学習ライブラリがいろいろあって目移りしますね。私もUbuntuにCaffe,Chainer,Tensorflowと一通り入れてみたのですが、それ以外にも欲張ってあれもこれもと入れているうちに、ライブラリの依存関係がおかしくなったり、入れ替えると戻らなくなったりして、5回ぐらいインストールし直していました。さすがに辛くなってきたのでgoogle先生に尋ねたところ、docker内からGPU使えることがわかったので、備忘録を兼ねてご紹介します。NVIDIA Dockerを使います。この記事のゴール NVIDIA Dockerをインストールして Caffe組み込み済みのイメージを作成してコンテナの中に入ってMNIST実行するまで NVIDIA Dockerとは何ぞい？ NVIDIA社の日本語説明ページが参考になりますが、ホストOS側にGPUのドライバがあって、dockerのコンテナ側にC

mapk0y 2016/12/13

リンク

IDCフロンティア、ディープラーニング特化のサービスラインアップを拡充

株式会社IDCフロンティア（本社：東京都新宿区、代表取締役社長：石田誠司、以下IDCF）は、ディープラーニングプラットフォームを構成するコンポーネントとして、GPUサーバー(*1)をクラウドの時間課金からベアメタルサーバー、スーパーコンピューター並みの計算能力(*2)を発揮するシステムまでフルラインアップで提供することを発表します。第一弾として、「NVIDIA(R) Tesla(R) GPUアクセラレータ M40」を搭載した仮想マシンを、IDCFクラウドの最上位タイプとなる「IDCFクラウド GPU BOOSTタイプ」として、初期費用0円、1時間400円の従量料金制で11月25日より提供を開始します。NVIDIAの最新世代となる「NVIDIA(R) Tesla(R) GPUアクセラレータ P100」を搭載したサービスは、2017年2月からの提供を予定しています。さらにGPU搭載のベア

mapk0y 2016/10/31

安い

cloud
gpu

リンク

AWSのGPUインスタンス上のDockerコンテナでTensorFlow for Rを試す - INPUTしたらOUTPUT!

TensorFlow for RがRStudioからリリースされたので早速試してみた。環境構築が面倒になってきたのでEC2上にDocker環境を構築し、tensorflow+rstudioコンテナを作ったので手順をメモしとく。項目設定リージョンオレゴン Amazon マシンイメージ CentOS 7 (x86_64) - with Updates HVM インスタンスタイプ g2.2xlarge ストレージの追加 EBS Cold HDD (sc1) 500GB CUDA 7.5 事前にCUDAのインストール、nouveauの無効化はしておくこと。 Docker, nvidia-dockerのインストールホストとなるEC2にInstallation on CentOSに従ってインストールする。 # yumのリポジトリにDockerを追加 $ sudo tee /etc/yum.r

mapk0y 2016/10/02

gpu
docker

リンク

Free Dynamic DNS(DDNS) by POP3,IMAP4,FTP,HTTP-BASIC for Home Server, VPS | MyDNS.JP

www.thiroyoshi.mydns.jp is not accessible... Sorry. I do not know why this site is not working. If you know Administrator of this site, please contact directly. You may be able to see it in Google cache. For administrator ... MyDNS.JP did not received IP address from you over One week. Please check your notify system. If you restart notification of IP address, MyDNS.JP will apply your IP address t

mapk0y 2016/09/12

リンク

An Intelligent Storage?

SSD-to-GPU Direct DMAを用いて、︵見かけ上、︶GPUがI/Oを高速化するというお話です。オマケで、NVMe-SSDを最大限活用してWAL書き込みを高速化する話も。Read less

mapk0y 2016/09/11

CPUからは GPU+SSD がストレージに見えて、join や selection、projectionがされた状態になってるのか。おもしろい。/ memory にあって ssd にはない dirty の扱いが難しいな

gpu
kernel

リンク

IDCフロンティア、米エヌビディアのGPUによる処理環境をクラウド提供

IDCフロンティアは2016年7月28日、事業説明会を開催し、下半期の事業戦略について発表した。2016年第3四半期︵10月から12月︶にディープラーニングでの利用を想定したGPUコンピューティング環境を提供。第4四半期からは、ファイルストレージサービスを提供する予定という。今回の発表は概要と時期のみで、GPUコンピューティングやストレージサービスなどの具体的な提供期日や提供方法、価格などは明らかにされなかった。事業説明会では、代表取締役社長の石田誠司氏が事業戦略に関して、﹁サーバーの﹃切り売り﹄ではなく、本当の意味でのデーターセンター事業を展開する﹂と宣言。今後はデータを中心にした﹁Data Centric Cloudにシステムの再デザインを行う﹂︵石田氏︶という。 IDCフロンティアがクラウドサービスで提供してきたメリットとあわせて、﹁その上に企業が所有するデータを統合し、さらに

mapk0y 2016/08/01

gpu

リンク

Amazon EC2のGPUインスタンスでハッシュ解読をやってみる - ももいろテクノロジー

ハッシュ値から元の文字列を求めるハッシュ解読は、GPUを利用することにより高速に行えることが知られている。ここでは、Amazon EC2のGPUインスタンスを利用し、oclHashcatを使った場合におけるハッシュ解読のパフォーマンスを調べてみる。環境 Amazon Linux AMI with NVIDIA GRID GPU Driver GPU instances、g2.2xlarge US West (Oregon)リージョンの場合、かかる費用は$0.65/hr︵1時間70円程度︶である。なお、GPUインスタンスを使うためにはインスタンス上限の制限緩和申請を行っておく必要がある。 oclHashcatでハッシュ解読をやってみる oclHashcatは、GPUを使ってハッシュ値の解読を試みるアプリケーションである。まず、EC2サーバにoclHashcatをダウンロードし、展開す

mapk0y 2016/05/30

AWS
gpu

リンク

Chainerのテスト環境とDockerでのCUDAの利用

2016/03/19にChainer meetup #2で、Chainerのテスト環境をDockerで整備した話を話しましたRead less

mapk0y 2016/03/20

リンク

NVIDIA の GPU 使用率を Ganglia で監視する - biochem_fanのブログ

NVIDIA の GPU の使用率を、Ganglia で監視するようにした。 GPU の状態は nvidia-smi コマンドで取得できる。dmon モードで起動すると、連続的に1エントリ1行の形式で出力してくれる。 nvidia-smi dmon -s pu -d 5 # gpu pwr temp sm mem enc dec mclk pclk # Idx W C % % % % MHz MHz 0 64 36 0 0 0 0 3004 745 1 68 36 94 4 0 0 3004 745 0 64 37 0 0 0 0 3004 745 1 64 37 0 0 0 0 3004 745 0 21 37 0 0 0 0 324 324 1 21 37 0 0 0 0 324 324 0 21 36 0 0 0 0 324 324 1 21 35 0 0 0 0 324 324 .

mapk0y 2015/08/12

ganglia
gpu

リンク

MapD: Massive Throughput Database Queries with LLVM on GPUs | NVIDIA Technical Blog

Note: this post was co-written by Alex Şuhan and Todd Mostak of MapD. At MapD our goal is to build the world’s fastest big data analytics and visualization platform that enables lag-free interactive exploration of multi-billion row datasets. MapD supports standard SQL queries as well as a visualization API that maps OpenGL primitives onto SQL result sets. Although MapD is fast running on x86-64 CP

mapk0y 2015/07/12

リンク

はてなブックマーク

タグ

関連タグで絞り込む (35)

gpuに関するmapk0yのブックマーク (86)

お知らせ

今週のはてなブックマーク数ランキング（2024年7月第1週）

月間はてなブックマーク数ランキング（2024年6月）

今週のはてなブックマーク数ランキング（2024年6月第5週）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス