サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
●はてなブックマークって？
●アプリ・拡張の紹介
●ユーザー登録
●ログイン
●ログアウト
kakku22
id:kakku22
●
7,114
ブックマーク
●
-
お気に入り
●
-
お気に入られ
タグ
●すべて
●
*InformationCenter
(7)
●
*gooddesign
(5)
●
*like
(11)
●
*まとめ
(72)
●
*リファ
(13)
●
*何度も読む
(28)
●
*研究
(187)
●
*資格
(138)
●
.comMaster
(5)
●
AIX
(42)
●
API
(54)
●
AdTech
(12)
●
Ant
(12)
●
Apache
(19)
●
BigData
(11)
●
CAMP
(5)
●
CI(59)
●
CSS
(63)
●
Capistrano
(17)
●
Cloudera
(5)
●
C言語
(6)
●
DB2
(52)
●
DeNA
(14)
●
Domino
(63)
●
EXCEL
(6)
●
Eclipse
(14)
●
English
(64)
●
FOAF
(6)
●
Gradle
(5)
●
HTML
(52)
●
HTML5
(16)
●
Hadoop
(48)
●
Hive
(7)
●
IE(8)
●
IPA
(6)
●
Ivy
(7)
●
JUnit
(11)
●
JVM
(19)
●
Java
(155)
●
Jenkins
(33)
●
KLab
(20)
●
KSH
(5)
●
LINE
(13)
●
LPIC
(34)
●
LaTeX
(6)
●
Lenovo
(6)
●
Linux
(87)
●
Lotus
(67)
●
MCP
(5)
●
MapReduce
(5)
●
MeCab
(5)
●
Mozilla
(7)
●
Notes
(39)
●
O'Reilly
(13)
●
OWL
(5)
●
PowerPoint
(16)
●
Python
(34)
●
RTC
(8)
●
Redbook
(11)
●
SI(6)
●
SJC-P
(5)
●
SPARQL
(12)
●
SQL
(7)
●
Subversion
(26)
●
TED
(16)
●
TOEIC
(17)
●
TSM
(10)
●
Tennis
(5)
●
ThoughtWorks
(8)
●
Tivoli
(5)
●
URI
(5)
●
VBA
(6)
●
VSS
(6)
●
WAS
(8)
●
WBS
(5)
●
Wantedly
(9)
●
WebSphere
(10)
●
Webデザイン
(22)
●
Web制作
(29)
●
Wikipedia
(11)
●
Windows
(35)
●
WindowsServer
(14)
●
XHTML
(7)
●
XMLマスター
(8)
●
actionscript
(8)
●
ad(67)
●
adobe
(12)
●
agile
(27)
●
ajax
(11)
●
alb
(20)
●
amazon
(26)
●
amazones
(6)
●
amplify
(23)
●
android
(54)
●
androidwear
(7)
●
ansible
(10)
●
apex
(5)
●
apigateway
(14)
●
app
(7)
●
appmesh
(7)
●
appsync
(5)
●
athena
(10)
●
aurora
(57)
●
autoscaling
(13)
●
aws
(1300)
●
bibtex
(5)
●
billing
(7)
●
blackbelt
(5)
●
blink
(5)
●
blog
(17)
●
bloomfilter
(5)
●
book
(12)
●
bootstrap
(5)
●
capybara
(22)
●
cdk
(17)
●
centos
(5)
●
cfn
(9)
●
chatops
(18)
●
chatwork
(13)
●
chef
(49)
●
chrome
(19)
●
circleci
(24)
●
cka
(9)
●
ckad
(7)
●
cks
(7)
●
cli
(9)
●
clientvpn
(5)
●
cloud9
(6)
●
cloudformation
(15)
●
cloudfront
(8)
●
cloudsearch
(5)
●
cloudtrail
(5)
●
cloudwatch
(28)
●
codebuild
(9)
●
codecommit
(15)
●
codedeploy
(16)
●
codepipeline
(15)
●
cognito
(9)
●
composer
(7)
●
config
(7)
●
consul
(8)
●
container
(10)
●
cookie
(5)
●
cookpad
(37)
●
coursera
(6)
●
crowdfunding
(37)
●
cto
(12)
●
cyberagent
(70)
●
database
(29)
●
ddd
(15)
●
deploy
(5)
●
design
(6)
●
devops
(57)
●
dmm
(8)
●
dmp
(5)
●
dns
(5)
●
docker
(89)
●
dx(5)
●
dynamodb
(53)
●
eb(6)
●
ebs
(11)
●
ec(5)
●
ec2
(40)
●
ecr
(14)
●
ecs
(120)
●
efs
(9)
●
eks
(57)
●
elasticache
(15)
●
elasticsearch
(92)
●
elb
(10)
●
engineer
(9)
●
envoy
(6)
●
facebook
(7)
●
fargate
(43)
●
fintech
(6)
●
firebase
(10)
●
fizzbuzz
(5)
●
flash
(13)
●
flex
(7)
●
fluentd
(56)
●
font
(6)
●
fuelphp
(12)
●
ga(9)
●
gatsby
(10)
●
gem
(35)
●
git
(41)
●
github
(174)
●
gitops
(5)
●
go(13)
●
golang
(81)
●
google
(87)
●
grafana
(5)
●
graphite
(6)
●
graphql
(6)
●
grpc
(8)
●
hashicorp
(7)
●
hatena
(82)
●
heroku
(13)
●
hhkb
(6)
●
http
(14)
●
hubot
(26)
●
iPhone
(12)
●
iam
(16)
●
ibm
(124)
●
increments
(8)
●
indiegogo
(10)
●
intellij
(8)
●
ios
(9)
●
iot
(5)
●
isucon
(12)
●
javascript
(13)
●
jquery
(23)
●
js(92)
●
json
(5)
●
k8s
(57)
●
kaizen
(8)
●
kibana
(11)
●
kickstarter
(22)
●
kinesis
(13)
●
lambda
(79)
●
lean
(6)
●
lifehack
(5)
●
lifehacks
(19)
●
logback
(5)
●
mac
(54)
●
mackerel
(56)
●
mail
(12)
●
makuake
(24)
●
management
(5)
●
memcached
(7)
●
mercari
(27)
●
microservices
(32)
●
microsoft
(13)
●
minecraft
(5)
●
mixi
(5)
●
mob
(19)
●
monitoring
(5)
●
mysql
(65)
●
nanapi
(5)
●
network
(7)
●
newrelic
(8)
●
nginx
(12)
●
nmon
(5)
●
node
(6)
●
node.js
(5)
●
openid
(11)
●
organizations
(5)
●
ormlite
(5)
●
oss
(10)
●
packer
(5)
●
pdf
(6)
●
pebble
(5)
●
perfmon
(5)
●
php
(125)
●
podcast
(32)
●
postgresql
(6)
●
presentation
(47)
●
privatelink
(7)
●
programming
(9)
●
prometheus
(5)
●
qiita
(20)
●
qiita_team
(20)
●
quipper
(8)
●
rails
(141)
●
rdf
(15)
●
rds
(25)
●
react
(24)
●
redash
(53)
●
redis
(18)
●
redshift
(28)
●
region
(8)
●
reinvent
(11)
●
rest
(7)
●
rspec
(30)
●
rss
(8)
●
rubocop
(5)
●
ruby
(171)
●
rubymine
(6)
●
s3
(39)
●
sagemaker
(5)
●
sam
(17)
●
scala
(25)
●
scrum
(13)
●
security
(11)
●
selenium
(8)
●
seo
(6)
●
serverless
(25)
●
serverspec
(9)
●
shell
(7)
●
slack
(26)
●
smartNews
(6)
●
sns
(9)
●
spark
(8)
●
spot
(7)
●
sqs
(15)
●
sre
(15)
●
ssh
(9)
●
ssm
(16)
●
startup
(26)
●
stepfunctions
(16)
●
svn
(6)
●
tdd
(13)
●
team
(9)
●
terraform
(16)
●
tex
(16)
●
tips
(33)
●
titanium
(11)
●
tools
(12)
●
training
(13)
●
trello
(9)
●
twitter
(6)
●
ui(18)
●
unsplash
(36)
●
vagrant
(26)
●
vi(6)
●
vim
(7)
●
vpc
(24)
●
vr(14)
●
vscode
(7)
●
w-a
(6)
●
w3c
(12)
●
web
(41)
●
web2.0
(17)
●
web3.0
(8)
●
webサービス
(94)
●
web素材
(6)
●
workshop
(40)
●
xml
(24)
●
yahoo!
(52)
●
youtube
(12)
●
zabbix
(14)
●
zozo
(10)
●
zsh
(7)
●
あとで読む
(26)
●
はてな
(35)
●
アイコン
(11)
●
アジャイル
(19)
●
アプリ
(16)
●
アルゴリズム
(13)
●
アーキテクチャ
(13)
●
イベント
(8)
●
インフラ
(16)
●
ウェブオペレーション
(7)
●
エロ
(6)
●
エンジニア
(87)
●
オフィス
(8)
●
オントロジー
(22)
●
カンバン
(10)
●
キャリア
(10)
●
クックパッド
(8)
●
クラウド
(7)
●
グラフ
(15)
●
グルメ
(10)
●
コマンド
(14)
●
コマンドプロンプト
(6)
●
コミュニケーション
(7)
●
コードレビュー
(7)
●
サーバ
(35)
●
サービス
(9)
●
システム開発
(41)
●
ジェネレータ
(7)
●
スクラム
(24)
●
スタートアップ
(8)
●
ストレージ
(9)
●
セキュリティ
(54)
●
セマンティックウェブ
(92)
●
ソフトウェア
(15)
●
タグクラウド
(17)
●
チートシート
(14)
●
チーム
(76)
●
ツール
(20)
●
テキストマイニング
(6)
●
テスト
(16)
●
デザイン
(20)
●
デザインパターン
(7)
●
データサイエンティス
(7)
●
データベース
(9)
●
データマイニング
(11)
●
ニュース
(44)
●
ネタ
(31)
●
ネットワーク
(17)
●
ハードウェア
(11)
●
パフォーマンス
(12)
●
ビジネス
(50)
●
ファッション
(15)
●
フォント
(6)
●
フリーソフト
(6)
●
ブラウザ
(9)
●
ブログ
(28)
●
ブログメンタリング
(32)
●
ブログメンター
(9)
●
プレゼン
(6)
●
プログラマ
(6)
●
プログラミング
(127)
●
プロジェクト
(8)
●
ベンチャー
(9)
●
ペパボ
(7)
●
マネジメント
(38)
●
マーケティング
(15)
●
メルカリ
(6)
●
メール
(6)
●
ユーザビリティ
(6)
●
ライフハック
(18)
●
ライブラリ
(14)
●
ランキング
(7)
●
レビュー
(6)
●
事例
(13)
●
人工知能
(8)
●
仕事
(25)
●
企業
(24)
●
便利
(57)
●
健康
(14)
●
分散システム
(7)
●
分析
(7)
●
勉強
(24)
●
勉強会
(22)
●
勉強法
(24)
●
動画
(6)
●
卒論
(6)
●
可視化
(21)
●
国際会議
(11)
●
基盤運用
(12)
●
壁紙
(7)
●
大学
(15)
●
子育て
(7)
●
学会
(20)
●
就活
(20)
●
履歴書
(7)
●
形態素解析
(14)
●
技術的負債
(7)
●
採用
(9)
●
教育
(23)
●
数学
(12)
●
書評
(6)
●
本
(91)
●
検索
(33)
●
検索エンジン
(13)
●
機械学習
(28)
●
正規表現
(13)
●
正誤表
(7)
●
画像
(7)
●
知識
(8)
●
研究会
(15)
●
競馬
(11)
●
簿記
(6)
●
素材
(31)
●
組織
(8)
●
経営
(8)
●
統計
(14)
●
統計学
(6)
●
自然言語処理
(61)
●
英語
(52)
●
論文
(41)
●
論文検索
(11)
●
資料
(78)
●
資格
(12)
●
起業
(38)
●
転職
(59)
●
退職しました
(7)
●
金融
(6)
●
開発
(16)
●
面接
(6)
●
aws
(1300)
●
*研究
(187)
●
github
(174)
●
ruby
(171)
●
Java
(155)
●
rails
(141)
●
*資格
(138)
●
プログラミング
(127)
●
php
(125)
●
ibm
(124)
関連タグで絞り込む (4)
●
Hadoop
●
hive
●
ジョブ管理
●
バッチ
タグの絞り込みを解除
Azkabanに関するkakku22のブックマーク (2)
●
171 users
●
wyukawa.hatenablog.com
●テクノロジー
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
kakku22
2015/06/22
●ジョブ管理
●Azkaban
●hive
●バッチ
●
5 users
●
azkaban.github.io
●学び
Azkaban Azkaban is a batch workflow job scheduler created at LinkedIn to run their Hadoop Jobs. Often times there is a need to run a set of jobs and processes in a particular order within a workflow. Azkaban will resolve the ordering through job dependencies and provide an easy to use web user interface to maintain and track your workflows. Here are a few features: Compatible with any version of H
kakku22
2014/01/04
●Hadoop
●Azkaban
1
お知らせ
ランキング
今週のはてなブックマーク数ランキング︵2024年7月第3週︶
ランキング
今週のはてなブックマーク数ランキング︵2024年7月第2週︶
お知らせ
はてなブックマーク透明性レポート︵2024年2月-2024年4月︶
もっと読む
公式Twitter
●@HatenaBookmark
リリース、障害情報などのサービスのお知らせ
●@hatebu
最新の人気エントリーの配信
処理を実行中です
キーボードショートカット一覧
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
●総合
●一般
●世の中
●政治と経済
●暮らし
●学び
●テクノロジー
●エンタメ
●アニメとゲーム
●おもしろ
●アプリ・拡張機能
●開発ブログ
●ヘルプ
●お問い合わせ
●ガイドライン
●利用規約
●プライバシーポリシー
●利用者情報の外部送信について
●ガイドライン
●利用規約
●プライバシーポリシー
●利用者情報の外部送信について
●公式アカウント
●ホットエントリー
●はてなブログ
●はてなブログPro
●人力検索はてな
●はてなブログ タグ
●はてなニュース
●ソレドコ
Copyright © 2005-2024 Hatena. All Rights Reserved.
設定を変更しましたx
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
Azkaban