emrに関するtakemikamiのブックマーク (2)
-
公式docには書いてない?かも spark-env—spark-env.sh ファイルで値を設定します。詳細については、Spark ドキュメントの﹁Environment Variables﹂を参照してください。 公式docには、saprk-env.shで設定してくださいぐらいしか書いてなくてパッと分からなかった。リンク先のSparkドキュメント見ても、configurationで設定する方法なども見つけられなかった。 結局、別のAWSのブログ記事に書いてあるやつで、見つけられた。 spark-env.shじゃなくてconfigurationで設定する こういうconfigを書けばOK [ { "Classification": "spark-env", "Configurations": [ { "Classification": "export", "Properties": { "J
-
7月にAWS Big Data Blogというブログが始まったのですが、最初の記事がBuilding a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)というタイトルでEMR上でMahoutを使ってレコメンデーションを行ってみるというものでした。EMR上でMahoutというと既にAmazon Elastic MapReduce入門 〜 Apache Mahoutでレコメンデーション!というエントリーがありますが、こちらはAmazon EMR CLIを使っていることもあり、ブログにしてみました。 Building a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)について まず機械学習の概要について説明した上でMahoutを使って
-
1