Apache Hivemall, a collection of machine-learning-related Hive user-defined functions (UDFs), offers Spark integration as documented here. Now, we will see how it works in PySpark. Note that Hivemall requires Spark 2.1+. This article particularly uses Spark 2.3 and Hivemall 0.5.2, and the entire contents are available at this Google Colabo notebook. Installation We do need to set up Spark and Hado
たまに、レコードが持つ変数間でコサイン類似度を計算したい時があるので、備忘として書いておく なお、以下の例で扱うデータは、適当なIDと紐づけられたベクトルをもつデータフレームとする。 from pyspark.mllib.linalg import Vectors data = sc.parallelize([ ("a", Vectors.dense([0, 1, 2])), ("b", Vectors.dense([3, 4, 5])), ("c", Vectors.dense([6, 7, 8])) ]).toDF(["id", "features"]) # 適当に交差結合で組み合わせデータ _data = data.select(col("id").alias("_id"), col("features").alias("_features")) tgt_data = data.cr
はじめまして。東京・千駄木で「やなぎに桜」という漬物専門店を開いている、柳沢博幸と申します。 2011年4月、千駄木の駅前にオープンしました 店内では常時、50種ほどの漬物をそろえています 独立する前は築地市場の漬物屋で働いており、この漬物という世界に「漬(浸)かって」かれこれ30年ほどになります。来る日も来る日も漬物を食べ続け、これまでに食べてきた漬物は1,000は超えているはず。店頭では、そんな私が全国から厳選したとっておきの漬物を販売しています。 今回はそんな私が「店はもちろん、我が家でも毎日食べたい!」と思ったとっておきの漬物を、定番から変わり種まで10種類紹介したいと思います。 この道30年の私でも「食べ続けたい!」と思える漬物は多くない と、その前に、皆さんは「漬物」のことをどれくらいご存じでしょうか。 私がこの道に足を踏み入れたのは、学生の頃でした。家の近くに築地市場があった
福岡で一度は買いたいお土産を特集!おしゃれなお菓子や定番の和菓子といった人気スイーツから、博多の明太子やもつ鍋、ラーメンなどお菓子以外のグルメ、最新のトレンド土産、雑貨やキーホルダーまで、福岡のおすすめなお土産をまとめて紹介します。知る人ぞ知る福岡でしか買えないお土産、空港で購入できるお土産情報も厳選したので、ぜひ参考にしてみてください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く