civitaspoのブックマーク - はてなブックマーク

データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ

はじめにこんにちは！バクラク事業部機械学習・データ部データチームの@TrsNiumです。弊社では、データの意味やデータの質、データの利活用を一元的に管理することを目的として、データカタログソリューションの一種であるOpenMetadataを導入しました。OpenMetadataを利用することで、様々な種類のデータベースやBI、CRMと連携し、データの管理と可視化を効率化しています。弊社では主にBIツールとしてLooker Studioを使用しています。また、Google SheetsはConnected Sheetsの機能を使い、BigQuery上に構築されたデータ基盤のデータを用いて簡易的にデータ分析や可視化を行うツールとして利用しています。しかし、これらのツールはOpenMetadataのビルトイン機能ではサポートされていませんでした。そのため、データ変更時の影響範囲の把握や

civitaspo 2024/06/24

リンク

現地参加して良かった！Snowflake Data Cloud Summit 2024！ - LayerX エンジニアブログ

こんにちは。バクラク事業部機械学習・データ部データグループの@civitaspoです。2024年6月3日から6日にかけてサンフランシスコで開催されたSnowflake Data Cloud Summit 2024に現地参加してきました。本記事では、その様子や感想をレポートしようと思います。 Snowflake Data Cloud Summit 2024 とは？ Snowflake Data Cloud Summit 2024︵以下、Summit︶は2024年6月3日から6日にかけてサンフランシスコのモスコーニ・センターで開催された、Snowflake社が年次で主催する最大のユーザーカンファレンスです。Snowflakeの最新技術やデータクラウドの未来を語る基調講演に始まり、450を超えるセッションやハンズオンが行われました。参加者は全体で約1万5000人にのぼり、日本からは250人が

civitaspo 2024/06/13

リンク

SnowflakeでMicrosoft Entra IDによるSingle Sign-On及びSCIMプロビジョニングを有効化する - LayerX エンジニアブログ

こんにちは。バクラク事業部機械学習・データ部データグループの@civitaspoです。僕は定期的にエディタを変えるのですが、最近CursorからNeovimに移行しました。LazyVimを使ってセットアップするとシュッと使いやすい環境ができあがったので、Neovimのコミュニティ・エコシステムは素晴らしいなと感動してしまいました。Javaも普通にNeovimで書けちゃう。さて、弊社ではSnowflake導入に向けた大規模な検証を進めています。これまで弊社ではデータウェアハウスソリューションとしてGoogle CloudのBigQueryを利用してきました。もちろんBigQueryも素晴らしいソリューションの一つですが、弊社のサービス提供環境がAWSであるという都合上、Snowflakeとは親和性が高く、またSnowflakeはBigQueryとは異なる素晴らしい機能を持ち合わせている

civitaspo 2024/04/26

リンク

re:Invent2023 で登場した AWS Backup Restore testing でリストア検証を手軽に始める #LayerXテックアドカレ - LayerX エンジニアブログ

こんにちは！バクラク事業部 Platform Engineering 部 DevOps チームの id:sadayoshi_tadaです。今期の呪術廻戦のアニメは原作にない描写が描かれてて最高でした。この記事は LayerXテックアドカレ 49日目の記事です。前日は id:watau_lx さんによる継続的なパフォーマンス改善のプロセスを紹介しますでした。明日は kakeruさんが担当します。この記事では AWS の学習型カンファレンスである、re:Invnent 2023 で登場した AWS Backup Restore testing を検証した内容をまとめていきます。なお、re:Invent 2023 でのアップデートや新サービスをさらえる AWS re:Invent 2023速報の資料と動画をもしチェックされてない方がいたら年末年始のタイミングでチェックしてみてください🔎

civitaspo 2023/12/30

リンク

バクラクの爆速開発を支えるDevOpsチームの「のびしろ」！ #のびしろウィーク - LayerX エンジニアブログ

こんにちは！バクラク事業部DevOpsチームです。この記事は LayerXテックアドカレ2023 の37日目の記事です、前回はid:kikuchyさんが﹃歳末！バクラク申請・経費精算モバイルアプリのびしろ大放出祭﹄という記事を書いてくれました。また、38日目はid:suguruが﹃バクラク Enabling Team の課題とのびしろ #のびしろウィーク﹄を書いてくださいました！今回はのびしろウィークということで、バクラクのDevOpsチームの伸びしろをお伝えできればと思います！のびしろウィークとはのびしろウィークとは、LayerXの各チームメンバーが自分たちのチームの﹁のびしろ﹂について対外的に発信する期間です！過去の対外的な発信では社内でうまく行った事例などについては各種発信していましたが、どういう課題があってどういった方の協力を求めているかについての発信はあまり行なって

civitaspo 2023/12/27

かきました！

リンク

DynamoDBのIncremental Exportの仕様を理解する #LayerXテックアドカレ - LayerX エンジニアブログ

こんにちは。最近NuPhy Air75 V2を衝動買いしたのですが、届いた直後にNuPhy Air60 V2が発売され、購入したい衝動を抑えるのに必死な@civitaspoです。バクラク事業部Platform Engineering部DevOpsグループとバクラク事業部Data &ML部Dataグループに所属しています。この記事は、LayerXテックアドカレ2023の7日目の記事です。昨日は@yuya-takeyamaが﹁Microsoft Graph API へのキーレス認証 (GitHub Actions編)﹂を書いてくれました。次回はサクちゃんさんがエモい記事を書いてくれそうです。 2023年9月26日にDynamoDBがIncremental Exportをサポートしました。このIncremental Exportは﹁直近35日以内における特定期間の変更をChange Dat

civitaspo 2023/11/10

DynamoDB Incremental Exportの仕様について詳しく調べてみました！！！

リンク

何問わかるかな？AWS FireLens（Fluent Bit利用版）クイズ！！！ - LayerX エンジニアブログ

こんにちは。バクラク事業部Platform Engineering部DevOpsチームの@civitaspoです。7月はLayerXエンジニアブログを活発にしよう月間ということで、この記事ではAWS FireLensに関する情報をクイズ形式でお届けします。みなさんはAWS FireLensを使っていますか？弊社ではAmazon ECS上にアプリケーションをホスティングしており、AWS FireLensを利用してログ収集・ログ送信を行っています。AWS FireLensは非常に便利です。一方、AWS FireLensは奥が深い挙動をすることもあります。この記事ではそんなAWS FireLensを深く理解するための情報をクイズ形式でお届けしてみることにしました。僕が知る限りの情報を詰め込んでみたのでAWS FireLensを深く理解したい方に届けばいいなと思います。 AWS FireLe

civitaspo 2023/07/25

書きました！

リンク

プロダクトとは願い - LayerX エンジニアブログ

この記事はLayerX Tech Advent Calendar 2022の25日目の記事です！ LayerXの mosaと申します！もう2022年も終わりですね、お疲れさまでした！ LayerXには複数の事業部がありますが、僕は﹁バクラク﹂という、ハタラクをバクラクにするためのSaaSを開発しています。今年はバクラク経費精算、バクラクビジネスカードがリリースされたり、Machine Learningのチームが本格的に立ち上がったり、開発生産性を高めるEnabling teamが発足したりと、沢山のことがありました。僕はポジションでいうと﹁事業部CTO/CPO﹂という名前でして、プロダクトや開発組織全体を見つつも、特に新しいプロダクトをゴリゴリ前線で開発する立ち回りをしています。この記事では、新規プロダクトを立ち上げていくなかで、特に悩みが多かった話を書いていきます。バクラクの開発に

civitaspo 2022/12/25

願い…っ!!!!

リンク

ZOZO開発組織の2022年の振り返りと現状

株式会社ZOZO 技術本部本部長兼 VPoEの @sonots です。この記事は﹁ZOZO Advent Calendar 2022﹂のカレンダー1の最終回︵25日目︶です。振り返ると2022年は、昨年度の記事でも最後に﹁会社の統合、そして BizDevOps へ﹂と掲げているようにビジネス部門と開発部門が融合しやすい下地となる組織を作るべく邁進した1年だったように感じます。私個人としても、2022年3月に執行役員(前ZOZOテクノロジーズ社長)の久保田が退任し、VPoEとしてエンジニア部門統括の役割を引き継いだ大きな変化のあった1年でした。この記事では、ZOZOで私と組織がこの一年、組織面で取り組んできたものをいくつか取り上げたいと思います。プロダクト面の進歩については﹁ZOZO ファッションテックハイライト 2022﹂の記事にまとまっていますので、そちらも合わせてご覧ください。

civitaspo 2022/12/25

あと2年でReplace完了…!!!!

リンク

GraphQL で REST API を作る - 技術的な挑戦と、それを支える文化の話 - LayerX エンジニアブログ

バクラク事業部の Product Enabling Team でソフトウェアエンジニアをしている @izumin5210 です。この記事は LayerXアドベントカレンダー(概念) の54日目の記事です。バクラクのリソースを提供する REST API を開発するにあたり、その基盤を GraphQL をベースに実装する、ということをしました。なかなかにチャレンジングな選定であり、これを入社してすぐ作っているという背景も含めておもしろい話だと思うので、技術的な話と文化的な話をあわせて紹介させてください。﹁GraphQL で REST API を作る﹂とは？まず﹁GraphQL で REST API を作る﹂というのが見慣れない文字列なのではないでしょうか？前提を揃えるために目指す形を明確にしておくと、だいたい以下のようなものです。外から見た API は REST に従っており、H

civitaspo 2022/12/21

リンク

GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ

この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した

civitaspo 2022/12/21

Amazon EventbridgeでCloud Pub/SubのPush Subscriptionを実現する話を書きました！めっちゃ便利！

リンク

LayerX、最先端のプライバシー保護技術Anonify（アノニファイ）によるパーソナルデータ活用ソリューションの正式提供を開始

金融や医療、行政等の領域で、Privacy Techによる組織や企業を横断したパーソナルデータの利活用や流通を促進経済活動のデジタル化を推進する株式会社LayerXは、個人情報保護とデータ利活用の両立を実現する最先端のプライバシー保護技術﹁Anonify︵アノニファイ︶﹂を用いたパーソナルデータ活用ソリューションの正式提供を開始します。 LayerXは創業期から研究開発部門︵旧LayerX Labs︶を設置し、セキュリティ・プライバシー保護技術の研究開発や実証実験等の取り組みを進めてきました。今般、Privacy Tech事業に本格参入し、これまでプライバシーの懸念からパーソナルデータ活用が進みづらかった金融や医療、行政等を始めとする様々な領域において、高度なデータ利活用やデータ流通の促進に向けた取り組みを加速していきます。 ■ 背景昨今、位置情報やヘルスケアデータ、決済情報をはじめとす

civitaspo 2022/06/21

リンク

ホラクラシー運用とそれを支えるグループ同期

Ubie Discoveryの @itkqです。 Ubie Discoveryではホラクラシー組織を採用しています。ホラクラシーの概略や採用した経緯は以下の記事を参照してください。この記事では、実際のホラクラシーの運用と工夫について紹介します。 Holaspirit Ubie Discoveryでは、ホラクラシー運用のためHolaspiritというSaaSを利用しています。GoogleをプロバイダとしたSAML SSOを有効化しています。基本機能は以下のとおりです。サークルやロールの管理タスクやプロジェクトの管理会議体︵タクティカルミーティング・ガバナンスミーティング︶の実施と進行 Holaspiritを活用した工夫基本機能の利用だけでなく、他に工夫している点があります。会議体をGoogleカレンダーで設定し、サークルまたはロールメンバーを招待するホラクラシーでは、ロールを

civitaspo 2022/02/16

リンク

GitHubの運用を「会社」にしていく話

Ubie DiscoveryでSREなどをしている@itkqです。 UbieではGitホスティングにgithub.comを使っています。プロダクト開発に必要なprivateなコードベースはもちろん、OSSや就業規則といったドキュメントをpublicにホストしたりもしています。また、この記事を書いている時点で、メインのOrganizationのメンバーは121名です。自分が入社したのは一年前︵2021年1月︶で、まだ情報システム専任の人がいませんでした。それから今に至るまで、GitHubの運用を﹁会社﹂にしていく話を書きます。一年前のGitHubの運用当時、UbieのOrganizationに所属していた人数は、業務委託含め80〜90名ぐらいで、Businessプランを利用していました。私はSREとして入社しましたが、情報システム専任の人がおらず、SREをはじめとする何名かのメンバーが

civitaspo 2022/02/05

リンク

ZOZOからUbie Discoveryに転職しました｜civitaspo

2021年12月をもってZOZOを退職してUbie Discoveryに転職しました。この記事では転職に至る意思決定や入社後の感想を書きます。自己紹介こんにちは。中山貴博といいます。インターネット上では@civitaspoというIDで活動しています。職種的にはエンジニアで、技術領域的にはDE︵データエンジニアリング︶やMLOps、SREを主戦場にして戦ってきました。DeNA -> Gunosy -> ZOZOと歩んできて、Ubie Discoveryで4社目です。Ubie DiscoveryではSREやDE、Product Securityを戦場にして戦っていきます。福岡在住のリモートワーカーで、二児の父でもあります。 ZOZOでの思い出ZOZOには2020年6月に入社し1年半在籍していました。ZOZOで目標としていたのは﹁キャリアの方向をマネジメント職からスペシャリスト型の技術職方面へ

civitaspo 2022/01/27

リンク

TechCrunch

To give AI-focused women academics and others their well-deserved — and overdue — time in the spotlight, TechCrunch is launching a series of interviews focusing on remarkable women who’ve contr

civitaspo 2022/01/26

リンク

Ubie Discovery における組織開発をソフトウェア開発的に理解する

TL;DR 組織開発の中でも特に組織構造を最適にするという点に注目する変化が早いスタートアップ企業では、問題に対する解像度が高く課題感を感じている人が組織構造を変更できる仕組みがあると不確実性の変化への対応力が高まる Ubie Discovery での組織開発は、組織をコードベースに見立てて PR を送りそれを反映することで改善していくものと考えると理解しやすい Ubie Discovery ではみんな（これは正確には全員ではないので後で説明する）プロダクト開発もやるし組織開発もやると聞くけど、組織開発というのは何をどうやっているか具体的にイメージが湧かない、という話をカジュアル面談などでよくされる。仮に自分が社外の人だったとしたらという観点で Web 上で情報を調べてみると、概念と大枠を理解できる記事として Holacracy の記事 https://note.com/ubie/n/

civitaspo 2022/01/04

リンク

2021年 Ubieでやったこと(採用,型化,オンボーディング,組織の色々)｜sonopy@Ubie

こんにちは、Ubie Discovery の sonopy です。社のエンジニア達が2021年を振り返るブログを書いていていいなと思ったので自分も書いてみる。本当はほかに仕事で書かないといけないnoteがあり自分を振り返っている場合ではないが、試験前に部屋を掃除したい欲求に抗えないタイプのダメ人間なのですみません。自分の記録目的で書くが、Ubieの組織に興味がある人などは少しイメージが湧いて良いかもしれない。 Ubie DiscoveryはOKRを活動の軸として四半期単位で動いているので、一年間のOKRを見ながら振り返った。というかOKRを見ないと何も思い出せなかった。なお、多少なり携わったことを並べたが、全ての仕事はチームでやっており自分だけの力でやったことなど一つもないし、個人的な成果を主張する目的で書いたものではないことを申し添えておきたい。まずは1〜3月から。1〜3月のテ

civitaspo 2022/01/02

リンク

2022年1月からUbie DiscoveryにBizdevとして入社します！🚀（転職エントリ）｜廣川豪太｜note

What is it 2018年から約4年新卒からお世話になったVOYAGE GROUP︵現 CARTA HOLDINGS︶を卒業し、2022年1月よりUbie DiscoveryでBizdevとして挑戦することに至った自分の意思決定のWhyを発信しようと思い、書いています。また、自分の文章を読んで少しでもUbie Discoveryに興味を持ってくれた方がいたら、是非ご連絡ください。壮大なビジョン・ミッションを実現する仲間を募集しています！！ありがとう、VOYAGE。ありがとう、fluct。新卒でVOYAGEに入社して、fluctへの配属希望が叶い、チームで事業をドライブさせた経験は本当に貴重な時間でした。全てが宝物です。退職するまでの約1年間は株式会社fluctのアプリグロース本部長として、SSP for Appの売上最大化を推進していました。最も思い出に残っている仕事としては