ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ
UUIDs are often used as database table primary keys. They are easy to generate, easy to share between distributed systems and guarantee uniqueness. Considering the size of UUID it is questionable if it is a right choice, but often it is not up to us to decide. This article does not focus on "if UUID is the right format for a key", but how to use UUID as a primary key with PostgreSQL efficiently. P
はじめに フロントエンドもバックエンドもTypescriptで書きたい！ということで、T3 Stack（T3スタック）について調べてみました。 T3 Stackを利用したプロジェクトを作成するためのCLIツールcreate-t3-appが用意されており、簡単に雛形プロジェクトが作れるため、実際に使ってみました。 この記事は以下の内容をメインに紹介します。 create-t3-appの環境構築手順 雛形プロジェクトの解説（特にtRPCを用いたAPIの呼び出し方法について） T3 Stackとは T3 Stackとはsimplicity（簡潔さ）、modularity（モジュール性）、full-stack type safety（フルスタックの型安全）を追求した思想に焦点を当てています。 そしてそれらを実現するために以下6つの技術スタックが採用されています。 ✅ Next.js ✅ tRPC
PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
公開日 2024/06/25更新日 2024/07/01モダンな開発環境のBtoB SaaSアーキテクチャ特集 技術選定のポイントと今後の展望 ご好評頂いているアーキテクチャ特集の第三弾となる今回は、BtoB SaaSを提供する企業10社にご協力頂き、技術選定のこだわりや今後の展望をご寄稿いただきました。アーキテクチャを通して、各社の事業特性や設計思想にも触れられる内容となっております。※ご紹介は企業名のアルファベット順となっております 株式会社あしたのチーム あしたのチームは「誰もが "ワクワク" 働ける世界を創る」をビジョンに掲げ、人事評価制度の構築・運用・クラウド化で "人と組織の成長" を支援しています。今回は、2024年4月にリリースされた同社の新サービス：パフォーマンスマネジメントプラットフォーム『Cateras™』のアーキテクチャについてご説明します。 アーキテクチャ選択の背
背景 こんにちは！Hanoi Dev Centerでバックエンドエンジニアをしているminhquangです。この記事では、私がAI事業本部のある新規プロダクト開発に参画した際に経験したパフォーマンスチューニングについて話したいと思います。 皆さんはサービスのローンチ(サービスを世の中に初めて出すリリース)をやったことがありますか。サービスローンチするときに、リクエストのスパイクや、ユーザー数の増加によるサーバー負荷増加など、様々な未知な課題が存在します。 私のチームでは数百万人の利用が見込まれるサービスにおいて、18000RPSを実現するべく負荷試験とパフォーマンスチューニングを実施しました。 本記事では、上記のサービス要件を満たすために私たちが取り組んだ負荷試験やパフォーマンスチューニングについて説明しつつ、これらの経験から得られた学びを共有したいと思います。 前提 技術スタック サーバ
データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的にする UNC5537 | Google Cloud 公式ブログ
※この投稿は米国時間 2024 年 6 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめに Mandiant は、インシデント対応業務と脅威インテリジェンス収集の過程で、データ窃盗と恐喝を目的として Snowflake の顧客データベース インスタンスを標的とする脅威キャンペーンを特定しました。Snowflake は、大量の構造化データと非構造化データの保存と分析に使用されるマルチクラウド データ ウェアハウス プラットフォームです。Mandiant は、この活動クラスタを UNC5537 として追跡しています。UNC5537 は、Snowflake の顧客環境から大量のレコードを盗んだ疑いのある、金銭目的の脅威アクターです。UNC5537 は、盗んだ顧客の認証情報を利用して Snowflake の顧客インスタンスを体系的に侵害し、サイバー犯罪フォー
【セッションレポート】Amazon Aurora Limitless Database 内部アーキテクチャ詳解 〜 スケーラビリティと高可用性の秘密 〜（AWS-40） #AWSSummit | DevelopersIO
【セッションレポート】Amazon Aurora Limitless Database 内部アーキテクチャ詳解 〜 スケーラビリティと高可用性の秘密 〜（AWS-40） #AWSSummit Amazon Aurora というマネージドデータベースサービスの裏側にかなりに深く踏み込んで解説されます。DB プロフェッショナルの熱量を強く感じる、激アツセッションでした。 コーヒーが好きな emi です。 本記事は 2024 年 6 月 20 - 21 日の 2 日間開催された AWS Summit Japan 2024 のセッションレポートとなります。 オンデマンド配信の動画リンクと資料のダウンロードは以下です。 動画の視聴と資料のダウンロードには AWS Summit Japan のマイページのログインが必要です。 オンデマンド配信リンク - Amazon Aurora Limitless
Microsoft Defenderが「このコンテンツは利用できなくなりました」と書かれたテキストファイルを「重大な脅威」と誤検知して削除してしまうと判明
WindowsにはMicrosoftが開発したアンチウイルスソフトウェア「Microsoft Defender」が搭載されており、一般ユーザーであればサードパーティー製のセキュリティスイートを入れずとも強力なウイルス対策が可能とされています。しかし、このMicrosoft Defenderに特定のテキストファイルを重大な脅威と見なしてしまうバグが発見されました。 Microsoft Defender flags text file containing ‘This content is no longer available.’ as a severe threat | Tom's Hardware https://www.tomshardware.com/software/antivirus/microsoft-defender-flags-text-file-containing-th
自然言語による説明でSQL文からDBアプリの生成まで実現する「Oracle APEX AI Assistant」発表
オラクルは、自然言語による質問からSQLクエリを生成したり、自然言語で求める機能を説明することでアプリケーションの生成まで実現する「Oracle APEX AI Assistant」（以下、APEX AI Assitant）を発表しました。 APEX AI Assistantは同社のローコード開発ツールであるOracle APEXの機能として提供されます。Orale APEXはOracle DatabaseはOracle Autonomous Databaseなどを含む同社のOracle Databaseクラウドサービスにおいて無償で利用可能です。 このAPEX AI Assistantを含むOracle APEXの新バージョンは今日から利用可能。 自然言語からSQL文を生成 Oracle APEXでデータベースアプリケーションを開発する場合、まずデータモデルを設定し、デザイナーで画面を作
【サーベイ論文まとめ】RAG(Retrieval-Augmented Generation) - Qiita
フリーBGMサイト紹介 - 一般社団法人フリーBGM協会
フリーBGMサイト紹介 当協会の情報提供にご賛同いただいた作曲家様、およびサイトを紹介しています。 下記の「利用条件」では、各サイトのライセンスページのリンクと、よく問い合わせがある利用条件の項目をまとめています。 楽曲の使途、利用条件はこれに限りませんので、 ご利用の前に必ず各サイトのライセンスをご確認ください。 なお、当協会への情報提供に賛同いただき本ページで紹介しているフリーBGM配布サイト、 およびフリーBGM作曲家の方は、将来的に利用者向けライセンスの内容が変更されても過去の利用者には影響ないことを表明いただいております。 ※ YouTube上で使用してもアラート（申し立て）が 発生しない管理がされています。 サイト名 利用条件 YouTube保護 ※ 放送・配信・広告・ ゲーム・教材などでの利用 再配布 クレジット表記 商用利用 歌唱・演奏 AI学習への利用 注意事項 BGMe
Cloud SQL for MySQL 5.7 のデータを Cloud SQL for MySQL 8.x へ DMS を利用して移行してみた - VISASQ Dev Blog
SummaryMost visual programming environments fail to get any usage. Why? They try to replace code syntax and business logic but developers never try to visualize that. Instead, developers visualize state transitions, memory layouts, or network requests. In my opinion, those working on visual programming would be more likely to succeed if they started with aspects of software that developers already
SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) | Amazon Web Services
Amazon Web Services ブログ SaaS 向けリレーショナルデータベースのスケーリング (Part 1: 一般的なスケーリングパターン) ビジネスが成長するにつれて、SaaS (Software as a Service) プロバイダーが直面する課題の 1 つは、テナントのエクスペリエンスをどのように維持するかです。これには、テナントベースが拡大するにつれて、許容できるパフォーマンスとレスポンスタイムを確保することが含まれます。Amazon Relational Database Service (Amazon RDS) や Amazon Aurora などのリレーショナルデータベースは、一般的に SaaS プロバイダーによって使用されています。ビジネスが成長するにつれて、データベースのスケーリング方法も決定する必要があります。 SaaS ビルダーとしての課題は、SaaS
The dark web is a part of the internet that lets people hide their identity and location from other people and from law enforcement. As a result, the dark web can be used to sell stolen personal info. How can you access the dark web? To access the dark web, you can’t use Google Search or browsers, such as Chrome or Safari. Instead, you need to use software designed specifically for this purpose, s
Aurora 3.04.2 での DDL の予期しない挙動と Rails での対策 - freee Developers Hub
ZOZOのSREが行くAWS Summit Japan 2024参加レポート - ZOZO TECH BLOG
こんにちは。SRE部プラットフォームSREブロックの高塚です。 6月20日、21日の2日間に渡って幕張メッセで開催されたAWS Summit Japanに、SRE部から10名以上のエンジニアが参加しました。この記事では熱気あふれる会場の様子と面白かったセッションについてご紹介します！ AWS Summit Japanとは 会場の様子 セッションレポート おわりに AWS Summit Japanとは www.youtube.com AWS Summit Japanは延べ3万人以上が参加する日本最大の「AWSを学ぶイベント」です。今年は昨年に引き続き幕張メッセで2日間にわたり開催されました。ライブ配信も行われたほか、2024年7月5日まではオンデマンド配信を視聴できます。 aws.amazon.com ちなみに2023年と2019年以前はAWS Summit Tokyo、2020年から202
こんにちは！クライアント開発チームの安野です。 クライアント開発チームでは、クライアントポータルという to B 向けのサービス開発を担当しており、私はそこでフロントエンド・バックエンドの開発に携わっています。 クライアントポータルの内容はこちらからも確認できるので、ご興味があれば是非ご一読いただけますと幸いです！ square.visasq.com そんなクライアント開発チームですが、この度、 Dependabot というライブラリの脆弱性管理ツールを導入しました。 今回は導入にあたって調査した Dependabot について共有できればと思います。 はじめに ソフトウェア開発において、外部ライブラリの利用はもはや常態化しています。 豊富な機能や開発効率の向上といったメリットから、多くのプロダクトにライブラリが活用されています。 しかし、外部ライブラリにも脆弱性が含まれる可能性があり、発
Oliver Grubin Sr. Staff Software Engineer, Security Slack uses cookies to track session states for users on slack.com and the Slack Desktop app. The ever-present cookie banners have made cookies mainstream, but as a quick refresher, cookies are a little piece of client-side state associated with a website that is sent up to the web server on every request. Websites use this piece of information to
freee PSIRTの風景：Dependabot alertの調査 - freee Developers Hub
こんにちは、PSIRTのWaTTsonです。 昨年の夏頃に、「Dependabot alertをSlackに通知して、トリアージ運用に役立てる仕組みを作ってみた」という記事を投稿しました： developers.freee.co.jp ここでは、新しく報告されたDependabot alertをSlackに通知し、Jiraチケットを作成してPSIRTメンバーをアサインし、トリアージを行って各開発チームのチャンネルにメッセージを送信する、という仕組みについて説明しました。 今回は、この中でPSIRTメンバーがトリアージをする時にどういう風なことをしているのかを書いてみたいと思います。 過去に私自身にアサインされた事例の中から1つ、具体例を挙げて見てみましょう。執筆に時間をかけてしまったせいでちょっと古い例ですが、2024年3月頃アラートが上がったにRDoc RCE vulnerability
セキュリティカンファレンス「AWS re:Inforce 2024」フィラデルフィア現地参加レポート - ZOZO TECH BLOG
はじめに こんにちは、CISO部の兵藤です。日々ZOZOの安全のためにSOC対応を行なっています。普段のSOCの取り組みについては以下「フィッシングハントの始め方」等をご参照ください。 techblog.zozo.com 6/10〜6/12にアメリカのフィラデルフィアで開催されたAWS re:Inforce 2024に参加してきました。この記事ではその参加レポートをお届けします。 フィラデルフィア現地会場前の様子 目次 はじめに 目次 AWS re:Inforce 2024とは セッションの紹介 Builder's Session TDR355 Detecting ransomware and suspicious activity in Amazon RDS TDR352 How to automate containment and forensics for Amazon EC2 B
オープンソースツール「node-ip」の軽度な脆弱性が「緊急対応を要する重大な脆弱性」として報告され連絡が殺到し開発者がリポジトリを一時アーカイブ
Node.js向けに開発されているIPアドレス管理パッケージ「node-ip」のGitHubリポジトリが一時的にアーカイブ状態になりました。node-ipの開発者であるFedor Indutny氏は、アーカイブの理由について「誇張された脆弱(ぜいじゃく)性報告によって問い合わせが多発したため」と説明しています。 Dev rejects CVE severity, makes his GitHub repo read-only https://www.bleepingcomputer.com/news/security/dev-rejects-cve-severity-makes-his-github-repo-read-only/ node-ipはNode.js向けのIPアドレス管理パッケージです。node-ipのパッケージ情報を確認すると、1週間に1700万回以上ダウンロードされる人気パ
← back to blog Mot June 24, 2024 From dotenv to dotenvx: Next Generation Config Management The day after July 4th 🇺🇸, I wrote dotenv’s first commit and released version 0.0.1 on npm. It looked like this. In the 11 years since, it’s become one of the most depended-upon packages worldwide 🌎 – adjacent ubiquitous software like TypeScript and ESLint. It’s an example of “big things have small beginn
前編の振りかえり 前編ではOSSのハニーポットであるT-PotをAWS、Azure、Google Cloudの3大クラウドサービスの日米両リージョンにデプロイしました。後編となる本記事ではT-Potを24時間程動かした結果をご紹介していきます。 T-Potの実行結果について 各クラウドサービスの日米両リージョンで収集したデータをT-Potのダッシュボードに表示した様子のスクリーンショットを以下に掲載します。なお表示期間はデータ収集を行った2024年6月12日17時から翌日の2024年6月13日17時までの24時間に揃えています。 24時間という比較的短時間かつ各リージョンで1インスタンスのみでしかデータ収集していないため統計学的な考察というよりは一参考情報としてお読み頂けますと幸いです。 図1 AWS東京リージョン（ap-northeast-1） 図2 AWS米国東部リージョン（us-ea
A Git story: Not so fun this time | Brachiosoft Blog
Linus Torvalds once wrote in a book that he created Linux just for fun, but it ended up sparking a revolution. Git, his second major creation, also an accidental revolution. It’s now a standard tool for software engineers, but its origin story wasn’t so much fun this time, at least for Linus. Linus doesn’t scale 1998 was a big year for Linux. Major companies like Sun, IBM, and Oracle started getti
Why Are Queries with Many IN Values More Expensive After Upgrading to MySQL 8.x?
Some of our Percona Support customers report performance degradation after a major MySQL upgrade, and there can be many different reasons for this. These days, the most common major upgrade is from MySQL 5.7 (which recently reached EOL) to 8.0, and I am going to emphasize one important case that affects many database instances. Range […]
Techouse社内勉強会の内容を紹介します(1) データベース<ACID編> - Techouse Developers Blog
Techouseの「エンジニア基礎勉強会」とは Techouse では「基礎勉強会」と称して2週間に1回、わたしが OS・ネットワーク・データベース・ハードウェア・セキュリティ・システムアーキテクチャなどをお話する勉強会を開催しています。 講師は私ひとり、資料を準備するのも私ひとり、動画を収録して YouTube Live で社内向けに配信する作業も私ひとりでやってます。 参加は任意ですが、社内のメンバー (社員・インターン生・業務委託でご参画いただいている方) の多くの方が参加してくれています。先日の RubyKaigi 2024 に参加してくれたメンバーもほとんどがこの勉強会に参加し、基礎的な知識をもった上でセッションへ臨んでくれました。 開催履歴 これまでの開催履歴はこんな具合です。 見ていただくとわかる通り、ほんとうに基礎的な内容を1個ずつやっているということがわかるかと思います。
「Lunar Lake」Deep Diveレポート - 【Part 1】P-Core＆E-CoreとPackageについて
レポート 「Lunar Lake」Deep Diveレポート - 【Part 1】P-Core＆E-CoreとPackageについて 既報の通り、IntelはLunar Lakeこと次世代Core Ultraの詳細をCOMPUTEXのタイミングで公開した。こちらについて、Intelの資料を基にもう少し掘り下げてご紹介したいと思う。 Package 先の記事にも、ASUSのZenBookの基板に搭載されたLunar Lakeの写真があったが、これの別スナップ(撮影は同じく笠原光氏)をもう少し拡大したのがこちら(Photo01)。パッケージ全体はかなり正方形に近いが、微妙に縦長である(幅27mm×高27.5mm)。Lunar LakeもMeteor Lake同様にFoverosを利用したChiplet構成であるが、Meteor Lakeと異なりLPDDR5Xもパッケージに積層する関係で高さが合
データカタログにConnected SheetsやLooker Studioの情報を取り込んでレポートのデータソースを追跡する - LayerX エンジニアブログ
2024年6月22日(土)に第一回の「Hono Conference」を東京で行いました。Honoに焦点当てたトークのみで構成されるイベントとしては初の試みです。ですので、"Our first step"という副題をつけました。100人が参加し、イベントは大成功に終わりました。 この記事ではHono Conferenceについてレポートしたいと思います。 会場 会場はdocomo R&D OPEN LAB ODAIBAさんにお借りました。開放感がありとても素敵な会場でした。ありがとうございます！ 参加者 以下のページで参加者を募りました。 定員90人のところ、140人の希望者がいました。人気のほどが伺えます。当日は、発表者も合わせて100人が参加しました。 Honoを以前に使ったことがあるか？という質問にほぼ全ての人が手を挙げていたのが印象的でした。 トーク イベントは午後1時から4時30
BigQueryを補完する技術: DuckDBとDataflowでのデータ処理入門 - yasuhisa's blog
基幹システムのクラウド移行を4カ月、自前で 日立建機
[レポート]Amazon Aurora の技術とイノベーションDeep dive(AWS-39) #AWSSummit | DevelopersIO
こんにちは。たかやまです。 現在開催中のAWS Summit Japan 2024で行われた「Amazon Aurora の技術とイノベーションDeep dive」のレポートをお伝えします。 動画/資料も公開されましたので、ぜひご覧ください！ Amazon Aurora の技術とイノベーションDeep dive | 動画 Amazon Aurora の技術とイノベーションDeep dive | 資料 セッション概要 タイトル : Amazon Aurora の技術とイノベーションDeep dive Amazon Aurora は、ストレージとコンピューティングを分離する革新的なアーキテクチャと、グローバル データベースや低レイテンシーのリードレプリカなどの高度な機能を備えており、リレーショナル データベースのあり方を再構築します。 Aurora は、オープンソースの MySQL および P
black suit details
http://weg7sdx54bevnvulapqu6bpzwztryeflq3s23tegbmnhkbpqz637f2yd.onion Our team gained access to the Kadokawa network almost a month ago. It took some time, because of the language, to figure out that Kadokawa subsidiaries' networks were connected to each other and to get through all the mess Kadokawa's IT department made there. We have discovered that Kadokawa networks architecture was not organis
Exploring biphasic programming: a new approach in language design
I’ve noticed a small but interesting trend in the programming languages space. I’m not sure how novel it is, but this pattern, which I’ll refer to as “biphasic programming,” is characterized by languages and frameworks that enable identical syntax to express computations executed in two distinct phases or environments while maintaining consistent behavior (i.e., semantics) across phases. These pha
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュアなAWS環境の設計についての解説【2024年版】 - サーバーワークスエンジニアブログ
PostgreSQL and UUID as primary key
100億件ものパスワード情報がインターネット上で流出、「史上最大のパスワード漏えい」との指摘も
【T3 Stack】フロントエンド・バックエンドTypescript開発入門
モダンな開発環境のBtoB SaaSアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
大規模サービスのローンチに向け、パフォーマンスチューニングした話 #go #aws
Oracle Cloud - クラウド戦国時代のゲームメーカー｜ミック
We need visual programming. No, not like that.
What's the dark web? - Google One Help
Dependabotを導入してライブラリの脆弱性対策を自動化する - VISASQ Dev Blog
Catching Compromised Cookies - Slack Engineering
From dotenv to dotenvx: Next Generation Config Management
3大クラウド×日米両リージョンでハニーポットを動かしてみる【後編】 | gihyo.jp
Hono Conference 2024 - Our first step
「AIを追い風に」 クラウド市場のゲームチェンジを狙うオラクルの戦略