[B! json] kenzy_nのブックマーク

DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog

tl;dr はじめに DuckDB とは DuckDB では何が読めるのか使ってみる S3 上のJSON を読んでみるリレーショナルデータベース他ツールではなく DuckDB を使うメリットしくじりポイント︵特にリリースされたばかりの︶バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがちスレッドの調整が必要な場合も Redshift には未対応終わりに付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよただし、細かい落とし穴は色々あるので気をつけてねはじめに2023年4月にデータエンジニアとして入社したmin︵@not_rogue︶です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が

kenzy_n 2024/05/20

リンク

Feedly + ChatGPTで、毎朝自分専用のポッドキャストを自動生成する仕組みを作った｜鈴木慎吾 / TSUMIKI INC.

毎朝、デザイン系の英語記事を10件ほどおすすめしてくれるSlackボットです。このボットは現在も問題なく稼働し続けていますが、毎朝のニュースは文字で読むよりも音声として聞いたほうが負担が少なく続けられそうです。そこで、このSlackボットを拡張して、毎朝デザインニュースのポッドキャストを自動生成する仕組みを作ることにしました。成果物はじめに成果物について。完成したポッドキャストは毎朝SpotifyとApple Podcastで配信しています。おおまかな処理の流れ開発前に想定した処理の流れは以下の通りです。毎朝ポッドキャストが自動で配信される理想的なフロー自分はコンテンツ制作者ではなく、あくまでリスナーというスタンスを取りたいため、ワークフローに自分が介在しない完全自動化が理想です。ところが、Sound Cloud APIの利用に必要なアプリケーション登録の受付が現在停止しているこ

kenzy_n 2024/01/18

OpenAIで要約作成と音声ファイル化を行いPodcastへ流し込むまでを容易に自動化出来る時代がやってきたか。

リンク

[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出 | DevelopersIO

[電話予約の無人化]Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(日付,時間など)を抽出はじめに Amazon Connect + GPT-4 JSONモード + Whisperで、1回の発話から予約情報(電話番号,日時,名前,人数)を正しく抽出できるか検証しました。コールセンターでは、有人対応から無人対応に変更したいニーズが増えているように思います。電話予約の無人対応を想定し、1回の発話で、下記の5つの予約情報を抽出できるか確認します。お名前電話番号予約日予約時間人数発話で予約情報を抽出する方法として、GPT-4 Turbo のJSONモードを利用します。 JSONモードの詳細は、下記を参照ください。例えば、﹁名前はクラスメソッドで、電話番号は09011111111。来週の火曜日の19時に4名で予約できます

kenzy_n 2023/11/21

自動化の礎

リンク

Dev Containerを使ってステップバイステップで作るPythonアプリケーション開発環境 - 電通総研テックブログ

みなさんこんにちは、電通国際情報サービス︵ISID︶Xイノベーション本部ソフトウェアデザインセンターの佐藤太一です。この記事では、VS CodeのDev Containerを使ってOSに依存しないPythonの開発環境を構築する方法をステップバイステップで丁寧に説明します。 VS Codeの利用経験があり、またPythonによるアプリケーション開発に興味のある方を想定読者として記述しています。Pythonの初心者から中級者向けを意識して書いていますので、意図して冗長な説明をしています。すでにPythonによるアプリケーション開発に十分に詳しい方は、まずはまとめだけ読んでみてください。私自身それほどPythonのエコシステムに詳しいわけではありませんので、知識の抜け漏れは恐らくあるでしょう。そういった事に気が付いたら、XなどのSNSでこの記事のURLを付けてコメントをしていただけると幸い

kenzy_n 2023/05/02

リンク

Google Cloudの稼働時間チェックを使ったお手軽死活監視の紹介 - NTT Communications Engineers' Blog

はじめに皆様こんにちは。イノベーションセンター SkyWay DevOps プロジェクト所属の @sublimer です。私達のチームは、1月31日に新しいSkyWayをリリースしました。 skyway.ntt.com 新しいSkyWayでは、公式サイトや、アプリケーションを管理するコンソールも全く新しいものとなっています。今回は、新しいSkyWayの公式サイトやコンソールの死活監視に利用している、Google Cloudの﹁稼働時間チェック﹂機能についてご紹介します。稼働時間チェックとは稼働時間チェックは、Google CloudのCloud Monitoringが提供している機能の1つです。予め設定したエンドポイントに対して、HTTP・HTTPS・TCPのいずれかのプロトコルで定期的にリクエストを送り、そのレスポンスがアラート条件を満たした場合に通知してくれるサービスです。

kenzy_n 2023/03/30

死活監視のひとつの方策

リンク

パイプライン指向JSON処理プログラミング言語 jq - 檜山正幸のキマイラ飼育記 (はてなBlog)

jq︵https://stedolan.github.io/jq/︶の紹介では、﹁JSON処理のワンライナー︿一行野郎﹀としてめちゃくちゃ便利！﹂とアピールするのが定番です。もちろんそれは本当で、﹁めちゃくちゃ便利！﹂です。が、実はjqは、ワンライナー記述にとどまらない、かなり本格的なプログラミング言語です。 JSON処理のためのDSL︿Domain Specific Language | 領域特化言語﹀なので、汎用言語ではありません。しかし、汎用言語が備えている言語機能の一部︵関数定義、モジュールシステムなど︶をjqも持っています。またjqは、独特で楽しいプログラミング・パラダイム -- “パイプライン指向”に基づいて設計されています。この記事では、ワンライナーを超えたjqの使い方と、プログラミング言語としてのjqの特徴を紹介します。長い記事になってしまったので、一

kenzy_n 2022/12/05

リンク

AWS CodeBuildでRidgepoleをdry-runで動かしてMigration予定のDDLをGithubのPullRequestコメントに追記する - ANDPAD Tech Blog

ANDPAD バックエンド担当の原田(@tomtwinkle)です。普段はGolangでモリモリコードを書いていますがDevOps関連の記事ばかり書いてます。お察しの通りなんですが、今回もDevOps関連の記事だったりします。やり方だけ知りたい人は Motivation の部分は読み飛ばして貰っても問題ないです。 Motivation AWS CodeBuild側の準備 GithubのPrivate Access Tokenを発行する AWS Systems ManagerのParameter StoreにDBとGithubへのアクセス情報を記述 CodeBuildを作成 Github Repository側の用意 Buildspecの記載動作結果謝辞さいごに Motivation 私が担当しているANDPADボードではRDS(MySQL)を利用しています。そして、DBのsc

kenzy_n 2022/10/13

リンク

第734回　UbuntuでSBOM（ソフトウェア部品表）を作る方法 | gihyo.jp

「SBOM（Software Bill Of Materials：ソフトウェア部品表）」という概念があります。これはあるソフトウェアを構築する上で利用しているライブラリの一覧をまとめたものです。また、システムにインストールされているソフトウェア一覧を示す場合もあります。今回は手元のUbuntuにインストールされているソフトウェア一覧を簡易的にまとめる方法を紹介しましょう。 SBOMの必要性昨今のソフトウェアは多種多様なライブラリに依存しながら構築されています。太古のC言語のプログラムなら、シンプルなものならlibcだけ、そこそこ複雑なものでも2、3個のライブラリに依存するだけで済むことが大半でした。それが今風のプログラミング言語になると、特定の便利そうなライブラリに依存するだけで、「⁠だったら俺も僕も私もミーも」といくつものライブラリがバンドルされてしまうのです。結果的に広く使われてい

kenzy_n 2022/10/12

リンク

一迅プラスのインフラ構成について - BOOK☆WALKER inside

こんにちは。メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 RubyonRailsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。本記事では株式会社一迅社さまの公式漫画連載サイトであり、ブックウォーカーが開発保守運用を担当している一迅プラスのサービスインフラの概要についてご紹介したいと思います。もしよければ、前記事のニコニコ漫画のインフラ構成についてならびに読書メーターのインフラ構成についてもご覧ください。一迅プラスについて一迅プラスは株式会社一迅社さまが運営する公式漫画連載サービスです。冒頭試し読みから連載まで、2022/06/10現在で150を超える作品が掲載されています。一迅プラスのトップページこの一迅プラスにおいてブックウォーカーは開発保守運用を担当し

kenzy_n 2022/06/20

後は陳腐化しないアップデート対応か

リンク

『プロを目指す人のためのTypeScript入門』読者が最新情報にキャッチアップできる記事

こんにちは。先日発売された﹃プロを目指す人のためのTypeScript入門﹄は、発売日の最新バージョンであるTypeScript 4.6に対応しています。そこで、この記事では読者に向けたアフターサポートとして、本の発売時から現在までに増えた機能や変わったところをご紹介します。現在のTypeScript最新版は4.9です。 TypeScript 4.7での更新公式アナウンス: https://devblogs.microsoft.com/typescript/announcing-typescript-4-7/ Node.js向けES Modulesサポートの追加 TypeScript 4.7最大の話題はこちらです。本書の第1章では、tsconfig.jsonの設定項目について次のように説明しました。現在のところnode16とnodenextには違いがありません。将来のNode.js

kenzy_n 2022/06/12

タイプスクリプトでさ、著述してさ、万人にうけるさ、それこそさ。

リンク

JSONをいい感じに見るCLIを作った

その他OSの方は GitHub のrelease ページからDLすることができます。使い方tvはミニマムな CLI として作ったのでテーブル表示の機能とそれに付随したオプションのみを提供しています。配列になっている JSON をテーブル表示するキーを指定することでそのキーを使ってソートできるいくつかのスタイルでテーブルを表示できる以上が主の機能です。Table表示ユースケースとして JSON が帰ってくる API を想定します。 API の例として jsonplaceholder を利用します。今回は https://jsonplaceholder.typicode.com/users を使います。この API は以下のようなデータが返ってきます。 $ curl -s https://jsonplaceholder.typicode.com/users [

kenzy_n 2021/09/06

リンク

ぼくがかんがえたさいきょうのWasmビルド環境

TL;DR VS Code 前提になってしまいますが、VS Code Remote Containers 拡張最強です、という話。実際にどういう風に作れば良いかは参考リポジトリ作ったので見て下さい。はじめに背景ぼかしのような推論結果を使ってカメラ画像にフィルタを入れる処理を書くとき、今だと選択肢は大きく分けて2つあります。 tfjs を使う Wasm 経由で tfliteやその他ライブラリを使うこの記事では後者の Wasm を使う方に注目して、その開発環境について記載します。先行例 w-okadaさんのリポジトリには複数の Wasm を使った事例が紹介されています。例を挙げるとTFLiteWasm for Google Meet SegmentationやTFLiteWasm for ESPCNなどが Wasm です。これらのビルド環境はどうなっているかというと、Do

kenzy_n 2021/08/10

リンク

Terraformで予防的ガードレールを実装したい！「Terraform-Compliance」のご紹介 | DevelopersIO

Terraformで予防的ガードレールを実装したい！﹁Terraform-Compliance﹂のご紹介7月7日はクラスメソッドの創立記念日です。今日は次々にブログ記事があがってくることでしょう！また、わたくしゴトですが18期からコンサルティング部の部長を務めさせていただくことになりました。﹁あいつ、部長になったらブログ書かなくなったよな﹂と後ろ指さされないように、ブログの書ける部長として頑張っていきたいと思います。ここから AWS が一般的に利用されるようになった昨今最近では単に AWS を使いたいという相談よりも、どうやって AWS 環境をうまく運用するべきか？というご相談が多くなっているように感じます。よくある相談の1つが﹁ガバナンス﹂です。ある程度ユーザーに権限をもたせ自由にリソースを作成できるようにした結果、﹁パブリックアクセスで S3 を公開してました、、﹂

kenzy_n 2021/07/07

リンク

2020年におけるmackerel-plugin-jsonの使い方 - Re:cohalz

この記事は Mackerel Advent Calendar 2020 2日目の記事です。はじめに皆さんはmackerel-plugin-jsonを使っていますか？個人的にはかなり好きなプラグインなのですが、2017年に書かれたMackerel プラグインアドベントカレンダー以外ではあまり解説されていませんでした。 soudai.hatena blog.com この記事よりも後に追加された機能を紹介している記事も見当たらなかったので、今回はそれらに絞って紹介していきます。前回実行したときの結果との差分を投稿する-diffオプション -diff オプションの後に正規表現を書くと、その正規表現にマッチしたメトリックに対して前回の実行時からの差分をMackerelに投稿することができます。アプリケーション内に単調増加するカウンターとその値をJSONで返すエンドポイントを実装しておくことで

kenzy_n 2020/12/02

どんどん便利に

リンク

Mackerel の CLI ツール『mkr』を使ってみる - 継続は力なり

タダです. はてな社の「Mackerel」を業務利用することになりました.使い始めなこともあり画面から設定をいじっていたのですが, CLI ツールである「mkr」の存在を知ったので,導入と監視設定を取得したりしていきます. github.com mkr 導入現状の監視設定を取得するまとめ mkr 導入「mkr」の導入を行ってきます.なお,導入環境は macOS X Catalina です. sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G2021 mackerel.io macOS の場合は brew で完結します. インストールコマンド $ brew tap mackerelio/mackerel-agent $ brew install mkr インストール完了後,バージョンを確認して

kenzy_n 2020/10/16

リンク

Rubyのテストのややこしい失敗を直した話 - まめめも

Ruby の CI 維持業というのはこんな感じという事例紹介。 CIを観察する RubyのCIがときどき次のように失敗していました。 1) Error: TestM17N#test_object_inspect_external: Encoding::CompatibilityError: incompatible character encodings: UTF-8 and UTF-16BE /tmp/ruby/v2/src/trunk-test-random/test/ruby/test_m17n.rb:311:in `encode' /tmp/ruby/v2/src/trunk-test-random/test/ruby/test_m17n.rb:311:in `inspect' /tmp/ruby/v2/src/trunk-test-random/test/ruby/test_m1

kenzy_n 2020/03/24

リンク

JSON Parser with JavaScript | Tan Li Hau

Series: AST JavaScriptAST Understand the grammar Implementing the parser Handling the unexpected input Unexpected token Unexpected end of string Going the extra mile Error code and standard error message A better view of what went wrong Suggestions for error recovery Summary The interview question of the week for this week on Cassidoo's weekly newsletter is, Write a function that takes in a string

kenzy_n 2019/12/14

json

リンク

Renovate ではじめる依存関係更新の自動化

本記事は、リクルートライフスタイルアドベントカレンダー10日目の記事です。リクルートテクノロジーズ兼リクルートライフスタイルのASGチームに所属している渡邉です。最近は新規開発をやっていて、日々プロジェクトの package.json の更新に追われています。本記事ではその更新タスクを大いに助けてくれた Renovate について紹介します。 Renovate とは Renovate はプロジェクトの依存関係 (Dependency) の更新を自動化するツールです。似たようなツールとしては、Dependabot や Greenkeeper があります。プロダクションレベルのプロジェクトでは、明示している Dependency だけでも 20~30 程度あるのではないでしょうか。それらの Dependency は日々更新されており、最新版に追従していくだけでも時間と手間がかかります。Re

kenzy_n 2019/12/10

リンク

一周回って、人間が読み書きする設定ファイルはJSONが良いと思った | フューチャー技術ブログ

最近GoでCLIツールを作っていますが、JSONが良いとなんとなく思っています。続編も公開しました︵追記‥2019年10月2日︶。 CUEを試して見る設定ファイルフォーマット近年、設定ファイルを書くプレーンテキストのフォーマットとしては次のようなものが多いかと思われます。 XML 多くのプログラミング言語において標準ライブラリで扱える︵ただしNode.jsにはない︶ XMLスキーマ、XSLTなどの周辺ツールも揃っているが、記述が冗長になりがちで、敬遠されがち。 ini QtやPythonの標準ライブラリで扱える深い階層や配列を扱うのが苦手 JSON ほとんどのプログラミング言語で標準ライブラリに入っている特にフロントエンドのJavaScriptでは追加のライブラリを利用する必要がなく、速度も早く、gzipすればファイルサイズもかなり小さくなる。T閉じかっこが必要、コメントがつけら

kenzy_n 2019/10/01

リンク

Google Cloud Functionsを利用してSlackからRedmineへのチケット登録を作った

はじめにこんにちは、 GMOアドマーケティング開発本部本部長のクリスです。インフラチームのマネージャーも兼任してます。先日、インフラチームのために、 Google Cloud Functionsを使ってSlackで依頼されたタスクを自動的にRedmineに登録する仕組みを作りました。今回、そちらについて紹介したいと思います。普段マネジメントがメインですが、久しぶりに開発ができてとても楽しかったです。背景最近、プロダクトの増加に連れて、インフラチームへのタスク依頼も増えています。会社ではSlackを使っていますが、コミュニケーションが取りやすい分、インフラへの依頼があちこちのチャンネルに分散されている状態でした。・マネジメント側としては、タスクの依頼状況の全体がみえず、フォロー、調整がしにくい・インフラエンジニア側としては、タスクのチケット登録に追われ、あちこちのチャン

kenzy_n 2019/06/04

リンク

はてなブックマーク

タグ

関連タグで絞り込む (64)

jsonに関するkenzy_nのブックマーク (61)

お知らせ

今週のはてなブックマーク数ランキング（2024年6月第3週）

今週のはてなブックマーク数ランキング（2024年6月第2週）

月間はてなブックマーク数ランキング（2024年5月）

公式Twitter

キーボードショートカット一覧

はてなブックマーク

公式Twitter

はてなのサービス