[B! golang] yujioramaのブックマーク

有効期限を過ぎても消えないインメモリキャッシュの謎 - 私が歌川です

tl;dr キーワードは﹁monotonic clock﹂です。あらすじ Goで以下のようなコードを書いていた*1*2。あるAPIを叩くクライアントで、APIコールに必要なアクセストークンを4時間キャッシュしている。c.getToken() で得られたトークンを使ってAPIコールを行えばよい。 type Client struct { mu sync.RWMutex expiresAt time.Time token string } // トークンのキャッシュがあればキャッシュから返し、なければ更新してから返す func (c *Client) getToken() string { if cachedToken, ok := c.getTokenFromCache(); ok { return cachedToken } return c.refreshToken() } // トー

yujiorama 2023/02/25

SIGSTOPしたり、高負荷で実行キューがまわって来ないときも発生しそう

golang

リンク

GitHub - shikaan/shmux: 🐚 Run multiple scripts from one file. In (almost) any language.

A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?

yujiorama 2022/12/28

DSLで記述したコマンド片を集めてシェルスクリプトとして実行してる

golang

リンク

OPA/Regoによる汎用的なGo言語の静的解析

TL; DR Go言語は様々な静的解析ツールがあるが、独自ルールのチェックなどをするには都度ツールを自作する必要がある 1つのツールでより汎用的なチェックができるように、汎用ポリシー言語のRegoでGo言語のAST（抽象構文木）を検査できるようにした「第一引数に必ずcontext.Contextをとる」というルールをCIでチェックした様子背景 Go言語では様々な静的解析ツールが提供されており、一般的なベストプラクティスが正しく記述されているか？については既存の静的解析ツールを利用することで概ね必要なチェックをすることができます。例えばセキュアなGoのコーディングをするためのツールとして gosec などがあり、自分も愛用させてもらっています。しかし、ソフトウェア開発におけるコーディング上のルールはベストプラクティスによるものだけでなく、そのソフトウェアやチームに依存したルールというのも

yujiorama 2022/09/14

golang

リンク

inforno :: LuaのGo言語実装を公開しました

LuaをGo言語のみで実装した GopherLua を公開しました。詳しくはGithubのREADMEを見ていただくとして、特徴としては以下になります。 Lua5.1ベース 5.1の機能はほぼ実装済み Compiler, VMともに完全にGo言語のみで実装引数の受け渡し以外でのスタック操作が不要で使いやすいAPI なぜ作ろうと思ったかもともとC言語でものを作るときにはLuaを設定ファイルの代わりとして取り入れていました。Goではあまり拡張言語実装がないので、jsonだったりiniだったりを設定ファイルとして使っていましたが、やっぱり微妙にめんどくさい。変数くらい欲しいなあ・・・とか。結局、固い言語だけでモノを作るのは難しく、やわらかさが必要になるポイントがあります。そういうところはまず、﹁設定ファイル﹂として外だしされます。そしてその設定ファイルがどんどん肥大化したり複雑化したりし

yujiorama 2022/08/30

golang

リンク

GoのWasmランタイム上でZigで作ったWasmモジュールを動かす - knqyf263's blog

Zigのコミッタの方から有益なフィードバックを頂いたり、Wasmランタイムのメンテナからコメントしてもらったり、Twitterでプロ開発者に助けてもらったり、と良い話が多かったのでそのへんの話も含めつつメモとして残しておきます。最初に断っておきますがWasmにもZigにも特に詳しくないです。概要実装 GoのWasmランタイム TinyGoのExample ランタイムの初期化関数の実行別の渡し方 Zigの実装 malloc free ptrToString stringToPtr呼び出し側サンプルまとめ概要自分の開発しているOSSでWebAssemblyによるプラグイン機能に対応したのですが*1、Wasmは仕様が小さく関数の引数や戻り値もi32/i64/f32/f64だけで頑張るみたいな世界なので直接ユーザに生のWasm用コードを書いてもらうのは利便性の面で厳しいです。*

yujiorama 2022/08/21

リンク

インフラもバックエンドもフロントエンドも Go で書いてみた

先日 CDK for Terraform がGAになりました。 CDK for Terraform を使うことにより、 TypeScript や Goなどといったプログラミング言語を使って Terraform エコシステムを利用したインフラの定義やプロビジョニングを行うことができます。﹁Go でインフラが書ける﹂と聞き、ふと思ったことがこちらです。というわけで書きました。 (2022/10/27 追記) CI/CD も Goで書いた記事を公開しました。作ったもの Go Go Go 猫の画像をランダムで表示するサンプルアプリです。主な利用技術について簡単に紹介します。利用技術 Go説明不要ですね。 Google 様が作ったプログラミング言語です。 Gin Goの軽量な Web フレームワークです。公式の紹介に﹁パフォーマンスは Martini の最大40倍です﹂と書か

yujiorama 2022/08/14

web
golang

リンク

Goにおける型によってSQLインジェクションを防ぐ方法

はじめに 2022年のセキュリティ・キャンプ全国大会に講師として参加しました。その際に、Goにおける脆弱性への対策はどうなっているのか調べました。この記事では、github.com/google/go-safeweb/safesqlがどのようにSQLインジェクションを防いでるのかについて解説します。なお、@rungさんの文書を多いに参考にしております。また、セキュリティ・キャンプで用いた資料はこちらから閲覧できます。 SQLインジェクションとは？独立行政法人情報処理推進機構︵IPA︶が公開している安全なウェブサイトの作り方を見ると、SQLインジェクションは以下のように説明されています。データベースと連携したウェブアプリケーションの多くは、利用者からの入力情報を基にSQL文︵データベースへの命令文︶を組み立てています。ここで、SQL文の組み立て方法に問題がある場合、攻撃によってデータベ

yujiorama 2022/08/12

リンク

Go 1.19のメモリ周りの更新 | フューチャー技術ブログ

Go 1.19リリース連載の6本目です。 Go 1.19では、いくつかメモリ周りの更新がありました。1つはガベージコレクタ周りのお話と、あとはメモリモデルの更新です。　ライブラリではsync/atomic.Int64など、いくつか型が追加されました。ガベージコレクタガベージコレクタの詳細と調整の仕方についてのドキュメントが追加されました。このドキュメントはスライダーで動作の変化がみられるインタラクティブなドキュメントになっているので、ぜひご覧ください。「GoはJavaと違って、GCの調整ポイントがほとんどなく、最初からトップスピード（オプションの選択の中で相対的に）だよ」みたいに説明されることもありましたが、そういうわけにも行かなくなったというか、ある程度知っておく必要はあるかもしれません。とはいえ、デフォルトでも十分うまくやってくれますし、そもそも即座に終了するユーティリティでは頑

yujiorama 2022/08/12

golang

リンク

Go製ミドルウェアのメモリリークを解決した話 - Mirrativ Tech Blog

インフラ・ストリーミングチームの id:udzura ︵@udzura︶です。今回は、Goミドルウェアのメモリリークを見つけて解決する際に、どのようなプロセスを踏んでいったかを解説します。 Go製のミドルウェアの概要ミラティブでは、Webアプリケーションのみならず、ミドルウェアに相当する部分についても必要なものは内製しています。その中の一つに、社内で﹁Radisha﹂と呼んでいる各種集計とキャッシュなどを行うためのミドルウェアがあります。Radishaは以下のような特徴を備えています。 GET、SET、SETEXなど基本的なRedis互換のコマンドを実装している。そのため、既存のRedisクライアントライブラリから操作が可能である。ランキング集計、一定時間内のアクセス集計などが行えるよう、Redis にない独自のコマンドを実装している。高い可用性を志向しており、オンメモリのデータは

yujiorama 2022/08/03

golang

リンク

GitHub - sclevine/spec: Spec is a simple BDD-style test organizer for Go that does not replace the standard library testing package.

yujiorama 2022/05/05

リンク

Effective Error Handling in Golang

Introducing Earthly Cloud. Consistent, repeatable builds. Advanced caching for speed. Works with any CI. Get 6,000 build min/mth free! Learn more. Introducing Earthly Cloud. Consistent, Fast Builds, Any CI. Get 6,000 build min/mth free! Learn more.

yujiorama 2022/01/09

リンク

よくわかるcontextの使い方

Goの標準パッケージにはcontextパッケージというものが存在します。このパッケージは、net/httpやdatabase/sqlのような現実の事象と対応している何かが存在するようなパッケージではないため、初学者にとっては使い道がわからない、となってしまいがちです。しかしcontextパッケージは、複数のゴールーチンを跨いだ処理を実装する際には非常に強力な力を発揮する、とても便利なパッケージなのです。この本では、﹁contextとは何か？﹂というところから﹁どのように使えばいいのかわかる﹂ところまでたどり着けるように、Goのcontextまわりのことを解説しました。

yujiorama 2021/08/29

golang

リンク

runtime package - runtime - Go Packages

Package runtime contains operations that interact with Go's runtime system, such as functions to control goroutines. It also includes the low-level type information used by the reflect package; see reflect's documentation for the programmable interface to the run-time type system. Environment Variables ¶The following environment variables ($name or %name%, depending on the host operating system) c

yujiorama 2021/08/23

runtime.NumCPU()に影響するのはcpusetだけみたいなんだけどそういうものなのかな。cpusとかcpu-sharesを指定しても無意味だった

golang

リンク

入門Go言語仕様 Underlying Type / Go Language Underlying Type

Go言語の “Underlying Type” の仕組みをわかりやすく解説します。 Go言語の設計原則や歴史にもせまります。 #gospecreading

yujiorama 2021/08/22

階層化しないで継承関係を表現する仕組み？underlying typeがinterface{}になってしまう場合ってあるのかな

golang

リンク

Goにこれから入る機能について

Goにこれから入る機能について 2021/08/11 GeekGig #1 〜Goと私の一年〜資料：https://tenn.in/nextgo2108

yujiorama 2021/08/17

golang

リンク

Go1.17のencoding/csv | フューチャー技術ブログ

はじめにGo1.17連載の2つ目です。 TIG DXユニット真野です。前回Go1.16連載の時も2つ目でGo 1.16のgo installについてについて触れました。今回は encoding/csv のマイナーチェンジ︵APIが1個だけ追加した︶という小ネタです。 Minor changes to the library in encoding/csv Go 1.17 Release Notesでencoding/xml, encoding/binaryとともに、encoding/csvも微修正がありました。 The new Reader.FieldPos method returns the line and column corresponding to the start of a given field in the record most recently returned by

yujiorama 2021/08/11

golang

リンク

GitHub - aws/aws-lambda-go: Libraries, samples and tools to help Go developers develop AWS Lambda functions.

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.

yujiorama 2021/08/02

lambda.Start(f) だけで f を Lambda Function で実行できる。お手軽だ。

golang

リンク

ent

Simple, yet powerful ORM for modeling and querying data.

yujiorama 2021/08/02

structじゃなくてent.Fieldでスキーマを定義していくジェネレータ。https://github.com/masseelch/elk を使うと REST API も生成できる

golang

リンク

いまさら聞けない「CI/CD」の意義――GitHubとGitHub ActionsでCI/CDを試してみよう

いまさら聞けない「CI/CD」の意義――GitHubとGitHub ActionsでCI/CDを試してみよう：GMOペパボに学ぶ「CI/CD」活用術（1）（1/2 ページ） GMOペパボにおけるCI/CD活用事例を紹介する本連載。第1回は組織でCI/CDを導入する目的と意義を整理し、GitHub/GitHub Actionsを利用してCI/CDを実践する方法を紹介します。 ITがビジネスの中心となる中で「CI/CD」（継続的インテグレーション／継続的デリバリー）というキーワードは広く浸透してきています。しかし、CI/CDを導入、活用しているかは企業や現場で差があるのではないでしょうか。 CI/CDを実践した際のパフォーマンスは、組織全体のパフォーマンスにも相関があることが知られています。本連載では、筆者らが所属するGMOペパボでどのようにCI/CDを取り入れて開発プロセスの効率化や組織全体