[B! goroutine] clavierのブックマーク

clavier id:clavier

goroutineに関するclavierのブックマーク (53)

golinesのベースフォーマッタをgofmtにして実行する
go linesはGo言語のコードフォーマッタで、1行当たりの長さをいい感じにしてくれます。 go linesをディレクトリ指定等で使うと結構処理が重いです。高速化のために、過去にgoroutine使って並列化するようなpull-request出したりもしました。最近、go linesのプロファイル取ってみて気づいたのですが、go linesはデフォルトで裏でgoimportsをexecして実行しているので、結構重いということに気づきました。もうひとつgo linesがデフォルトで対応しているベースフォーマッタにgofmtがあるのですが、こちらはモジュールとして呼び出しているので、非常に高速でした。プロジェクトの性質にもよりますが、ファイル数が多い場合には、ベースフォーマッタをgoimportsではなくgofmtにすることで高速化できそうです。以下のようにすれば、gofmtを指定して実行
clavier 2024/01/16
goroutine

golang
リンク
goroutine leakを解消したい！
この記事は、Magic Moment Advent Calendar 202315日目の記事です。こんにちは！ Magic Moment で Backend Engineerをしている大塚です。 Magic MomentではGo言語によるマイクロサービス開発をしているのですが、ある日、あるサービスのメモリ使用量が継続的に上昇する現象を観測しました。そこで、どういった調査をしてどのように解消までいったかをまとめました。メモリ使用量の上昇を観測メモリ使用量が日々上昇していることが確認できます。さっそくどこで何が原因でメモリリークしているか確認してみます。 Cloud Profilerで確認以前よりCloud Profilerを導入していたため、まずはCloud Profilerでメモリ使用量やgoroutineの数を確認しました。 Cloud Profilerについては弊社Te
clavier 2024/01/02
goroutine

golang

programming
リンク
Goroutineの使い方
この記事はGo 言語 Advent Calendar 2023のシリーズ2の4日目の記事です︵穴があったので入りました！︶。 goroutineの特徴コルーチンをベースにコルーチンの以下の点を改良言語組み込みワード﹁go﹂にて起動できる M:Nスレッドシステム採用によりマルチコア分散処理が可能ブロッキングを検出したらネイティブスレッドが独立プリエンプティブ性を追加(Go1.14以降) 以上により、goroutineスレッドシステムはコードを書く人にとって﹁ネイティブスレッド﹂の感覚で実装を書くことができ、﹁コルーチン﹂のようにメモリやタスクスイッチ負荷が小さく、﹁コルーチン﹂のような面倒な制約︵期待するレイテンシ以上にCPUビジーにしてはいけないなど︶も無いといういいとこどりのスレッドシステムになりました。ネイティブスレッドライクによる特性ネイティブスレッドを使ったプログラミン
clavier 2024/01/02
goroutine

golang

performance
リンク
Go言語の平行処理をやってみよう！【goroutine】 - RAKUS Developers Blog | ラクスエンジニアブログ
はじめにおはようございます、こんにちは、こんばんは、rks_hrkwと申します。もう1月も終わりですね。皆様いかがお過ごしでしょうか。この記事はGo言語といえばの機能の一つである、ゴールーチン(goroutine)の入門記事となっております。この記事は Go触ってみたけどまだゴールーチンは勉強してないよ Go触ったことないけどGoでの平行処理に興味があるよという方向けです。 ※入門記事のため細かい箇所や複雑な箇所は説明を省いている可能性がありますご了承ください。また、Goの環境構築については以下の記事をご参照ください。 tech-blog.rakus.co.jp 目次はじめに目次並行処理って何？ゴールーチンゴールーチンを書いてみよう1行消す前の処理順1行消した後の処理順 syncパッケージ sync.WaitGroup さいごに参考文献並行処理って何？並行処
clavier 2022/02/28
goroutine

golang

あとで読む
リンク
並列処理管理ライブラリ task を含む、l4goの公開 | IIJ Engineers Blog
セキュリティオペレーションセンターとセキュリティ情報統括室に所属。システム開発者(極) を目指すプログラマとしての活動と、セキュリティアナリストとして活動をしています。うさぎさんのぬいぐるみが相棒こんにちは、くまさかです。今回は、Go言語開発を支えるライブラリを公開しましたので、そちらの紹介記事です。ちなみに今回の記事は、どうしてもGo言語寄りな話が少し登場します。 Go言語に関する説明は、本記事では割愛しますので、本記事を読む前や、読んだ後にGo言語自体を勉強したいと思った方は、IIJ Bootcamp で、僕が作成した Go言語入門コンテンツか、Go言語本家 Gotour をお試しください。さて、では本題のライブラリ紹介です。 GitHub上では、l4go というところにまとめています。 https://github.com/l4go ライブラリの組織名を色々検討
clavier 2022/02/22
あとで読む

goroutine

golang

concurrency

programming
リンク
「Contextを完全に理解する」というテーマでGo Conference 2021 Autumnに登壇しました | フューチャー技術ブログ
contextを発表資料に選定した意義contextはGoでアプリケーションを実装する上でお世話にならない方が少ないくらいのパッケージだと思います。一方使いやすいインターフェースであるため、仕組みをよく分かっていなくてもとりあえず使っておけば機能は実装できます。そういったものを自分自身良く知りたい、学べるコンテンツを作りたい、というモチベーションがありました。またcontextはgoのパッケージの中では極めてシンプルかつ少ない行数で完結したパッケージです。そしてGoをスマートに実装するテクニック、並行処理の実装方法が少ないコードに詰め込まれています。そのためコードリーディングのコンテンツに適しており、40分の枠内で全てのコードを紹介する事が出来ました。 contextの基礎的な利用方法も発表の前半に組み込むつもりでしたが、zennの無料書籍が登場したため、発表はコードの読み取りとそこか
clavier 2021/12/04
goroutine

golang
リンク
Grafana Lokiで構築する大規模ログモニタリング基盤 / Grafana Loki Deep Dive
CloudNative Days Tokyo 2021での登壇資料です https://event.cloudnativedays.jp/cndt2021/talks/1252
clavier 2021/11/06
goroutine

kubernetes

logging

stream

monitoring
リンク
GitHub - cloudwego/netpoll: A high-performance non-blocking I/O networking framework focusing on RPC scenarios.
Netpoll is a high-performance non-blocking I/O networking framework, which focused on RPC scenarios, developed by ByteDance. RPC is usually heavy on processing logic and therefore cannot handle I/O serially. But Go's standard library net is designed for blocking I/O APIs, so that the RPC framework can only follow the One Conn One Goroutine design. It will waste a lot of cost for context switching,
clavier 2021/08/22
goroutine

golang

async

performance

github
リンク
今までにGoでよく聞かれた質問とその参考リンク - ぷらすのブログ
こんにちは、@p1assです。最近研修で Goを書いていて、その際にいくつか質問をされるのですが、聞いてみると前にも答えたような質問が多かったので、これを機にブログに参考リンクをまとめようと思います。質問された際にすぐ答えられない質問も数多くあり、調べたり教えてもらったりすることで様々なことを再発見できました。この記事では、質問に対する回答をできるだけ公式に近い文章を引用する形で書き記します。私個人の考えは別の段落になるようにして、事実と意見を区別するように心がけています。なにか誤りを見つけた際は GitHub でPRを投げていただけると助かります。言語仕様関数の引数は値渡しか参照渡しか？ Goはすべて値渡し (pass by value) です。ポインタの場合は、ポインタそのものがコピーされポインタの指し示す先の値はコピーされません。 Goの多値返却はタプルか？
clavier 2021/06/20
goroutine

golang
リンク
Elixir-Style Actors in Go :: Random Bits of Wisdom
My foray into Elixir brought forward many more similarities between it and Go, than I originally expected. One of them is how both handle concurrency. With respect to that, creating Elixir-style stateful actors in Go is surprisingly easy. Answering the question, whether one needs them, or can make use of them, I’d leave to the user. If you approach me back saying that the same thing can be achieve
clavier 2020/03/09
elixir

go

function

goroutine
リンク
golangとDockerとOOM — KaoriYa
golangで書いたプログラムをDockerで動かしOOMが発生した際になるべく情報を残して殺される方法を紹介します。 2020/08/16追記: この記事の内容はgolangに関してはやや現実的ではなくなってしまいました。詳しくは続編を参照してください。 TL;DR golang製のプログラムは仮想メモリ(VSZ)の確保に失敗するとgoroutineのダンプを吐いて死ぬ DockerのOOMはRSSベースで検出時にSIGKILLを投げてくる Docker利用時にVSZで制限をかけるスクリプトを書いた golang製のプログラムはlinux-amd64において最低でも101MBのVSZを要求する VSZの制限がそれより小さいと当然起動できない実際のRSSは3MB程度で起動する Background コンテナ内で動いているプロダクション上のgolang製のプログラムが時々OOMに殺されて
clavier 2020/01/19
golang

docker

goroutine

memory
リンク
A Closer Look at Go’s sync Package
This is not an analogy for the sync package quality :)Let’s take a look at the Go package in charge to provide synchronization primitives: sync. sync.Mutexsync.Mutex is probably the most widely used primitive of the sync package. It allows a mutual exclusion on a shared resource (no simultaneous access): It must be pointed out that a sync.Mutex cannot be copied (just like all the other primitives
clavier 2019/12/22
goroutine

golang

interface

あとで読む
リンク
Go でトランザクションをフルスクラッチで実装した - kawasin73のブログ
一歩ずつ一歩ずつ前へ進んでいく、確実に。どうも、かわしんです。到底1記事に収まるような内容ではなく長いので、トランザクションの作り方に興味のない方は途中の﹁なぜ Goなのか﹂まで読んでいただければ嬉しいです。この記事は、Go2 Advent Calendar 2019 の7日目とセキュリティキャンプ修了生進捗 #seccamp OB/OG Advent Calendar 2019 の7日目を兼用しています。さて、僕の興味は必要になったライブラリやミドルウェアなどを自作して、作りたいプロダクトを完成させることです。必要なコンポーネントがないからといってプロダクトを作るのを諦めたり妥協したりはしたくありません。多くのアプリケーションではデータベースは重要なコンポーネントです。大抵のアプリケーションは MySQL やPostgres、Redis など既存のデータベース
clavier 2019/12/07
あとで読む

golang

goroutine

database

*あとで
リンク
Go - graceful shutdown of worker goroutines | Callista
Blogg Här finns tekniska artiklar, presentationer och nyheter om arkitektur och systemutveckling. Håll dig uppdaterad, följ oss på Twitter 05 October 2019 // Erik Lupander In this blog post we’ll take a look at gracefully shutting down a Go program having worker goroutines performing tasks that must be completed before allowing the program to shut down. Introduction In a recent project we had a us
clavier 2019/10/12
goroutine

golang
リンク
Go ランタイムのデバッグをサポートする環境変数 - Qiita
はじめに Goはシンプルな構文ながら複雑な処理を行えるプログラミング言語です。エラーも自らがハンドリングするスタイルなので割とバグが入り込みにくいのが特徴です。しかし時には Go 本体のソースを見ないと動きが確認できない事もあります。とは言えオープンソースだからといって全ての挙動が簡単に探れるものではありません。コンパイラの動きであったり、ランタイムの動きであったりで良く分からない物があった場合に、ソースを変更して print デバッグする事が良い方法とは言えません。幸運にも Goではランタイム、標準パッケージにデバッグのヒントを出せる仕組みが用意されています。GODEBUG や GOGC、GOTRACEBACK という環境変数が用意されており、設定を行う事で挙動を変更できたり色々なデバッグ情報を出力できたりします。本記事ではこれらの環境変数に設定可能な値を、筆者の知見を交えて紹
clavier 2019/09/01
goroutine

golang

debug
リンク
Go 製ソフトウェアでメモリ使用量の多い関数を特定する - Cybozu Inside Out | サイボウズエンジニアのブログ
みなさんこんにちは．SRE チームの内田︵@uchan_nos︶です．この記事では Go製ソフトウェアのどの関数がどれだけメモリを消費しているかを調べる方法を説明します． Go製ソフトウェアのヒープメモリの消費量を調べる方法はたくさん解説されているものの，スタックメモリの消費量について調べる方法を説明したサイトを見つけることはできませんでした．この記事では主にスタックメモリの消費量を調べる方法を説明します．背景 SRE では Go言語で自社データセンター向けのツール群をたくさん作っています．その中のソフトウェアの1つが，本番運用中に予想外にたくさんのメモリを使用してしまうという問題がありました．どの関数が原因なのかを突き止めるために，関数単位でメモリ使用量を調べる必要があります．ソフトウェアが使っているメモリ量の概況は，Linux であれば top コマンドで調べるこ
clavier 2019/06/11
goroutine

golang

memory
リンク
goroutineはなぜ軽量なのか - Carpe Diem
概要以前の記事で christina04.hatena blog.com Goはスレッドよりはるかに軽量なgoroutineでC10K問題を解決する、という話をしましたが、goroutineが軽量なのはなぜか？という理由を深掘りしたことがなかったのでしてみました。環境 golang 1.11.1 Darwin 17.7.0 軽量と呼ばれる理由は２つ大きく分けると以下の２つのポイントがありますスレッドに比べてメモリ使用量が低いスイッチングコストが低いそれぞれ説明していきます。 goroutineがスレッドに比べてメモリ使用量が低いのはなぜかスタックとヒープのメモリの使い方を理解すると分かります。ヒープはメモリの下層、プログラムコードのすぐ上にあり、上に向かって成長します。一方スタックは仮想アドレス空間の一番上にあり、徐々に下に成長していきます。 ref: イベントループなしでの
clavier 2018/10/29
golang

あとで読む

goroutine
リンク
GAE/Goとsyncパッケージ
酔いどれGCPUGで発表した資料です。 https://gcpug-tokyo.connpass.com/event/78667/Read less
clavier 2018/04/23
golang

async

GAE

goroutine
リンク
Big Sky :: goroutine でドハマリした。
今日たまたま見つけた gotest というプログラムの修正を行った際にドハマリした。 GitHub - rakyll/gotest: gotest with colors https://github.com/rakyll/gotest gotest は gotest の出力の PASS やFAILといった定型の文字列を見つけて緑や赤に色付けする小さなプログラム。仕組みも簡単で以下の様なコードになっている。 func main() { setPalette() enableOnCI() gotest(os.Args[1:]) } func gotest(args []string) { r, w := io.Pipe() defer w.Close() args = append([]string{"test"}, args...) cmd := exec.Command("go"
clavier 2018/01/26
あとで読む

goroutine

golang
リンク
チャンネルを使って、決まった数のリソースをgoroutine間で共有するパターン - 詩と創作・思索のひろば
生成が重いリソース︵や重い処理の実行権︶を goroutine 間で共有し使いまわすようなパターンです。よく知られていて名前がついていそうだけど、ぐぐっても分からなかったので書いておく。コネクションプールに近い感じで、最初にリソースを生成したあと、それらを大事に取り回します。リソースが空いてなかったら goroutine は待つことにする。sync.Pool は﹁プールにあったら使うけど、なかったら新しく作る﹂くらいの感じなので、ちょっとスタンスが違う。チャンネルによる実装は簡単で、以下のエントリにも書いたセマフォを応用すればよい。ざっくりと書いてみた例がこちら: https://play.golang.org/p/QWAXsA_89Y チャンネルによるセマフォの実装は、﹁バッファありチャンネルに何か︵struct{}︶を挿入できた goroutine が実行の権利を持つ﹂というもの
clavier 2017/12/19
golang

goroutine
リンク
1 2 3 次のページ