Carpe Diem

備忘録。https://github.com/jun06t

GoでGraceful Shutdown

Go

概要 以前はGraceful shutdownをするために以下のようなライブラリを使用していました。 github.com しかしながらGo 1.8 からGraceful Shutdown機能が標準で提供されるようになりました。 今回はその導入方法を紹介します。 環境 golang 1.10.3

Consulを支える技術

概要 ConsulではSWIMやRaftといった技術を使っています。 今回はそれらを説明します。 環境 Consul 1.1.0 SWIM Gossip Protocol SWIMはGossip Protocolの一種で、主に クラスタのメンバ管理機能 メンバの障害検出機能 イベント伝播 で使われています。

Dockerの埋め込みDNSサーバを使ったService Discovery

概要 Docker 1.10からユーザ定義のネットワークでは内蔵DNSサーバが用意され、名前解決ができるということを以下の記事で述べました。 christina04.hatenablog.com 実は単に名前解決ができるだけでなく、Service Discoveryとしても機能するのでその紹介をし…

ECS + awsvpc + Consul でService Discovery

概要 ECS + awsvpc + Consul でService Discoveryができるようにします。 最終的にConsulにDNS問い合わせすることでECSのコンテナのIPを知ることができるようにします。 環境 Consul 1.1.0 Task Definition 結論を先にいうと以下のようになります。 [ { "nam…

Consulで各サービスのコンテナ群のIPを取得する

概要 以前Consulの基本的な使い方を紹介しました。 christina04.hatenablog.com このConsulに登録する各ノードに対しサービス設定をすることで、各マイクロサービスに所属しているコンテナ群のIPを取得できるようします。 それによってgRPCでの負荷分散とし…

TerraformでECSのawsvpcモードを使って各コンテナにPrivate IPを振る

概要 これまでは1インスタンス上に複数のコンテナを使うときは動的ポートマッピングのような方法で対応する必要がありました。 christina04.hatenablog.com しかしawsvpcモードが使えるようになったことでコンテナ毎にPrivateIPを振れるようになり、ポート…

ホストからdockerのvolumeにファイルをコピー

概要 ホストからコンテナ(が持ってるvolume)へのコピーはdocker cpでできます。 しかしホストから直接volumeにコピーするのはどうすれば良いのだろう?と思って調べたところ地味にサポートされていなかったのでメモとして残します。 環境 Docker v18.03.1-ce…

Kubernetesのheadless serviceを使って各PodのIPを知る

概要 gRPCを用いた負荷分散ではEnvoyを使ったL7のバランシングが最近の主流になっています。 ただEnvoyが各Podに振り分けるためにPodのIPを知る必要があります。 ECSはService Discoveryを持っていないので自前でたてるか、control planeを用意してそれをSer…

GolangのRoundTripperとTransport

Go

背景 僕が保守している go-iapというgolangで書いたAppStore, GooglePlay AmazonAppStore用の課金ライブラリ があるのですが、そこに以下のissueがあがっていました。 github.com ざっくり説明すると「GAEでは普通のhttp.Client使えないからカスタムClientサ…

Exponential Backoff (指数関数的に増えるリトライ間隔)

概要 fluentdのretryはExponential Backoffと呼ばれるもので、リトライの間隔が 1秒、2秒、4秒、8秒、16秒 と指数関数的に増えていきます。これによって無駄なリクエストを省きつつ、再試行する前に問題を修正して解決できるようになります。 特に外部APIが…

混ぜるな危険 〜同期関数と非同期関数〜

概要 Node.jsといえば非同期やcallbackで有名ですが、1つの関数の中で非同期な処理と同期的な処理が混ざってしまうと期待しない挙動になることがあるので注意しましょう、という話です。 環境 Node.js 8.9.0 基本的な方針 非同期な関数は全て非同期処理でま…

C4インスタンスからC5インスタンスに移行するためのパフォーマンス検証

概要 前回のAMI作成方法に引き続き、移行前のチェックとして簡単なパフォーマンスチェックをします。 環境 Ubuntu 16.04.4 Kernel 4.4.0-1054-aws golang 1.10.1 負荷試験環境 インスタンスタイプ サーバ インスタンスタイプ 攻撃ツール c5.2xlarge C4テスト…

C5/M5インスタンス用のAMIをpackerで作成する

概要 先日東京リージョンにもC5/M5インスタンスが対応されました。 コスト的にC4/M4より10~15%ほど安くなるため、可能であれば逐次移行した方が良いです。 ただC5/M5からは Elastic Network Adapter (ENA) 対応 NVMe対応のOSが必要 デバイス名の変更 といっ…

Golangのpprofの使い方【基礎編】

Go

概要 pprofの使い方の備忘録として何回かに分けて書いてきます。 今回は前提知識として知っておくべきことを書きます。 環境 go 1.10.1 pprofは2つの計測方法がある 以下の2つのやり方があります。 runtime/pprof が提供しているAPIを使ってファイルに出力…

Event LoopとMicrotasksについて

概要 以前 christina04.hatenablog.com でMacrotasksとMicrotasksについて触れました。 ただこの時使ったのがPromise、setTmeout()だけで、他の種類の非同期関数を使った場合どうなるのだろう、と気になり検証してみました。 環境 Node.js v8.9.0

Angularでのコンポーネント→ビューのバインディング

概要 Angularではコンポーネント→ビュー方向のバインディングは以下の4種類があります。 プロパティバインディング 属性バインディング クラスバインディング スタイルバインディング これらの違いと使い分けを説明します。 環境 Angular v5.2.9 angular-cli…

BigQueryのデータをUpdateする

概要 BigQueryは基本的にはログなど解析目的で利用するため、データ自体を更新することはありません。ただ 一部間違ったログが入ってしまった データの洗い替えが必要になった みたいなケースが起き、解析結果が期待するものにならない場合は更新処理が必要…

GoでFacebook OAuthログインをセキュアに実装する

概要 Facebookを用いたOAuthログインの実装方法はネット上に多々ありますが、セキュリティに関してあまり考慮されてないものが多いです。 今回はセキュアに実装する例を示します。 環境 golang 1.10 facebook graph api v2.12 成果物 今回のソースコードはこ…

Golangのcontext.Contextはいつ使うべきか

Go

概要 go 1.7からcontextパッケージが標準パッケージになりました。 タイムアウト、キャンセルなどのハンドリングができることから、ブロッキングする処理や外部APIリクエストなどを扱う時は基本的に第一引数に置くべきです。 またAPIやプロセス間通信のリク…

CircleCI 2.0 でworkflowを使ったtagからのデプロイ

概要 CircleCI 2.0でtagからのビルド&デプロイをできるようにします。 主に使う機能としては workflow cache です。workflowはビルドパイプラインのようなもので、実行ジョブを細かく分けて順に実行させることができます。 上の例ではmasterブランチにマー…

TerraformでNLBを使う

概要 先日新しいL4のロードバランサーであるNLBがAWSからリリースされました。 ALBはL7のロードバランサーであるため、これまでgRPCはCLBの方でしか利用できませんでしたが、これからはNLBを使うことで対応が可能です。 terraform-provider-awsの1.3.1から利…

Travis CIのslack通知のtokenを暗号化

概要 publicなリポジトリもslack通知させたいけど、slackのtokenが見えるのは嫌なので暗号化して設定する方法です。 環境 travis 1.8.8 CLIのインストール Travis CIが出しているコマンドラインツールをインストールします。 $ gem install travis --no-rdoc…

BLPOPで優先順位を付けてタスクキューを実行

概要 タスクキューを操作する時に、特定の処理が他の処理よりも先に実行できるよう優先順位を付けたいケースがあります。 RedisのBLPOPは複数のリストを処理してくれるのでそれを実現できます。 前提 以下の優先度を決めたキューがあるとします。 キュー名 …

データ毎に実行スケジュールが異なる場合の実装方法を考えてみる

概要 Stripeの定期購読を使っていると、各ユーザの定期購読の更新タイミングでWebhook eventがちゃんと飛んできます。 ほぼリアルタイムで届くのでこのwebhookを使う側としては非常に助かる機能ですが、提供する立場から考えるとどうやるんだろう?と悩んだ…

IAMグループのポリシーの管理

概要 IAMグループのポリシーをちゃんと役割に分けて管理しようという話です。 方針 admin, developer, operatorの3つの役割で分け、各グループに適切な権限を与えるようにします。 ただし パスワード変更 MFAの設定 は各IAMユーザができるようにします。 付…

ネットワークの疎通を確認する方法

概要 インスタンスのヘルスチェックに失敗したり、リクエストが届かなかったりするケースの調査のためにネットワークの疎通を確認する機会は多々あります。 今回はその中でよく使うコマンドをまとめてみました。 環境 Ubutnu 16.04 コマンド ping pingはICMP…

AWSのCost Explorerをスクレイピングして毎日の利用料金をslackへ通知

概要 使っていないインスタンスが起動しっぱなしだったせいで、AWSの利用料がいつの間にか大きくなっていたことがきっかけです。 一方毎日CostExplorerを見に行くのも手間が多いので、slackに通知するようにしたいと思い作ってみました。 また環境構築が面倒…

TerraformでECSを動的ポートマッピングに

概要 以前ECSの記事を幾つか書きましたが、 TerraformでECS環境の構築 - Carpe Diem TerraformでECS環境の構築【オートスケール編】 - Carpe Diem 当時のECSは1インスタンス1コンテナにしないとポートが競合して同じ種類のコンテナを載せることはできませ…

goroutineでのpanicのハンドリング

Go

概要 goroutineを使った時のpanicのハンドリングについて調べてみたのでまとめ。 golangはgoroutineで簡単に並列処理を書けますが、エラーハンドリングをきちんとしていないと後で困ることになるという話です。 環境 golang 1.9.2 通常 recoverがどうなるか…

grpc-gatewayでgRPCサーバをRESTで叩けるようにする

概要 gRPCはProtocol Buffersを喋るもの同士ではメリットが大きいですが、RESTしか叩け無いものや、curlでRESTを叩くようにサクッと検証したかったりするときに不便です。 そんな問題を解消してくれるのがgrpc-gatewayで、protobuf定義からREST APIを提供す…