Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli
「入門 監視」を読んで見えてきた現状の課題と改善点 - エムスリーテックブログ
こんにちは、エンジニアリンググループ SREチームの高橋(@tshohe1)です。 「入門 監視」という本が各所で話題になっていますが、エムスリーのエンジニアリンググループでも予約購入していました！ www.oreilly.co.jp 監視というSREと非常に親和性の高いテーマの本だったこともあり、多くのSREメンバがこの本に目を通していたようです。 そこでぜひチーム内で感想を共有しようということになり、先日感想共有会が実施されました。 本記事ではそのときに挙がった感想を一部抜粋して公開したいと思います。 モニターリザード 各章の感想 「1章 監視のアンチパターン」について 「第2章 監視のデザインパターン」について 「3章 アラート、オンコール、インシデント管理」について 「5章 ビジネスを監視する」について 「6章 フロントエンド監視」について 「7章 アプリケーション監視」について
最近の砂場活動その23: Cloud MonitoringでKubernetesのバッチ処理を監視する - yasuhisa's blog
Kubernetes上で動かしているバッチ処理の監視をCloud Monitoringで行なおうと思ったのですが、素朴にやるとちょっと困りました。一工夫したので、メモを残しておきます。 背景 Cloud Monitoringで素朴にバッチ監視を行なう これだと困る...! 次のバッチが成功するまでインシデントが閉じないようにする 背景 Webサービスの監視と同様にバッチ処理についても監視は必要です MackerelなどのSaaSを使うと、バッチ処理についても簡単に監視できます 最近の砂場活動その10: songmu/horensoを使ってバッチの処理時間をMackerelのサービスメトリックに記録する - yasuhisa's blog ただ、仕事のチームではMackerelを今は使っていません。GCPを使っているので、Cloud Monitoringでやるかなーという感じ メトリックやダ
当たり前にリリースしていくために必要なこと / Release safely
# 解説ブログ https://tech.classi.jp/entry/2021/05/20/110000 # 参考リンク - http://shimooka.hateblo.jp/entry/20141217/1418788239 - https://soudai.hatenablog.com/entry/webservice-monitoring # その他紹介したリンク - https://soudai.hatenablog.com/entry/survival-strategy - https://soudai.hatenablog.com/entry/2020/12/31/165940 - https://speakerdeck.com/twada/worse-is-better-understanding-the-spiral-of-technologies-2019-edi
オペレーションエンジニアとは何かを理解するために「ウェブオペレーション」を読んで欲しい
最近は、@kazeburo さんの真似をして自分も「オペレーションエンジニア」と名乗ろうかと思ってます。正直最初にオペレーションエンジニアって聞いた時、なんのことだかよくわからなかったんですよね。ちょうどこの言葉を最初に見たのは 1 年前くらいで、その時僕は 2 年目に入ったところで MySQL Conference から帰ったばかりで「おらは DataBase Administrator(DBA)なんだ！」と思ってた頃でした。 それからちょうど 1 年。1 年目の時も DB だけをやってたわけではないですが、この 1 年はより広くより深くいろんなモノを見てきた関係で、自分の仕事は「DBA」だけだとちょっと説明に足りないなぁと思ってたところで、「オペレーションエンジニア」という言葉を思い出しました。そう、僕の仕事は「オペレーションエンジニア」なんです。ひよっこだけど ん、ちょっと待てって？
terraformをパースして自動で命名規則等のアラートを出したい！ - Qiita
やりたきこと いちいち命名規則を見に行きたくない tagとかも統一したい s3のloggingルールとかも忘れないように・・・ description書けるやつは忘れずに書きたい！ tfファイルをパースして名前とかを正規表現で引っ掛けるしかない！！ まずローカルでプログラムが動くように！ 以下のサンプルを例にファイルから読み込んでパースできるようにする ohsawa0515/hcl_parse_sample 発生した問題 docker内のGoで以下のようなコードを書いていたのですが。。。 FROM golang:latest WORKDIR /go/src/app RUN go get -u github.com/golang/dep/cmd/dep ADD . . RUN dep ensure CMD ["go", "run", "main.go"] package main impor
システム障害との向き合い方 @sinamon129 #tokyogirlsrb
これまで大小様々なシステム障害に遭遇してきましたが、障害対応から学ぶことは沢山あります。 いろんな習熟度のフェーズで障害発生を学びに変えるための行動事例や、webアプリケーション開発において障害対応を減らすためにできることなどをお話しできればと思います。 TokyoGirls.rb Meetup vol.1 https://techplay.jp/event/716251
Kubernetes などの YAML を独自のルールをもとにテストする - tellme.tokyo
Kubernetes などの YAML を独自のルールをもとにテストする February 19, 2019 設定ファイルのメンテナンスの必要性 Infrastructure as Code の普及もありインフラの状態やその他多くの設定が、設定ファイル言語 (YAML や HCL など) で記述されることが多くなった。 Terraform HCL や Kubernetes YAML など、人が継続的にメンテナンスしなければならなく、その設定が直接プロダクションに影響を与える場合、そのレビューがとても重要になる。 具体的に例えば、「デプロイする Replica の数」や「Resource limit や PodDisruptionBudget が適切か」などレビューの中で注意深く見なけれなならない点などがあげられる。 加えて日々のレビューの中で、問題にはならないが「Kubernetes の
入門 入門 監視 / reading-practical-monitoring
「入門 監視」を読んだので、自分たちのチームに当てはめて考えてみる
hashicorp/hcl2 を使って独自 DSL を定義する - tellme.tokyo
HCL2 とは HCL (HashiCorp Configuration Language) は HashiCorp によって作られた設定言語です。 HCL の目的はコマンドラインツールで使用するために、人間からも機械からも扱いやすく構成されていて、かつ特に DevOps ツールやサーバーなどを対象とした構造化構成言語であることです。 実装は hashicorp/hcl にあります。 実はこれの他に同時に Version 2 の実装も目下開発中のようです。 hashicorp/hcl2: Temporary home for experimental new version of HCL このリポジトリでは HCL が元から持つ iteration と補間言語 HIL を組み合わせて、任意の式をサポートする単一の構成言語を目指しているようです。 要するに、設定ファイルでありながら、演算処理
ハムスターのために監視導入したら人間のための監視もしたほうが良さそうなことがわかりました - helen's blog
Mackerel Advent Calendar 2017 - Qiita の12/20の記事です 以前、【増枠】紅白 Milkcocoa 合戦！【祭り】 Milkcocoa Meetup vol12 - connpassでLTしたこれを 20160720_わたしとmilkcocoaの20日間 from Keiko Nishioka （要約：３時間で勝手にエアコンが切れるアパートで、 ハムスターのために温度が一定以上になったらラズパイでエアコンつけて夏を乗り切りました） いろいろと事情が変わったので、今回はMackerelを使って改造してみました！ 前回より 変わったこと 実は当時のアパートから引っ越ししたので事情がとても変わりました エアコンが勝手に切れない！！ ハムスターたちとエアコンが遠いので、ハムスターのそばで温度を取ると赤外線が届かない もしかして実はもう必要ないのでは... 当
レイテンシーを計算する技術の話 - LINE ENGINEERING
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは、LINEメッセンジャーのサーバーサイドとモニタリングプラットフォームの開発を担当しているフィ（@dxhuy）です。この記事はLINE Advent Calendar 2017の20日目の記事です。 今日は、モニタリングシステムでよく使うレイテンシーやその計算方法などについて紹介したいと思います。LINEでは、日々ユーザが楽しくメッセージを送れるように、システムの安定性を第一に考えています。安定したシステムを保つためにたくさんの指標を見守る必要がありますが、その指標の1つが「レイテンシー」です。 ウィキペディアでは、レイテンシーは以下のように定義されています。 デバイスに対してデータ転送などを要求してから、その結果が
SREとしてデータを元に改善できるチームになる
この記事はSREアドベントカレンダー1の4日目 (12/4) の記事となります。SRE的事案に追われつつ、なんとか当日に間に合いました。 突然ですが、サイト信頼性を向上させるために重要なことは何でしょう。私が最も重要だと思うことは「システムから祈りを無くすこと」です。 「そろそろこの機能が限界迎えそうだけど、実感はないからまだ大丈夫なはず。不安だけど。。。」という祈るようなモードの時は大抵障害が起きます。残念ながら悪い方向には皆さんの感覚は正しいのです。 私の所属するチームでは、直近の目標の一つとして「メトリクスを元に改善活動ができるようにする」ことを掲げ取り組んできました。これは、前述の「システムに祈る」というエモーショナルな行動を「メトリクスを元に判断する」というロジカルな行動に変える為の取り組みです。 今回は、どのようにデータを収集しているかをかいつまんでご紹介します。内容は割と初歩
自作Terraform Providerのユニットテストの書き方 - My External Storage
公式チュートリアルには載っていなかったので、自作Terraform Providerを作るときのユニットテストの書き方をメモしておく。 なお、最初にコメントしておくと今回の記事はかなり説明を省略しているので各Providerにコミットしたことがあるか自作Providerを作った人じゃないとわからなそう… TL;DR TerraformはProvider経由で各種サービスのリソースを操作する https://www.terraform.io/docs/providers/index.html SDKを使えば自作Providerを作ることも可能 https://github.com/hashicorp/terraform-plugin-sdk 公式ガイドに載っていないが、schema.Resource#TestResourceDataメソッドを使うとテストが書きやすい https://pkg.
Kuberntes Monitoring 入門 - Speaker Deck
QA出身スリーアミーゴスでDeep Dive! スクラムで品質とスピードを意識したOne Teamを構成するために必要だったもの / Deep Dive into the the Essence of 'One Team'
Elastic Stack で 何を可視化すれば性能改善が捗るのか？
2017/10/11 (水) 第21回Elasticsearch 勉強会で話したスライドです。 https://www.meetup.com/Tokyo-Elastic-Fantastics/events/243671140/
Terraform運用事例書きました - pixiv inside
こんにちは、インフラ部の id:sue445 です。 Terraformなにもわからないけどディレクトリ構成の実例を晒して人類に貢献したい - エムスリーテックブログ や Terraformのディレクトリ構成の模索 - Adwaysエンジニアブログ を読んで影響されたのでピクシブのTerraform運用事例を紹介しようと思います。 Terraformの採用理由 GitLabでのリポジトリ構成 Terraformのファイル構成 moduleがうまく使えたと思っている事例 GitLab CIでTerraformをいい感じにCIする テンプレートの使い方 ピクシブで実際に使っているテンプレートファイル このテンプレートでできること masterブランチ以外 masterブランチ このテンプレートファイルのポイント 最後に Terraformの採用理由 Terraformと同じようなプロビジョニン
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
成長を続ける広告配信プラットフォームのモニタリングを改善してきた話
再発防止策を考える技術 / #phpconsen
インフラ自動化の落とし穴と宣言的アーキテクチャ
