「春のSREまつり2024 〜OpenTelemetry活用すべて見せます〜」を開催しました - Pepabo Tech Portal
新緑の候、どこまでも澄んだ空気が視界を広げるように、システムの透明性が深い洞察を可能にしていることと存じます。技術部プラットフォームグループのそめやポチです。 2024年5月9日に、「Pepabo Tech Conference #22 春のSREまつり」と題した技術イベントを開催しました。「SREまつり」とは、ペパボのエンジニアたちがSREについての知見を発信することで、社外のSREコミュニティとの交流を図るイベントです。 昨年の春のSREまつり、夏のSREまつりに続いて、3回目の開催となりました。恒例イベントとして社内外に定着しつつあると感じています。 イベントは、物理会場とライブ配信会場の2つの会場で開催しました。物理会場は、シナジーカフェGMO Yours・フクラスという、GMOインターネットグループのカフェスペースを使用しました。ライブ配信会場は、YouTube Liveを使用し
SMTPでのOpenTelemetryの可能性を考えてみる
JavaScript: Past, Present, and Future - NDC Porto 2020
もう一度読むObservability Engineering - じゃあ、おうちで学べる
はじめに 本書『Observability Engineering』は、複雑化の一途をたどる現代のソフトウェアシステムに立ち向かうための、強力な武器となる一冊であり本稿はその読書感想文です。Observability Engineering を今から知りたい方はもちろん、Observability Engineering の基礎を改めて学びたい方もぜひお読みください。この記事もかなりの長さになるので普通に書籍を読んだほうがいいかもです learning.oreilly.com 「Observability:可観測性」という言葉は、近年ソフトウェアエンジニアリングの世界で大きな注目を集めています。しかし、その概念の本質を理解し、実践に移すことは容易ではありません。 本書は、そのオブザーバビリティについて、その基本的な考え方から、具体的な実装方法、そして組織への適用まで、幅広くかつ深く解説して
GoプロジェクトへのOpenTelemetry計装でeBPF自動計装を採用しなかった話
既存GoプロジェクトにOpenTelemetryを計装する機会がありました。eBPFによる自動計装ではなく、手動計装を選んだ理由を説明します。 GoアプリケーションへのOpenTelemetry計装手段 Goにおいては、OpenTelemetryの自動計装が公式で用意されていません。公式サイトにAutomaticの章がないことからわかります。おそらく、ランタイムの制約で実行時にアプリケーションの挙動を変えることが難しいのでしょう。 トレースに十分なスパンを含めるために、現状では以下の2つの計装手段があります。既存のGoアプリケーションに導入する手間や影響範囲をイメージいただくために、概要に絞って解説します。 手動計装 eBPFによる自動計装（Work In Progres） 1. 手動計装 まず、OpenTelemetryのSDKをインストールし、セットアップをします。 func main
2024年11月、Mackerelのメトリックがオブザーバビリティ標準であるOpenTelemetryに正式対応し、あわせて価格体系を全面的に改定します - Mackerel お知らせ #mackerelio
現在パブリックベータとして提供しているOpenTelemetry対応を2024年11月1日に正式リリースいたします。また、機能に合わせた価格体系の見直し（価格引き上げも含む）を行います。 OpenTelemetry対応と今後のMackerelの開発方針について クラウドネイティブな開発を進めていくと、システム内で何が起きるのかあらかじめ予測して監視・対応しておく、ということが困難になってきます。こういった環境ではシステム内部の状態を把握できるように多角的に観測可能にしておく、可観測性を上げておくことが重要となります。このような環境に対応していくため、Mackerelはメトリックを多次元的に扱うことができる「OpenTelemetry対応」を2024年11月1日に正式リリースします。 OpenTelemetry対応機能は、以下の特徴を持っています。 メタデータを付与した多次元的なメトリックの
5年後には標準になっている可観測性のこと - Learning Opentelemetry の読書感想文 - じゃあ、おうちで学べる
はじめに 本稿は、オープンソースの可観測性(Observability)プロジェクトである OpenTelemetry を取り上げた書籍「Learning Opentelemetry」の読書感想文です。従来の可観測性の課題であったデータの分断を解消し、トレース、メトリクス、ログなどの様々なテレメトリデータを統合的に扱うことができる OpenTelemetry は、可観測性の分野における革命的な存在と言えます。 過去10年間で、可観測性はニッチな分野から、クラウドネイティブの世界のあらゆる部分に影響を与える数十億ドル規模の産業へと発展しました。しかし、効果的な可観測性の鍵は、高品質のテレメトリデータにあります。OpenTelemetryは、このデータを提供し、次世代の可観測性ツールと実践を開始することを目的としたプロジェクトです。 learning.oreilly.com 本書の想定読者は、
Mackerel の OpenTelemetry（ラベル付きメトリック）をオンプレサーバで試した備忘録 - Qiita
動機 今更ながら Mackerel で OpenTelemetry（ラベル付きメトリック）を試したくなったが、探しても Docker + ECR とか K8S とか最近流行りの情報ばかり出てきて、現在の社内サーバの状況には合わなかったため、備忘録としてまず Nginx のラベル付きメトリックを投稿できるところまで書いておく。 サーバ情報 OS : Rocky Linux 8 まぁ使い始めてしまったのでしょうがない Nginx : 1.22.1 Nginx の準備 適当に stub_status を出せる location を用意。 （OpenTelemetry の nginx receiver が http_stub_status を元に投稿するらしいので）
OpenTelemetry 対応（パブリックベータ）提供開始 - Mackerel お知らせ #mackerelio
Mackerel チーム エンジニアリングマネージャーの id:onk です。 Mackerel では既報の通り OpenTelemetry 対応を進めてきました。 OpenTelemetry とは OpenTelemetry とは、メトリック・ログ・トレースなどのテレメトリーデータを収集し、任意のバックエンドへエクスポートすることを目指して標準規格を定めたオープンソースのプロジェクトです。 ベンダーに依存しない標準規格であり、扱い方が規格化されているため、何らかのテレメトリーデータを出力したい場合は、まず OpenTelemetry の形式で出力されるようになりつつあります。Mackerel が plugin として未対応なミドルウェアでも簡単にテレメトリーを収集開始できること、メトリックがメタデータ (Attribute) を持つため Observability をより高められることか
事例から学ぶクラウドへのOpenTelemetry導入のハマりどころ - ヘンリー - 株式会社ヘンリー エンジニアブログ
ヘンリーでSRE / SDETをしているsumirenです。 この記事は株式会社ヘンリーAdvent Calendar 2023の9日目の記事です。昨日は id:nabeop の カジュアルな社内勉強会 : ギベンの紹介 という記事でした。 背景 ヘンリーでは分散トレーシングにOpenTelemetryを用いています。元々、ログはCloud Runの標準出力をCloud Loggingが拾ってくれるものを見ており、メトリクスもCloud Runがマネージドで取得してくれるものを見ていました。しかし、オブザーバビリティを高め、また民主化するためには、トレースを起点にメトリクスやログなど全てのシグナルを追えるべきだと考え、OpenTelemetryを導入しました。 ローカルでいくつかのマイクロサービスとOpenTelemetry Collectorを立ち上げ、Jaegerで分散トレースを追える
Datadog って OpenTelemetry に対応しているの？ - Qiita
はじめに こんにちは、Datadog Japan で Sales Engineer をしている AoTo です。 この記事は AoTo Advent Calendar 2023 7日目の記事です。 Datadog は OpenTelemetry に対応しているのか、何ができるのか、あまり知られていないかもしれません。結論から述べると Datadog は OpenTelemetry に対応しており、多くのことを実現できます。 2023年に発表された Datadog の OpenTelemetry をはじめとする OSS への取り組みの公式ブログをベースに、Datadog が OpenTlemetry で計装・収集した監視テレメトリデータをどのように扱えるのか紐解いていきます。 経緯 Datadog は Opentelemetry プロジェクトの発足前、StatsD をはじめとして OpenT
OpenTelemetry 分散トレーシングのシステムアーキテクチャ
sumirenです。 SREやSDETや技術顧問やフルスタックエンジニアをしています。 この記事は OpenTelemetry Advent Calendar 2023 3日目の記事です。 2日目の記事は @k6s4i53rx さんの OpenTelemetryとOpenObserveを使ってKubernetes監視をかじる でした。 背景 OpenTelemetryを使うと、分散システムの各サブシステムでどのように処理が進んだのか可視化することができます。 経験を積んだエンジニアの方であれば、各サブシステムとオブザーバビリティバックエンドが一体どのようなコラボレーションをしているのか気になることかと思います。実際、SDKやOpenTelemetry Collectorを使って手軽に分散トレーシングを実現できても、仕組みを理解できていないと、いざトラブルが発生したときに問題解決が難しいでし
OpenTelemetry CollectorでTail-based samplingする
実装例だけ知りたいという方は以下をご覧ください。 OpenTelemetry Collectorとは？ 公式ドキュメントには以下のように記載されています。 The OpenTelemetry Collector offers a vendor-agnostic implementation of how to receive, process and export telemetry data. It removes the need to run, operate, and maintain multiple agents/collectors. This works with improved scalability and supports open source observability data formats (e.g. Jaeger, Prometheus, Fluent
実践OpenTelemetry - Classi開発者ブログ
こんにちは・こんばんは・おはようございます、エンジニアのid:aerealです。 この記事では筆者が開発に参加しているサービスの監視フレームワークをOpenTelemetryへ移行した際の体験を紹介します。 OpenTelemetryとは OpenTelemetry is an Observability framework and toolkit designed to create and manage telemetry data such as traces, metrics, and logs. What is OpenTelemetry? サイトの説明にある通り分散トレースやメトリクス、ログなどの指標を扱う監視フレームワークです。 OpenTracingやOpenCensusなどを継承・統合したプロジェクトと言うと合点がいく方も多いのではないでしょうか。 OpenTelemet
なぜ Mackerel は OpenTelemetry のラベル付きメトリックをサポートするのか - Mackerel お知らせ #mackerelio
現在 Mackerel では、ラベル付きメトリックに対応するための開発を進めています。ラベル付きメトリックは、OpenTelemetry の仕様に準拠した Mackerel の新しい機能の名称であり、クエリを引く際には PromQL を使用できるといった特徴があります。 本日、この「ラベル付きメトリック機能」ベータ版テストの参加募集を開始します。詳細については後述いたしますので、まずはこの機能の背景についてご一読いただければと思います。 OpenTelemetry とは、メトリック・ログ・トレースなどのテレメトリーデータを収集し、任意のバックエンドへエクスポートすることを目指して標準規格を定めたオープンソースのプロジェクトです。詳しくは OpenTelemetry のドキュメントをご覧ください。 opentelemetry.io ホストやサービスのメトリックを収集するために、Mackere
OpenTelemetry対応でさまざまなアプリからデータを取得＆追跡できるオープンソースなシステム監視・分析ツール「SigNoz」を使ってみた
システムの状態を監視するためのツールは多数存在していますが、その中でもSigNozはメトリクス・トレース・ログというシステム観測の3本柱に対応しており、さらに「OpenTelemetry」を利用してさまざまなアプリのデータを取得できるツールとのことなので、実際に使って試してみました。 Open source APM | SigNoz https://signoz.io/ SigNozはmacOSのほか、Linuxの下記のディストリビューションで動作するとのこと。 ・Ubuntu ・Debian ・OpenSuse ・CentOS ・SUSE Linux Enterprise Server (SLES) その他のディストリビューションにおいてもDocker経由で起動することが可能とされていますが、今回はDebianを利用して進めていきます。まずは下記のコードで各パッケージを更新しておきます。
Cloud Pub/Sub経由でトレースを取得する
バージョン情報 OpenTelemetry for Go: 1.16.0 OpenTelemetry exporter for Cloud Trace: 1.15.0 こんにちは！Google Cloudでオブザーバビリティを担当しているものです！今日は同僚から「Pub/Sub経由での処理の分散トレースを取得したいんだが」と質問されたので、サンプルを作ったついでに記事を書きました！ TL;DR Pub/Subのメッセージの中にトレース情報を埋め込ん（Injectする）で、各サブスクライバーはメッセージの取得の際に取り出す（Extractする）ことになります。 デモの構成 今回はGKEのクラスターにpublisherとsubscriberのpodを展開します。 このデモでは1:NのPub/Sub構成でトレースが取得できることを見せるために、publisherが1つ、subscriberが2つ
分散トレーシングとOpenTelemetryのススメ / Getting started distributed tracing and OpenTelemetry
OCHaCafe Season7 の LT 資料です。 https://ochacafe.connpass.com/event/282817/
Cloud RunでOpenTelemetry Collectorをサイドカーとして動かす
こんにちは！Google Cloudでオブザーバビリティを担当しているものです！Cloud Runでマルチコンテナーサポートがパブリックプレビューになりましたね！これはCloud Runでサイドカーを走らせられるということです！というわけで今日は1ユースケースとしてOpenTelemetry CollectorをCloud Runのサイドカーとして走らせてみようと思います。 TL;DR Cloud Runのマルチコンテナーサポートを使うと、アプリケーション側はOTLP送信の実装だけして、OpenTelemetry Collectorをサイドカーとして走らせて、テレメトリーをCloud Opsや外部のオブザーバビリティツールに送ることが可能になります。 構成 Kubernetesで使っているようなポッド内のサイドカーの構成をCloud Runでもできますよ、というだけなので、それをわかってる
opentelemetry-instrumentation-fastapi (python) からOpenTelemetryに入門する
instrumentor = otel_fastapi.FastAPIInstrumentor() instrumentor.instrument_app( app=app, server_request_hook=_server_request_hook, client_request_hook=_client_request_hook, client_response_hook=_client_response_hook, tracer_provider=tracer_provider ) 記載されている説明を見ていると、Request/Response に対する hooks を仕込むことができるようです。 This instrumentation supports request and response hooks. These are functions that get cal
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Using Decorators to Instrument Python Code With OpenTelemetry Traces