対象とする論文は Jay Kreps, Neha Narkhede, and Jun Rao. Kafka: a distributed messaging system for log processing. ACM SIGMOD Workshop on Networking Meets Databases, page 6, 2011 データベースのトップカンファレンス SIGMOD 2011 で発表された論文。 2011 年は機械学習が学会以外の場所でも盛り上がり始めたぐらいの頃だろうか。 Kafka の概要については事前に色々なサイトで調べたりしてたんですが、やはり論文に勝る情報源はないですね。 どう使うか、どんな特徴があるかは当然重要ですが、システム開発者(システム開発者はシステム利用者に非ず)にとって重要なのはどう実装されているかだと思います。 主に Kafka のアーキテクチャ
はじめに Kafkaは受信したメッセージを安全に保管し障害があったとしても安全にメッセージを保存するための機構を持ち合わせています。今回はこの安全に保存する方法を簡単に紹介します。 ※ 実機での動作確認方法はほとんど記載していませんのでご了承ください まれに、Kafkaは障害のタイミングによりデータロスが発生するというウェブ記事を見ますが、そんなことはなく正しい知識で実装すればデータロスは発生しないつくりをしています。細かい議論を今回するつもりはありませんが、Kafkaのバージョンが古い動作で考えたり検証している、机上計算に誤りがる、多重障害や不具合による複雑なケースを考えているからだと思います。 前提知識 本文章は、以下の関連記事を読んで理解していることを前提に記載しています。 Confluent Platfromの魅力について書いてみた Apache Kafkaのメッセージ送受信につい
初版: 2018/10/12 著者: 伊藤 雅博, 株式会社日立製作所 はじめに この投稿ではオープンソースカンファレンス2017.Enterpriseで発表した「めざせ!Kafkaマスター ~Apache Kafkaで最高の性能を出すには~」の検証時に調査した内容を紹介します(全8回の予定)。本投稿の内容は2017年6月にリリースされたKafka 0.11.0 時点のものです。 第3回目となる今回は、Kafkaの推奨システム構成とネットワーク・ディスク性能の見積もり方法について紹介します。 投稿一覧: 1. Apache Kafkaの概要とアーキテクチャ 2. Apache KafkaのProducer/Broker/Consumerのしくみと設定一覧 3. Apache Kafkaの推奨構成と性能の見積もり方法 (本投稿) 4. Apache Kafkaの性能検証(1): 検証環境とパ
こんにちは。今日は実際にメッセージを保存しているログファイルの形式と形態について述べた章になります。 これまで述べられたメッセージがどういう形式でディスク上に保存されているかですね。 18.ログ "my_topic"というトピック名称を持つ2パーティションを持つトピックは"my_topic_0"と"my_topic_1"という 2つのディレクトリと、メッセージを保持するファイル群から構成される。 ログファイルのフォーマットは"ログエントリ"の配列となっている。 ログエントリは、メッセージ長(NByte)を4Byteの整数で保持している。 各メッセージは対象トピック/パーティション上の全メッセージ中の開始位置であるオフセットを64ビット整数で保持しており、 そのオフセットによって一意に識別される。 ディスク上に保存されている際のメッセージフォーマットは以下の通り。 各ログファイルはファイル中
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く