Apache Iceberg とは何か - 流沙河鎮
はじめに 概要 Apache Iceberg(アイスバーグ)とは [重要] Icebergの本質はTable Specである Table Spec バージョン Icebergハンズオン Icebergの特徴 同時書き込み時の整合性担保 読み取り一貫性、Time Travelクエリ、Rollback Schema Evolution Hidden Partitioning Hidden Partitioningの種類 時間 truncate[W] bucket[N] Partition Evolution Sort Order Evolution クエリ性能の最適化 ユースケース Icebergのアーキテクチャ Iceberg Catalog Iceberg Catalogの選択肢 metadata layer metadata files manifest lists manifest f
Apache HTTP Serverのgraceful stop/restartを理解する
こんにちは、去年の8月に入社しましたMSP事業部エンジニアリンググループの鈴木です。 本記事は、Apache HTTP Server（以降「Apache」と略す）のgraceful stop/restart（以降、2つを指す場合「graceful」と略す）について調査・理解したことをまとめたものになります。具体的には以下について調査しました[※1]。 gracefulの概要、通常のstop/restartとの違いおよびユースケース systemd（systemctl）でgracefulを実行する方法 gracefulを実行する3つのコマンドの動作や関係性 gracefulを実行するコマンドの動作確認（ドキュメントの裏取り） 付録：graceful関連のソースコード解析（理解できている範囲のみ） なお、今回は私個人の学びの一環としてgracefulの基本的なことから調査しましたので、内容とし
ApacheのGraceful StopがSIGWINCHなのは何故か - Qiita
背景 httpd.serviceの中を覗いたとき、execstopがkill -WINCHを呼んでいるのを見つけた。 一体なぜ SIGSTOPではなくSIGWINCHなのか気になった。 結論 仕様 だけど、なぜそういう仕様なのかは分からない。 環境 CentOS7.1.503 3.10.0-229.el7.x86_64 vmware player signalの調査 まずは、man 7 signalでSIGSTOPとSIGWINCHを見てみる。 SIGWINCHはウィンドウリサイズを通知するシグナル SIGWINCHはデフォルト動作が無視される。 SIGSTOPはデフォルト動作が停止。 他のプロセスウィンドウリサイズを通知すると止まるのか。(止まらないはずだけど念のため) apache側の説明 The WINCH or graceful-stop signal causes the par
1台のサーバーで複数のステージング環境を同時に使えるようにする | PR TIMES 開発者ブログ
こんにちは、インフラチームテックリードの櫻井です。 今回は1台のサーバーで複数のステージング環境を同時に使用できるように設定を変更したので、その方法について紹介したいと思います。 背景 PR TIMESでは現在開発チームとは別にQAチームが存在し、開発チームの実装したコードが正しいことをステージング環境で検証しています。 しかし今まではステージング環境のサーバーが1台しかなく、誰かがステージング環境を使用している間、他の人は別のブランチをデプロイすることができないという問題がありました。 この状況ではQAチームの人員を増やしたところで検証作業のスピードを上げることができず、QAが開発フローの中でボトルネックになることは避けられない状況でした。 この状況を打破するため、複数のステージング環境を同時に使うことができるようにする必要がありました。 Apache設定の変更 今回サーバー1台で複数の
Apache HTTP Server 2.4.50におけるパストラバーサル脆弱性（CVE-2021-42013）の発見
2021年10月6日に、CVE-2021-41773の修正を含むApache HTTP Server 2.4.50がリリースされました。 当該CVEはパストラバーサルの脆弱性であり、この脆弱性が悪用されるとDocumentRoot外にあるファイルが、インターネットから閲覧される可能性があります。なおこの脆弱性はApache HTTP Server 2.4.49のみに存在するものであり、それより古いバージョンには影響しません SOCでは、10月6日より当該CVEを狙った通信をお客様環境にて観測しています。 当該CVEを狙ったスキャン通信の例を図-1に示します。 図-1 CVE-2021-41773の有無を確認するスキャン通信例 Apache HTTP Serverのシェア率の高さや攻撃の容易さなどを鑑み、筆者の所属する解析チームにて本脆弱性を検証し、詳細を確認しました。 確認時点では既に攻撃
PHPの脆弱性 CVE-2018-17082 によるキャッシュ汚染についての注意喚起
エグゼクティブサマリ PHPの脆弱性CVE-2018-17082はXSSとして報告されているが、現実にはXSSとしての攻撃経路はない。一方、Apacheのmod_cacheによるキャッシュ機能を有効にしているサイトでは、キャッシュ汚染という攻撃を受ける可能性がある。 概要 PHPの現在サポート中のすべてのバージョンについて、XSS脆弱性CVE-2018-17082が修正されました。以下は対応バージョンであり、これより前のすべてのバージョンが影響を受けます。ただし、Apacheとの接続にApache2handlerを用いている場合に限ります。 PHP 5.6.38 PHP 7.0.32 PHP 7.1.22 PHP 7.2.10 PHP 5.5以前も対象であり、これらは脆弱性は修正されていません。 脆弱性を再現させてみる この脆弱性のPoCは、当問題のバグレポートにあります。 PHP ::
ApacheでCGIを使う場合にpreforkを使った方が良い状況とそのチューニングについて - 人間とウェブの未来
かなり今更感の漂う内容ではありますが、意外と情報が分散していたり、Apache2.4系を考慮した場合に足りていない内容があったのでこのエントリで一度まとめてみようと思います。 CGIを使うようなシステムでそれなりにアクセスが集中するサーバ、例えば日々のピーク時のApacheのbusyワーカー数が1000になるようなサーバで、かつ、それを処理可能なマシンスペックのサーバであることを前提にしています。 ApacheのMPMとCGI実行アーキテクチャの復習 ApacheでCGIを使う場合には、MPMとCGI実行アーキテクチャの組み合わせは大きく分けて以下の2つに分ける事ができます。 worker(event) + mod_cgid prefork + mod_cgi Apacheの2.4系から特にworker(event) + mod_cgidのモデルが推奨されているようです。また、2.4系では
SSLオフロード構成でアプリからリダイレクトを返却する場合のTips - Qiita
ここで、ApacheはReverse Proxyとして動作することになります。 このApacheの設定をどのようにするべきか、が本稿のポイントとなります。 なお、本稿で用いるドメイン名は「example.com」若しくは「www.example.com」とします。 Apache設定 種々の都合から、Webサービス提供に用いるドメインをname-basedなvirtual hostとして定義する必要があります。 この場合、ServerNameディレクティブで下記のように設定する必要があります。 <VirtualHost *:8443> ServerName https://www.example.com:443 ProxyPass / http://127.0.0.1:8080/ ProxyPassReverse / http://127.0.0.1:8080/ # ※他の設定は省略 </V
テストで実際に見たウェブサーバの「遅い」状態とは - Qiita
さくらインターネットのアドベントカレンダー25日目が空いてしまったので、ウェブサーバのチューンナップについて書くことにしました。 私は今日からお休みですが、さくらインターネットは年末年始も休まずに働いていますので、ご安心ください。 年末年始のシフトに入ってくれた社員の皆さんに感謝です。 ということで、責任を持って空いたカレンダーの埋め合わせをさせて頂きますｗ サーバのレスポンスが遅いとは？ なんだかサーバのレスポンスが悪いなぁってことは皆さんも体験されたことあると思います。 原因としては大きく分けて2種類あり、ひとつはApacheやnginxなどのウェブサーバソフトウェアの設定において同時に処理できる上限に達しているケースと、サーバ自体の負荷が高まっているケースです。 前者はApacheでいうとMaxClientsを調整することで対応できますが、そもそもサーバの性能以上にMaxClient
Apache2(httpd)の監視 ~ mackerel-plugin-apache2を読み解く - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の2日目です。 qiita.com soudai.hatenablog.com それでは2日目は mackerel-plugin-apache2 です。 ここではApacheの細かい説明は割愛します。 mackerel-plugin-apache2はWebServerとして広く使われているApache2専用のpluginです。 こちらは README.md にも書いてある通り、 server-status を可視化してくれるプラグインで簡単に導入することができます。 github.com インストールと設定手順 本プラグインはプラグイン集として提供しているパッケージの mackerel-agent-plugins に含まれています。 インストール先は /usr/bin/mackerel-plugin-apache2
「Docker」を利用して作るモダンなPHPの開発環境 | ビジネスとIT活用に役立つ情報（株式会社アーティス）
いまさらですが、Docker使っていますか？ アーティスでも少し前からDockerを利用して開発するようになりました。Dockerをご存じではない方に簡単に説明しておきますと、Dockerはすごく軽量な仮想化環境です。 仮想化技術といえばVMwareやVirtualBoxなどが有名でアーティスでも利用していますが、これらの仮想化技術はマシンレベルでの仮想化を行いますが、DockerはOSレベルでの仮想化を行います。 Dockerでの仮想化環境は、ホストのLinuxカーネルを共有しているのでオーバヘッドが小さく、既存の仮想化技術と比較した場合、軽くて速いことが特徴です。 そんな開発が捗るDockerなのですが、少しとっつきにくい部分もあるので、PHP7+Apacheで必要最低限の開発環境を作る方法を紹介してみたいと思います。 ここから先の内容は、ホストOS側にDockerがインストール済みで
GitHub - apache/superset: Apache Superset is a Data Visualization and Data Exploration Platform
Superset is a modern data exploration and data visualization platform. Superset can replace or augment proprietary business intelligence tools for many teams. Superset integrates well with a variety of data sources. Superset provides: A no-code interface for building charts quickly A powerful, web-based SQL Editor for advanced querying A lightweight semantic layer for quickly defining custom dimen
第66回PHP勉強会でPHP-FPMの話をしました - hnwの日記
3月27日に開催された第66回PHP勉強会でLT発表してきました。以下が発表資料です。 発表内容は、 PHP-FPMとuWSGI+PHP pluginを試してみた話と、PHP-FPMの面白機能紹介といった内容です。 個人的にPHP-FPMの記事は絶賛記事が多すぎて気持ち悪いと感じていたので、そこまで絶賛するほどかなあ？という主張をしてみました。 というのも、よくApache+mod_phpという1サーバ構成とnginx+PHP-FPMという2サーバ構成を比較していたりするんですが、静的コンテンツと動的コンテンツが入り乱れる状況なら後者の方が有利なのは当然で、公平に比較するならApacheの前段にnginxを入れるべきだと思います。 もちろん、ノウハウゼロの状態からならnginx+PHP-FPMの方が最適な設定に早くたどり着けそうですし、今後ますます期待できるソリューションだと思うので、普通
ApacheとPHPが動くコンテナにUID/GIDの空間を動的に割り当ててhaconiwaで起動させる - 人間とウェブの未来
hb.matsumoto-r.jp 前回の記事では、PHPが動くApacheのコンテナをhaconiwaを使って沢山起動しました。しかし、前回のコンテナは、 同じコンテナイメージがあるディレクトリを複数コンテナで共有している ホストから見てもuid/gidがapacheで全て起動している pidもホストとコンテナで共有している というように、コンテナとホストの空間が混在した状況になっていました。そこで、今回はさらに踏み込んで、よりコンテナを独立した環境にするべく、 動的にコンテナイメージのtar.gzからそれぞれの独立したコンテナ用のディレクトリを用意する 動的に各コンテナにホストのuid/gidレンジを切り出し、コンテナ内ではuid=0からレンジの数だけマッピングする 例えば100個のuidレンジ（80000 ~ 80099）をコンテナ内では（0 ~ 99）とみなせるようにする 動的にマ
Rubyの未来を感じるようなmod_mrubyでApacheと戯れてみる
今回はmod_mrubyを使ってApacheと戯れたいと思います。 mod_mrubyとは、ペパボのMATSUMOTO Ryosuke氏が作成されたApacheのモジュールで、Rubyを使ってApacheのモジュールが作れるという代物のようです。 「ApacheモジュールをRubyで効率良く実装するためのApacheモジュール。」とのことです。 Apacheのモジュールを作る！なんて敷居が高くて全く手を出したことも考えたこともなかったわけですが、見ながらちょこっと弄くるくらいなら出来そう？ ってことで、やってみますか。 まずは、それどこ情報？どこ情報よー？(・∀・) 人間とウェブの未来 mod_mrubyインストール後入門 200万 Webサイトを支える ロリポップ！と mruby 上のリンクからの情報です。 最初に書いておきますが、新しい試みはしていません！スパーン 参考サイトを見ながら
Apacheやnginxの同時接続状況における各リクエストの任意の属性をカウントする拡張を作った - 人間とウェブの未来
先日、ApacheやnginxといったWebサーバにおいてDoS的アクセスを検知して任意の制御を行うhttp-dos-detectorを公開しました。 hb.matsumoto-r.jp 上記の拡張も非常に便利なのですが、もう少しシンプルに、現在のサーバに対するリクエスト状況においてとある属性、例えば、どのファイルにどれだけアクセスが発生しているかを計測したい場合があります。これまでは、そういった情報をApacheのスコアボードの範囲内で情報を得たりしてきました。 しかし、Webサービスの高度化に伴い、もう少し柔軟にアクセス状況を計測し、その計測を元に任意の制御をプログラマブルに行いたい場合があると思います。 そこで、それを実現するための拡張を、mod_mrubyとngx_mrubyを利用して実装しました。つまり、Apacheとnginx両方で動きますし、mrubyの実装コードも同じになっ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://lists.apache.org/thread.html/rab2a820507f7c846e54a847398ab20f47698ec5bce0c8e182bfe51ba%40%3Cdev.mesos.apache.org%3E
GitHub - syucream/ts_mruby: Enchant Apache Traffic Server with mruby power.
セキュリティと性能要件を同時に満たすWebサーバホスティング技術の最新動向 / virtualhosting-security-performance-operasion
オープンソース全文検索サーバー Fess
