分散ユーザー管理システム「etcdpasswd」の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリ基盤チーム兼Necoプロジェクト所属の @ueokande です。 本日はNecoで開発しているUNIXユーザーの管理ツールである「etcdpasswd」を紹介します。 github.com etcdpasswdは、etcdをバックエンドに持つ分散型のユーザー管理システムです。 etcdpasswdは自律型の分散システムで、一時的にホストがダウンしても、次回起動時にetcdのユーザーを参照して同期します。 etcdpasswdはLDAPのようなNSS (Name Service Switch) が外部サービスに問い合わせるのではなく、etcdpasswdが各ホストにある /etc/passwd を更新します。 なぜetcdpasswdなのか 現在のcybozu.comデータセンターでは、各ホストのユーザー追加・更新は、MySQLでユーザー管理されており、管理者が適用したタ
etcdからkubernetesの動きを見る「kube-ectd-helper」 - febc技術メモ
多分すごく限られた層にだけ響くツール「kube-etcd-helper」を作りました。 kube-etcd-helperは、kube-apiserverが利用しているetcdに直接アクセスし、 データのダンプや変更の検知を行うためのツールです。 kubernetesの全体のデータの動きを知りたい方や、kubernetesを開発プラットフォームとして利用するインフラエンジニアの方などは便利にお使いいただけると思います。 kube-etcd-helper Kubernetesオブジェクトの中身を見るには Kubernetesオブジェクトとは、Kubernetesのクラスタの状態を表す永続化されるエンティティのことです。 podとかserviceとかdeploymentなどですね。 Understanding Kubernetes Objects これらは通常kube-apiserverによって
Vulcand を使って Docker コンテナをブルーグリーンデプロイする - Qiita
概要 vulcand という HTTP プロキシを使って Docker コンテナをブルーグリーンデプロイするという話。 Consul と Nginx を組み合わせて動的にロードバランスするという話とやりたいことは同じだと思う。 vulcand とは vulcand は、Mailgun というメール系 SaaS の開発チームが作った HTTP プロキシ。 etcd をバックエンドに利用した HTTP プロキシ 再起動なしで設定を反映できる HTTP API と CLI プラガブルなミドルウェア ゼロダウンタイムデプロイのサポート リアルタイムメトリクスレポート TLS と certificate の管理 といった特徴を持つ。設定ファイルを etcd に保存して再起動なしで設定反映できるというのが非常に便利なポイントだと思う。 vulcand の仕組み vulcand に 以下の 2 つの主要
Engineering at Monsanto: AWS上でのetcdのクラスタリング | Yakst
バイオ化学メーカーのモンサントはAWS上にetcdのクラスタを展開している。興味があったので読んでみた。 概要 数ヶ月の間、我々のチームはAWS上で自動化されたDockerコンテナを構築することにフォーカスしている。我々はCoreOSを基盤として使おうと決めた。CoreOSはコンテナをコアとした軽量なOSだ。 各マシンのコンテナのスケジューリングとしてfleetを使っている。fleetはホストがターミネートされたとしてもコンテナを稼働させ続ける。 CoreOSとfleetはクラスタ内のすべてのマシンと、稼働しているコンテナの状態を共有する必要がある。 これにはetcdが効果的だ。etcdはクラスタの情報と共通のコンフィグを保存する分散キーバリューストアとして使われる。 巨大なプロダクション環境にて、etcdは3つもしくは5つのホストで稼働するよう設計されている。 Bootstrapの問題
etcd Clustering in AWS
Configuring a robust etcd cluster in an AWS Auto Scaling Group Posted by T.J. Corrigan on June 12, 2015 Overview For the last few months our team has been focused on building a robust, highly automated Docker container infrastructure in AWS. We choose to use CoreOS as our base operating system because it is lightweight and container-centric. We are using fleet, another CoreOS project, to handle sc
CoreOS + flannel で複数ホスト間コンテナ通信をする - Qiita
CoreOS が提供する flannel を使って、複数の CoreOS マシンを跨いで Docker コンテナ同士通信できるようにする、というお話です。 もともと Kubernates には似たようなホスト間通信機能がついていたのですが、Google Compute Engine (GCE) 上でしか使えないという欠点がありました。これを取り出し、汎用的に使えるようにしたのが flannel です。 また、似た機能を持つものに weave がありますが、weave は導入が少々面倒な上に相手ホストの IP を明示的に指定してあげないといけません。その点 flannel は CoreOS 上での導入が簡単で、相手の IP を知らなくてもよく透過的に利用できるという利点があります。ホストに割り振られる IP が不定である EC2 + VPC 構成でも使いやすいでしょう。 イメージ図はこんな感
SQL Query Builder | AppMaster
As a developer or database administrator, managing and querying large data sets can be daunting. Traditional SQL queries can be complex and time-consuming, making it difficult to extract the information you need promptly. This is where SQL query builders come in. These powerful tools simplify creating and managing databases, allowing you to focus on the task. In this article, we will explore the b
etcd/consulに認証情報を安全に保存する
etcd/consulに認証情報を安全に保存する 分散Key-Valueストアとしてetcdやconsulの利用が増えている．ここにアプリケーションの設定値などを保存し，各ホストからそれらを購読して利用する． また，X-as-a-Serviceといった外部サービスの利用も多くなってきた．その場合API Tokenやパスワードといった認証情報が必要になる．PaaSやTwelve-factor的なアーキテクチャを採用する場合は，それらの値を環境変数に保存して利用することが多い（危険であるという意見はある．cf. http://techlife.cookpad.com/entry/envchain）．etcdやconsulといった分散Key-Valueストアの利用を前提としたアーキテクチャでは，そこに外部に漏らしたくない設定値も一緒に保存してしまうのがシンプルになる． しかし，そういった設定値を
Service Discovery Overview – DavidTheCoder
When building microservices, you have to naturally distribute your application around a network. It is almost always the case that you are building in a cloud environment, and often using immutable infrastructure. Ironically, this means that your virtual machines or containers are created and destroyed much more often than normal, as this immutable nature means that you don’t maintain them. These
Coordination Service(ZooKeeper，etcd ，consul) の比較
概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordination Service の比較を行う． Chubby から現在まで Paxos が Google の手によって Chubby という形で実用化された後，故障検出+分散合意アルゴリズムを用いた高可用KVSという組み合わせによる Coordination Service のオープンソース実装がいくつが出てきた．そのはしりが ZooKeeper である．ZooKeeper は Hadoop ファミリではデファクトスタンダードの Coordination Service であり，Hadoop を初めとして HBase，M
The History of etcd | CoreOS
Red Hat Enterprise Linux 8.8 and 9.2 leverage Intel’s 5th Gen of features including higher cpu count, faster DDR5 memory, larger 3rd level caches, improved interprocessor bandwidth, and complete implementation of Intel’s Advanced Matrix Extensions. Included in this blog are two new Dell SAP HANA BW...
CoreOS on EC2でDockerコンテナをクラスタリングする | DevelopersIO
はじめに ここ最近のDockerムーブメントの中で、キーワードとして良く取り上げられるようになったものの一つにCoreOSがあります。つい先日もGoogle Compute EngineがCoreOSを正式にサポートしたことが大きな話題となっていました。 CoreOSはLinuxディストリビューションの一つです。細かい説明については、外部サイトになりますがCoreOS 入門 - Qiitaという記事が非常に参考になりますのでご一読下さい。 ざっくり書くと、仮想化コンテナを大規模に運用することに特化したLinuxOSです。etcdという分散KVSとfleetという分散システムによるクラスタリング機能を標準的に持っています。 そこで今回は、Amazon EC2上でCoreOSを導入し、更にfleetを使ってDockerコンテナをクラスタリングして起動させる、ということをやってみました。 やった
etcd + docker で簡単にリモートコンテナに接続しよう - Qiita
Docker 盛り上がってますね。 色々使ってみるとこんなこと思うことありませんか？ NAT じゃなきゃ楽なのに 他ホストの Docker と Link できたら楽なのに そうです。色々使ってみるとネットワーク周りをどうするか？という問題にぶつかります。 導入、運用を考えてる方々は多くの場合、この問題に取り組まないといけなくなると思います。 では問題をおさらいしてみましょう Docker のネットワークの問題 Docker はポータビリティを上げるため他コンテナに IP, Port 番号などを教える機能を提供しています。 Link 機能です。 $ sudo docker run -d --name redis crosbymichael/redis $ sudo docker run -t -i --link redis:db ubuntu bash root@451f4256fbc8:/
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
CoreOS が提供してくれるもの - Qiita
CoreOS の提供してくれる etcd と fleet を少し触って見たのでまとめることにします。 あんまり頑張って CoreOS のドキュメントを読んでいないので理解に間違いがある可能性があるので、編集リクエスト大歓迎です。 詳細なエントリー @mopemope が書いてくれています。詳細に知りたい方はコチラを読むと良いです。 入門と書いてある割にまったく入門ではないので注意。 CoreOS 入門 - Qiita CoreOS は Docker を提供してくれる便利 OS というイメージが広まってますが、それはあまり適切ではありません。 CoreOS はクラスター機能を持っているモダンな Linux です。もちろん Docker も入っていますが、それはベースの一つというだけです。Docker を使うだけなら Ubuntu に Docker をインストールして使う方が良いでしょう。 C
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://talwai.github.io/
GitHub - kelseyhightower/confd: Manage local application configuration files using templates and data from etcd or consul