Amazon Aurora MySQLのSystem Databaseが破損していたので、AWSのサポートに直してもらった話 - ITANDI Engineer Blog
はじめに イタンジのエンジニアリングマネージャーの田渕です。 イタンジで採用を検討しているDebeziumという技術では、(使い方によっては)MySQLのSystem Databaseの一つであるmysql.hostテーブルというテーブルにアクセスする必要があります。 先日、その検証をAmazon Aurora MySQLのとあるインスタンス上で行っていたところ、そのインスタンスのmysql.hostテーブルが破損していることが判明しました。 いろいろ試しましたが、自力では復旧することが不可能であり、最終的にはサポートの方に直していただきました。 めったに無いことかとは思いますが、同様の現象に陥った方の助けになればと思い、詳細を書いていきます。 現象 SHOW TABLESをした結果には、mysql.hostテーブルが存在しますが、SHOW CREATE TABLEをすると、テーブルが見つ
Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
Amazon AuroraのMySQL 5.7互換が正式リリースされました | DevelopersIO
◯| |南米 (サンパウロ)|◯||| ### 新機能 MySQL 5.7互換であるため、MySQL 5.7としての新機能が追加されています。代表的なものは以下のとおりです。 - JSONサポート - 空間インデックス（Amazon Auroraは独自に空間インデックスを実装しています） - 生成カラム（generated column） JSONサポートは嬉しい方が多いのではないでしょうか。多用するとリレーショナルモデルから逸脱するので適度な使用が良いと思います。 生成カラムは別のカラムの内容を基に計算した結果を取得できるカラムです。データの取り出しに柔軟性（コード -> 値の変換がアプリ側で不要など）が生まれます。 13.1.18.8 CREATE TABLE and Generated Columns 既存Auroraからの移行 Aurora MySQL 1.14、1.15、1.16
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap） - Qiita
MeltdownとかSpectreとか騒ぎがあったので、Amazon Aurora（MySQL互換）R4インスタンス再テスト（mysqlslap）MySQLAWSAurora 2018/01/13追記： 「AWSが再度パッチを当てたみたい」という情報があったので、3度目のベンチマークを行ったところ、db.r4.largeおよびdb.r4.xlargeについて、2017/10/末頃とほぼ同じ速度に戻ったことを確認しました。 「AWS、またパッチ当てたってよ」と聞いたので3度目のAurora（MySQL互換）R4テスト（mysqlslap） （以下、古い情報なので現在とは状況が異なります。） 以前、R4インスタンスが使えるようになったときにmysqlslapで性能テストをしたので、今回、同じ条件で再度R4インスタンスだけmysqlslapしてみました。 Amazon AuroraでR4インスタ
［速報］Amazon Aurora Multi-Master発表。マスターサーバの分散配置でライト性能がスケール、耐障害性も向上。AWS re:Invent 2017
［速報］Amazon Aurora Multi-Master発表。マスターサーバの分散配置でライト性能がスケール、耐障害性も向上。AWS re:Invent 2017 「Amazon Aurora」は、2014年にAmazon Web Services（AWS）が、発表したエンタープライズ向けのリレーショナルデータベースサービスです。 それまでOracleなどの商用データベースが用いられてきた基幹業務向けデータベースの用途を想定し、クラウドに最適化した設計による高性能と高可用性を実現するサービスとして提供されてきました。 AWSは、米ラスベガスで開催中の年次イベント「AWS re:Invent 2017」において、このAmazon Auroraの新機能「Aurora Multi-Master」を発表しました。
Database engine updates for Amazon Aurora MySQL - Amazon Aurora
Amazon Aurora releases updates regularly. Updates are applied to Aurora DB clusters during system maintenance windows. The timing when updates are applied depends on the region and maintenance window setting for the DB cluster, as well as the type of update. Amazon Aurora releases are made available to all AWS Regions over the course of multiple days. Some Regions might temporarily show an engine
Amazon Auroraのバージョン1.12で高速DDLが実装されました | DevelopersIO
大栗です。 先程Aurora 1.12がアナウンスされました。目玉機能として高速DDLがあるのでご紹介します。 Announcement: New Aurora Release 1.12 Now Available Amazon Aurora Supports Fast DDL Operations AWS Database Blog Amazon Aurora Under the Hood: Fast DDL バージョン1.12は必須のアップグレードではありません。バージョン1.12はクラスタの全ノードに対して同時に適用されるクラスタパッチモデルになっていますので、既存のクラスタをアップグレードする場合はご注意下さい。 高速DDL re:Invent 2016でオンラインDDLの高速化がアナウンスされていましたが、今回のバージョンで実装されました。なお有効化するにはLab Modeを設定
AWS Database Migration Serviceを使ったデータ移行手順まとめ(MySQLからAurora編) | DevelopersIO
Using a MySQL-Compatible Database as a Source for AWS Database Migration Service - AWS Database Migration Service ターゲットDB(Aurora)側の前提作業 こちらも同様にDBエンジン別にドキュメントが用意されていますので、目を通すことには変わりありません。ただ、今回のケースでは移行先のデータベースはこれから作成するものなので、新規に用意したRDSインスタンスに管理者ユーザで接続することにしました。ターゲットDBがAurora(またはMySQL)の場合、下記設定をターゲットエンドポイントのExtra Connection Attributesに設定しておくことで、外部キー制約を無視する形でデータ移行を行うことができます。後にも触れますが、今回のケースではこの設定が非常に有効でし
Aurora強化、Auto Scaling for EC2 Spot Fleets、小島ロス
「Section-9吉田真吾のAWS関連ブログまとめ」は、AWS関連の最新情報をまとめているSection-9 吉田真吾さんのブログ転載になります。今週は9月4日までのアップデートの振り返りです。 どうも、セクションナイン の 吉田真吾（@yoshidashingo）です。 ちょっと涼しくなってきましたね。気づけばもう秋です。 先週は小島ロスがあまりにもデカかったですが、個人的にもサーバーレスコミュニティを始めたり、JAWS-UG横浜のリブート計画を立てたりと、コミュニティについてあらためて考えることが多かったなと思いました。 JAWS-UG横浜支部は11月、12月に横浜のどこかで勉強会を開催したと思っているので、興味のある横浜近辺のエンジニアさんや会社さんで運営手伝ってくれたり、会場貸してくれるというところがあればご連絡いただきたいです。30〜60人くらいの規模を想定したいと思います。
【新機能】Amazon Aurora で読み込みエンドポイントが利用可能になりました | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日、Amazon Auroraで読み込みエンドポイント（Reader Endpoint）が発表されました。今までは、インスタンスエンドポイント（Instance Endpoint）とクラスターエンドポイント（Cluster Endpoint）が利用できましたが、新しいエンドポイントについて試してみました。 読み込みエンドポイントとは 現在Auroraには、以下の3種類のエンドポイントがあります。クラスターエンドポイントはWriterを指すエンドポイントで、インスタンスエンドポイントは各インスタンスを指しエンドポイントです。今回追加された読み込みエンドポイントはReaderを指すエンドポイントです。 クラスターエンドポイント（Cluster endpoint） インスタンスエンドポイント（Instance endpoint） 読み込みエ
Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール
Google、MySQL互換の第二世代「Cloud SQL」正式リリース。ベンチマークを公開し、Amazon Auroraより高速だとアピール Googleは、Google Cloud Platformで提供しているマネージドサービスのMySQL互換データベースである「Cloud SQL」を正式版としてリリースしました。 Cloud SQLは2011年に発表され、2015年12月には性能を強化した第二世代が登場、最大10テラバイトのデータ容量とインスタンスあたり最大104GBメモリを提供し、最大2万IOPSの性能に達すると説明されていました。 正式版リリースにあたり、同社はブログ「Google Cloud Platform Blog: Cloud SQL Second Generation performance and feature deep dive」で競合となるAmazonクラウド
EngineyardからAWSに移設してAuroraの運用を開始した - トレタ開発者ブログ
どうも佐野です。トレタのインフラはEngineyardでワオワオやってたんですが、あの、なんていうのAurora？それを使いたかったわけです。 さて、私が書いた前々回の記事にて、「コア機能のAWS化」を今後のTODOとして挙げていましたが、5/9にEngineyardからAWSへの移設が完了していました。EngineyardはRailsやnodejsなどのWEB-DB環境を簡単に構築できるPaaSです。Herokuとの違いはサーバにsshしたり、chefを利用してFluentdなどのミドルウェアを入れたり、既存のコンフィグレーションをカスタマイズしたりすることができる点が挙げられます。比較的自由度の高いPaaSと言えるでしょう。トレタでは創業〜先月までお世話になりました。 今回は移設とAuroraの運用に関するTipsの紹介になります。なお、本記事に示す設計・運用方針はAWSのソリューショ
密着 24時！ MySQL 5.1 から Aurora への移行100日間 〜 Backlog 編 | 株式会社ヌーラボ(Nulab inc.)
Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログ にあるように複数の運用環境があります。 その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。 移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で
11/10 Amazon RDS for Aurora 東京ローンチ記念セミナーに行ってきました - なるべくシンプルに
タイトルの通り、 「Amazon RDS for Aurora 東京ローンチ記念セミナー」 に参加してまいりました。 AmazonWebServicesの皆さまはAuroraTシャツ着てました。かっくいー。 さて、とてもタメになったので、講演内容を速報したいと思います。 Auroraとは ステキなまとめ資料があったのでそのままシェア。 AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora from Amazon Web Services Japan www.slideshare.net (けして書くのがめんどくさかったわけではありません。キリ) 以下、AmazonWebService安田さんからのトピックです。 TalendがAurora対応したとのこと！ DataSpiderもAurora対応したとのこと！ SVFクラウドもAuror
続・RDS MultiAZの性能比較値を追加 | 外道父の匠
前回、無様にも記事公開直前にRDSのMultiAZ分の検証が足りないことに気づいたものの、その時点では飽きてゲッソリしていたので、追試験する気力もなくゴメンナサイしてポチッてしまいました。が、やはり思い直しまして、というか自分でも気になるところなので、恥を忍んでRDSのMultiAZ版のデータも取得して比較考察してみることにしましたウェーイ（ごまかし）。 すぐに取り掛からなかったのは、息子の専用部屋を増やすために同マンション内での引っ越しをしていたからです（近況報告）。それでは、参りましょう。 RDS MultiAZのデータと考察 同期構成についての考察なので、前回データから一部非同期系を削除し、RDS MultiAZのデータを追加（赤枠）しました。 また、結果が思ったよりアレだったので、再びSingleAZでも実行してみましたが、結果はほぼ前回と同じだったのでそのままにしてあります。 R
Amazon Auroraを真に理解するための性能検証 | 外道父の匠
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【JAWS DAYS 2016】ランサーズを支えるAurora
ついに解禁！Amazon Aurora徹底検証！