Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
Google Cloud FunctionsがRubyのサポートを発表。ローカル環境での開発やテストを可能にするフレームワークも
Google Cloud FunctionsがRubyのサポートを発表。ローカル環境での開発やテストを可能にするフレームワークも Google Cloud FunctionsはGoogl Cloud上でサーバレス環境を実現するサービスです。HTTPからのアクセスやストレージへのデータの保存などのイベントが発生すると、あらかじめ保存されていた関数が実行される仕組みを持ちます。 例えば、ストレージに画像が保存されると自動的にサムネイルを作成して保存する関数を実行する、HTTPでアクセスされるとデータベースからデータが検索され最新データをHTMLに書き込む関数を実行する、といったイベントドリブンな処理を効率的に実行できます。 Google Cloud FunctionsのRubyサポートにより、この関数をRubyで記述することが可能になります。対応するバージョンはRuby 2.6と2.7。 Go
SQLたったの2行で機械学習！BigQuery MLを用いたコロナ分析 - Qiita
はじめに 令和にもなるとSQLを2行書くだけで機械学習できてしまうようです。本記事では、表題の技術BigQuery MLの概要と使い方を調べ、世を騒がせているコロナの分析をしてみました。 「SQLで機械学習」や「コロナ分析」に興味がある方は覗いてみてください。 本記事の対象者 SQLだけで機械学習したい人 コロナ分析に興味ある人 機械学習を簡単に試してみたい人 機械学習はよく分からんけどデータベースはよくいじるという人 本記事の対象でない人 データとか機械学習とか難しいから興味ない人 機械学習モデルのアルゴリズムとか詳しく知りたい人 機械学習つよつよだから自分で独自モデル作って幅広い分析したい人 BigQuery ML概要 BigQueryとは BigQuery MLはBigQuery上のサービスです。BigQueryを知らない方のために簡単にBigQueryについて説明します。BigQu
リベンジ・オブ・毎時更新 Haskell Antenna - Haskell-jp
Haskell-jpのコンテンツの一つとしてHaskell AntennaというWebページの開発・運用をしております。 2019年の今頃、これを自動毎時更新しようと Drone Cloudによる毎時更新を設定しました。 しかし。。。なんと去年の3月ぐらいからこれが止まっています（どうやら、Drone Cloudのこの機能を利用してマイニングをした人がいたらしく止めてしまったようです）。 現在は僕がだいたい毎朝1回、手動でCIを回しています。。。 ずっとなんとかしなきゃなぁと思い続けてはや9ヶ月。 やっと重い腰をあげてなんとかしました！ というよりは、なんとかする方法を思い付いたので実装してみました。 Link to hereどうするか？ GCPにはalways freeプランというのがあり、GCEインスタンスの場合はf1-microであれば一台だけ無料です（2020/1現在）。 これに、
GCP Projectを消しちゃった話 - 839の日記
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の7日目です。 qiita.com 個人の趣味でやっていたやらかしなので、あまり大した内容ではありませんがご容赦ください。。 背景 趣味で運用していたVPSのサーバをGKEに移そうとしていました。 段階的に移行を進めていたため問題が発生した時点ではapp群はVPSで動いており、Cloud DNSのみGCPに移行済みな状態でした。 なぜ起こったのか Firebaseのプロジェクトを消してしまい、それに伴ってGCP側のプロジェクトも消えてしまいました。 背景に記載した通り、段階的に移行を進めていたことと以下のような理由が重なり消した直後は気づいていませんでした。 HTTPアクセスによる外形監視を入れていなかったため、VPS上のサービスが接続不可になっていることに気づかなかった VPS上のプロセス監視(macke
ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ 開発ツール／プラットフォーム ＞ 事例ニュース ＞ ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 開発ツール／プラットフォーム 開発ツール／プラットフォーム記事一覧へ [事例ニュース] ふくおかフィナンシャルグループ、次世代勘定系システムをGCPで稼働 2019年9月24日(火)日川 佳三、河原 潤（IT Leaders編集部） リスト ふくおかフィナンシャルグループは2019年9月24日、勘定系システムの構築基盤としてGoogle Cloud Platform（GCP）を採用すると発表した。システム開発子会社のゼロバンク・デザインファクトリーが研究開発している次世代バンキングシステムの基盤としてGCPを利用する。 ふくおかフィナンシャルグループは、システム開発子会社のゼロバンク・デザインファクトリーを通じて、2
Cloud Run: Container to production in seconds | Google Cloud
Build and deploy scalable containerized apps written in any language (including Go, Python, Java, Node.js, .NET, and Ruby) on a fully managed platform. New customers get $300 in free credits to spend on Cloud Run. All customers get 2 million requests free per month, not charged against your credits.
「AWSとGCPを“選択可能”にしておく」LIFULLに学ぶ長生きするインフラ構築術 - エンジニアHub｜Webエンジニアのキャリアを考える！
「AWSとGCPを“選択可能”にしておく」LIFULLに学ぶ長生きするインフラ構築術 多くの開発に導入されるクラウドサービスですが、LIFULL社では、AWSとGCP、両サービスを同時に使用しているそう。同社のインフラの変遷と、併用の背景を聞きました。 AWSとGCP、「どちら」を「どうやって」使うか サーバの肥大化を阻止するべく、オンプレからAWSへ移行 マイクロサービス化し、「影響範囲」を狭めることで得られたメリット 「使い分ける」のではなく、「両方を使える」ことが継続性を生み出す インフラ構築における技術的な選択肢はさまざまですが、なんらかのクラウドサービスを活用するということは多くのエンジニアが検討する手段でしょう。 昨今ではクラウドサービスは多くの企業から提供されており、エンジニアにとって多様な選択肢が提供される一方、どのサービスを選ぶべきかという悩みもあるでしょう。筆者の周りで
Cloud Spanner のハイレベルアーキテクチャ解説
Last update: 2018/7/5 Google Cloud でゲーム担当をやっているサミールです。 本日のトピックは私が大好きな Cloud Spanner となります。Cloud Spanner は GCP のフルマネージド・グローバルスケール・リレーショナルデータベース・サービスです。Cloud Spanner は裏では NoSQL でよくある分散データベースですので、NoSQL の特性を提供しております。 HA (高可用性）水平方向のスケーラビリティ（動的にダウンタイムなしにノードの追加・削除が可能）なお MySQL のようなリレーショナルDB と同じ特性も提供しております。 スキーマ強整合性SQL クエリ（ANSI 2011）言い過ぎかもしれないが、マルチマスターの MySQL というイメージで良いと思います。 注意点：Cloud Spanner は MySQL 互換では
Cloud Shell のドキュメント | Google Cloud
Cloud Shell は、Google Cloud のためのインタラクティブなシェル環境であり、これにより、Google Cloud を使用して学習とテストを行い、ウェブブラウザからのプロジェクトやリソースを管理できます。 Cloud Shell を使用すると、Google Cloud CLI やその他の必要なユーティリティがプリインストールされて完全に認証され、必要なときにいつでも、最新の状態で利用できます。Cloud Shell には統合された Cloud Code 機能を備えた組み込みのコードエディタが付属しており、クラウドベースのアプリの開発、ビルド、デバッグ、デプロイをすべてクラウド内で行うことができます。Cloud Shell の仮想マシン インスタンスで、インタラクティブ チュートリアルを起動することや、クローン作成したリポジトリを開くこと、ウェブアプリをプレビューすること
Google Cloud、インテルの不揮発性メモリ「Optane DC persistent memory」を利用開始。7テラバイトのメインメモリを持つ仮想マシンを提供
Google Cloudは、インテルが現在ベータプログラムとして展開している不揮発性メモリ「Optane DC persistent memory」を利用したクラウドサービスのアルファ版を提供開始すると発表しました。 Optane DC persistent memoryはメモリスロットに搭載することでサーバのメインメモリとして利用可能な不揮発性メモリです。 参考：インテル、DRAMと同じDDR4スロットに挿せる不揮発性メモリ「Intel Optane DC persistent memory」サンプル出荷開始、2019年に本格出荷へ 通常のメインメモリはDRAMが使われますが、Optane DC persistent memoryはインテルとマイクロンが開発した「3D XPoint」（スリーディークロスポイント）が使われています。 3DXPointは、DRAMとは異なり電源が失われても保
GitLab.com、200TB超のデータとともにAzureからGCPへ移行完了。三度の計画停止による予行演習を繰り返し、移行手順も公開
GitLab.com、200TB超のデータとともにAzureからGCPへ移行完了。三度の計画停止による予行演習を繰り返し、移行手順も公開 ソースコード管理サービスを提供するGitLab.comは、GitHubの競合として見なされています。そのため、今年の6月にマイクロソフトがGitHubを買収するとの報道の際には、大手企業の傘下にない独立したGitサービスの提供元として突如として注目度が上昇していました。 参考：GitLabへのインポートが普段の10倍に急増、GitHubの買収報道で その同じ6月、GitLab.comはこれまで同社のサービスを提供する基盤として利用してきたMicrosoft Azureから、Google Cloud Platformへ移行することを発表します。 I wrote a post about @gitlab's project to migrate our SA
Google、「Cloud Build」発表。ビルド／テスト／デプロイの実行をマネージドサービスで提供、1日あたり120分まで無料。GitHubと提携も － Publickey
Googleはクラウド上でソースコードのビルド、テスト、デプロイなどを自動的に実行してくれるマネージドサービス「Cloud Build」を発表。あわせてソースコードのリポジトリとしてGitHubとの提携も発表しました。 Cloud Buildは、クラウド上でDockerコンテナを利用してソースコードをビルドし、自動テストを行い、コンテナプラットフォームなどへデプロイするプロセスを自動的かつ高速に実行してくれるマネージドサービスです。 マネージドサービスのためセットアップや運用の手間はかからず、自動的にビルド処理がスケールアウトするため高速に実行されるなどの特長を備えています。 ソースコードのリポジトリとして、Google Cloud Source RepositoriesやGoogle Cloud Storageにアップロードしたソースコードなどを利用可能。GitHub Marketpla
パブリッククラウドやDocker Hubに最適化した「Minimal Ubuntu」がリリース
Minimal Ubuntu, on public clouds and Docker Hub(Canonical公式ブログより) Canonicalは2018年7月9日(米国時間)、パブリッククラウドおよびDocker Hubに最適したLinuxディストリビューション「Minimal Ubuntu」をリリースしたことを明らかにした。AWS(Amazon Web Services)およびGCP(Google Cloud Platform)を推奨パブリッククラウドとし、イメージファイルはWeb上からダウンロードできる。 Minimal Ubuntuはクラウド上の仮想マシン用OSとして設計し、標準のUbuntuと比較すると、イメージサイズは50%未満、起動は40%高速化した。Amazon EC2やGCE(Google Compute Engine)、コンテナはLXDやKVM、OpenStack
わかる！Firebase ～全てのサービスをおつまみ紹介～ - Qiita
はじめに Firebase がちょっとバズってるようなので、「Firebaseって何？どんなことができるの？」をざっとまとめました。 TL; DR（3行で言うと？） Google「君らサービス開発する時、毎回似たようなもの用意したり作るでしょ？それもうやっといたから。まとめてFirebaseって呼ぶわ。」 Google「サーバを持ってない？必要ならマシン貸すよ。もしサーバを管理したくないならソースコードだけくれたらそれで勝手にホスティングしてオートスケールするよ」 Google「お金？個人の趣味範囲なら要らんよ」 それぞれのサービスを紹介（アプリの開発とテスト編） Realtime Database NoSQL で JSON をやりとりできる DBサーバとクライアントがダイレクトに通信するイメージ 中間にサーバを経由しない分高速 その分セキュリティが心配かもしれないが、しっかり権限を絞れる
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Virtual Machine Threat Detection in Google Security Command Center Now Generally Available
Google Announces a Managed Cron Service: Google Cloud Scheduler
https://source.cloud.google.com/onboarding/welcome
Text-to-Speech AI: Lifelike Speech Synthesis | Google Cloud
GitHub - google/go-cloud: The Go Cloud Development Kit (Go CDK): A library and tools for open cloud development in Go.
