AWS DataSync でクロスアカウントの Amazon S3 ロケーションとの間でデータを転送してみた | DevelopersIO
アノテーションのスライマンです。 今回は AWS DataSync でクロスアカウントの Amazon S3 ロケーションとの間でデータを転送してみました。 下記のナレッジセンターを参考に追加の設定や変更を加えて、検証した結果をご紹介できればと思います。 AWS DataSync を使用して、クロスアカウントの Amazon S3 ロケーションとの間でデータを転送する方法を教えてください。 注意事項 クロスアカウントでのデータ転送をする際には、送信元のアカウントと送信先のアカウントを指定して、それぞれに必要なリソースやポリシーを設定致します。 まずはじめに、ナレッジセンターにも記載されている注意事項を含め、検証した際に実際に発見した注意事項をご紹介致します。 送信元アカウントと送信先アカウントを決めた後、S3 ロケーションを送信元アカウントか送信先アカウントのどちらかに作成するか決める必要
Amazon ECS コンテナメタデータファイル - Amazon Elastic Container Service
Amazon ECS コンテナエージェントのバージョン 1.15.0 以降では、コンテナまたはホストコンテナインスタンス内でさまざまなコンテナメタデータを使用できます。この機能を有効にすると、タスク、コンテナ、およびコンテナ内部のコンテナインスタンスまたはホストコンテナインスタンスに関する情報をクエリできます。メタデータファイルはホストインスタンスで作成され、Docker ボリュームとしてコンテナにマウントされるため、タスクが AWS Fargate でホストされているときは使用できません。 コンテナメタデータファイルは、コンテナがクリーンアップされるときにホストインスタンスでクリーンアップされます。ECS_ENGINE_TASK_CLEANUP_WAIT_DURATION コンテナエージェント変数により、クリーンアップを実行するタイミングを調整できます。詳細については、「自動化タスクとイ
Configuration and credential file settings - AWS Command Line Interface
You can save your frequently used configuration settings and credentials in files that are maintained by the AWS CLI. The files are divided into profiles. By default, the AWS CLI uses the settings found in the profile named default. To use alternate settings, you can create and reference additional profiles. You can override an individual setting by either setting one of the supported environment
New – AWS Public IPv4 Address Charge + Public IP Insights | Amazon Web Services
AWS News Blog New – AWS Public IPv4 Address Charge + Public IP Insights We are introducing a new charge for public IPv4 addresses. Effective February 1, 2024 there will be a charge of $0.005 per IP per hour for all public IPv4 addresses, whether attached to a service or not (there is already a charge for public IPv4 addresses you allocate in your account but don’t attach to an EC2 instance). Publi
Amazon ElastiCache Redis にリーダーエンドポイントを開始
お使いの Redis 読込みレプリカに単一のリーダーエンドポイントで接続できるようになりました。今までは、読込みレプリカに接続するには、アプリケーションレベルで複数のエンドポイントを管理する必要がありました。この新しい機能では、ひとつの、クラスターレベルのエンドポイントを通して、すべての読込みトラフィックをお使いの Redis クラスターの ElastiCache に向けることができます。 リーダーエンドポイントはエンドポイントに入ってくる接続を、Redis クラスタのすべての読込みレプリカ間に分割します。リーダーエンドポイントは、レプリカが追加、削除されるたびにクラスターの変化にリアルタイムで対応します。お使いの Redis クラスターの複数の読込みレプリカを別々の AWS アベイラビリティーゾーン (AZ) に配することで、リーダーエンドポイントの高可用性を確保できます。 リーダーエン
sqldefをMySQLに対してAWS Lambdaから実行するパッケージを作った - たごもりすメモ
k0kubun/sqldefはすばらしいプロダクトで便利に使ってるんだけど、もちろんDBに接続できる場所から実行する必要がある。で、DBはAWSのprivate VPCにあるのでラップトップやCI環境からやるというわけにはいかない。しょうがないので、現在はEC2インスタンスを作成して使うときだけ起動、終了したら停止してた。んだけど、これがまた面倒なんだよね。起動と停止も面倒だし、なんかあったときに確実に作り直せるようにするには……とか考えるのもダルいし、EC2へのSSHする方法やEC2へリポジトリをチェックアウトする方法も考えないといけないし。 なのでしばらく考えてたんだけど、Lambdaでやれるといいんだよな、という希望を現実的に考えて実装してみた。のがこちら。 github.com こいつは大変便利。リポジトリをcloneして、プライベートリポジトリからスキーマファイルを読み込むならデ
コスト安なCI環境を目指してオートスケールするCI環境を構築する - 電通総研 テックブログ
こんにちは。X（クロス）イノベーション本部 ソフトウェアデザインセンター の山下です。 今回はユーザーに合わせてオートスケールするGitHub ActionsのRunnerについて紹介しようと思います。 課題と目的 公式の推奨している方法について 構築の手順 事前準備 terraformの実行 terraformファイルの作成 terraformの実行 GitHub Appにhookの設定を追加 実際に利用する場合 まとめ 課題と目的 GitHub Actionsを使ってCIを実施するのは一般的になってきています。 ISIDでもGitHub Actionsを活用してCIを実施しています。 しかし、GitHub社が提供しているrunners(GitHub-hosted runners)では困る場合があります。「GitHub Actionsでオンプレミス環境のCI/CDを実行する方法」の記事で
ALB ターゲットグループのバランシングアルゴリズムを LOR にする - hagihala's blog
この記事ははてなエンジニア Advent Calendar 2022の27日目のエントリです。 問題 社内で運用している Fargate サービス (Perl の plack アプリケーションが動いている) において、以下のような問題が発生していました。 リクエストごとの処理の重さ (計算リソースの使用量や所要時間) に違いがあり、特定の task に重いリクエストの割り振りが偏ることがある Fargate task は表向きのコア数は同じでも、割り当たるハードウェアの世代によって処理能力が異なるケースがある (いわゆるインスタンスガチャ) このような偏りのある状態でアクセス増など全体の負荷が増加し、一部 task のワーカプロセスが全て busy な状態が一定時間続くと ALB のヘルスチェックに落ちて殺される 各リクエストを1つのプロセスが処理する、いわゆる prefork アーキテク
Amazon EC2 Instance Comparison
API Name Instance Memory Compute Units (ECU) vCPUs GiB of Memory per vCPU GPUs GPU model GPU memory CUDA Compute Capability FPGAs ECU per vCPU Physical Processor Clock Speed(GHz) Intel AVX Intel AVX2 Intel AVX-512 Intel Turbo Instance Storage Instance Storage: already warmed-up Instance Storage: SSD TRIM Support Arch Network Performance EBS Optimized: Baseline Bandwidth EBS Optimized: Baseline Thr
AWS Verified Access Preview — VPN-less Secure Network Access to Corporate Applications | Amazon Web Services
AWS News Blog AWS Verified Access Preview — VPN-less Secure Network Access to Corporate Applications Today, we announced the preview of AWS Verified Access, a new secure connectivity service that allows enterprises to enable local or remote secure access for their corporate applications without requiring a VPN. Traditionally, remote access to applications when on the road or working from home is g
New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services
AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y
Performance Insights API によるメトリクスの取得 - Amazon Relational Database Service
Performance Insights がオンになっている場合、API はインスタンスのパフォーマンスを可視化します。Amazon CloudWatch Logs は、AWS のサービスをモニタリングしたメトリクスの信頼性のある提供元です。 Performance Insightsは、平均アクティブ・セッション(AAS)として測定されるデータベースロードのドメイン固有のビューを提供します。このメトリクスはAPI利用者には2次元時系列データセットのように見えます。データの時間ディメンションは、クエリされた時間範囲内の各時点のDBロード・データを提供します。各時点で、その時点で計測された SQL、Wait-event、User、Host などのリクエストされたディメンションに関する負荷全体が分解されます。 Amazon RDS Performance Insights では、Amazon R
AWS、Amazon S3やEFSを爆速にする「Amazon File Cache」発表。複数のストレージを単一のビューでアクセス可能に
Amazon Web Services（AWS）は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー
Amazon DynamoDB now supports bulk imports from Amazon S3 to new DynamoDB tables
Amazon DynamoDB now makes it easier for you to migrate and load data into new DynamoDB tables by supporting bulk data imports from Amazon S3. Now, you can import data directly into new tables to help you migrate data from other systems, load test data to help you build new applications, facilitate data sharing between tables and accounts, and simplify your disaster recovery and business continuity
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - runs-on/runs-on: 10x cheaper GitHub Action runners. 5x faster caches. On premise.
AWS SDK for JavaScript v3
IAM Identity Center credential provider - AWS SDKs and Tools
GitHub - GuiTeK/aws-s3-oauth2-okta: OAuth2 Authentication Terraform module for AWS S3 static websites.
Amazon Aurora MySQL Database Administrator’s Handbook - Amazon Aurora MySQL Database Administrator’s Handbook
GitHub - benkehoe/aws-sso-util: Smooth out the rough edges of AWS SSO (temporarily, until AWS makes it better).
