【未経験者大歓迎】RAG超入門：AWSが推奨するRAGを体験するハンズオン - Qiita
2024/5/5更新：生成AIに興味を持った方向け、続編を投稿しました。 「Qiitaに聞いた！！」をAmazon Bedrockで作った！（Claude 3でRAG） タイトルはふざけてますが、プロンプトエンジニアリングにより本投稿と同様の内容を行う解説をしています。 （BedrockのClaude 3モデルと、Google検索を使った構成です） 生成AIはとても注目度が高い技術ですが、すこしとっつきにくいところがあるかもしれません。新しいモデルや活用手法が毎日のように登場し、ウォッチし続けるのはかなり大変です。 タイミングを逃して入門できていない方向けに、 とりあえず作って体感してみよう というコンセプトで、ハンズオン記事を作成しました。🎉🎉🎉 ハンズオンの内容は「RAG」です。RAGは生成AIの活用法としてよく出てくるキーワードです。ハンズオンでは、ただのRAGではなく最先端の
LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO
OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本以上でインデックスを作り、どのような返答が返ってくるのか試してみました。LlamaIndexとは、簡単な実装で個別のインデックスを作成しOpenAIのモデルに対して問い合わせできるインターフェースです。詳細は以下をご確認ください。 インデックスの対象となる記事 AWS CDKのタグが付いている記事で、2021年12月21日から2023年3月8日までの合計240本の記事を対象にします。こちらで1つのAWS CDKというジャンルに対し
Terraform だけだとハードモードなので Terragrunt を使おう - Qiita
Terraform はそのままだと管理が大変 みなさん IaC (Infrastructure as Code) してますか？パブリッククラウドをIaCするなら、 Terraform が便利ですね！ しかし、本格的に使い始めると、こういう問題がすぐに出てきます。 複数環境の楽な分け方を知りたい ワークスペースはなんか嫌だ とはいえ、環境間で共通するボイラープレートをどうにかしたい 環境内で適用するモジュールを細分化・分岐したいけど面倒 環境ごとに使うモジュールを切り替えたい テスト環境はAuroraではなく安いRDSにしたい モジュール(tfstate)を分割して小さい範囲で適用したい 大きなモジュールは影響範囲がわからないし、差分計算にそれなりに時間がかかってしまう 分けたモジュールを一括適用するのが面倒 モジュール間の依存関係がわからない モジュール(tfstate)間での値参照が面倒
「インフラエンジニアには難しい」「手でやったほうが楽」も解消 これからCDKを使う人向けの4つのナレッジ
「AWS CDK Conference Japan」は AWS CDK ユーザーが集まって事例やノウハウを共有しあうイベントです。今回は、CDKv2をメインテーマに、初の大型カンファレンスが開催されました。アマゾンウェブサービスジャパンの大村氏は「Baseline Environment on AWS （BLEA）開発にあたって検討したこと」をテーマに発表しました。まずはCDKとBLEAについて解説したのち、これからCDKを使う方たちへのナレッジを紹介します 自己紹介 司会者：次は、今までがんばってCDK（Cloud Development Kit）を普及させてきた大村さんです。 大村幸敬氏（以下、大村）：よろしくお願いします。 司会者：初めて聞く単語なんですが、読み方は「ブレア」でいいですか？ 大村：「ブレア」でいいです。 司会者：準備ができたらBLEA（Baseline Environ
RemixでAWSサーバレス構成を手軽に作成できるGrunge Stackを試してみた | DevelopersIO
はじめに こんにちは、CX事業本部MAD事業部の森茂です。 先日リリースされたRemix Stacks、Remixチームが公開しているAWSを利用したサーバレス構成のGrunge Stackテンプレートがどのような構成になっているのかを調べるために早速デプロイまでの流れを試してみました。 Grunge Stack Grunge StackはAWSを利用したサーバレス構成のアプリケーションテンプレートです。サーバレスフレームワークとしてはArchitectを利用しています。データベースにはDynamoDBを利用し、アプリケーションはCloudFormationを利用してLambdaへデプロイされAPI Gatewayを介して公開されます。また開発用にローカル環境のサンドボックス環境も用意されているのでAWS環境へデプロイせずに動作を確認することが可能です。（サンドボックス環境のDynamoD
S3のブロックパブリックアクセスが怖くなくなった【AWS S3】
設定画面の日本語の意味が理解できない この画面。 S3これから使っていこうというユーザーの心を闇へ引きずり込み、そっとキャンセルボタンへマウスカーソルを誘導する設定画面だと思います。 S3の基礎なのかもしれませんが、すごく分かりづらい。 アクセス許可の種類 ブロックパブリックアクセスの説明の中にいくつか重要な単語が出てきていたかと思います。 パブリックバケットポリシー アクセスポイントポリシー アクセスコントロールリスト（ACL） これらは、S3にはいくつかアクセス許可の手段がありそれらを制御するためのポリシー類になります。 これを絵するときっとこんな感じです。（間違ってたらごめん） インターネットやVPCなどからアクセスする際には必ずどこかのポリシーを経由しアクセスされるわけです。 ちなみに、AWSのコンソール上からのアクセスはどこ？となるのですが、ACLになります。 デフォルトでACL
terraform で静的ファイル配信サーバーのインフラをコピペできる状態にする - Qiita
背景 個人開発アプリを作る時に、LP等の用途で静的ファイルを単純に保存・配信するだけのサーバーが必要になることが多い。 毎回 AWS Management Console から同じ手順で作っていたが、環境ごとに設定したりするので地味に面倒くさい terraform で「コードをコピペするだけで S3, CloudFront, ACM, Route53 周りの設定を完了できる」ような状態にしたい 相手の本棚を覗けるマッチングサービス「MatchLab」の LP を terraform で管理できるようにしてみた。 目次 terraform とは 使い方 既存のインフラを terraform 管理に移行する GitLab CI/CD で変更を検知して自動化 terraform とは https://www.terraform.io AWS 等のインフラの設定を宣言的に書いておくことで、コードに
AWS SESで信頼性の高いメール送信(SPF, DKIM, DMARC) with Terraform - 電気ひつじ牧場
メール認証の仕組みと、SESでのTerraformを使った設定方法について紹介します。 メール認証の種類 メールメッセージ MAIL FROM FROM SPF(Sender Policy Framework) DKIM(DomainKeys Identified Mail) DMARC SESの設定 SESで利用するドメイン認証 DKIM設定 DMARC with DKIM DMARC with SPF 参考 メール認証の種類 メールでは送信元のなりすましを検出するための認証の仕組みとして、主に以下の3つがあります。それぞれRFCで定められています。 SPF(Sender Policy Framework) DKIM(DomainKeys Identified Mail) DMARC(Domain-based Message Authentication, Reporting, and
AWS Lambda Powertools TypeScript がbeta releaseされたので触ってみた。 | DevelopersIO
AWS Lambda Powertools TypeScript がbetaリリースされたと古巣のCDOが教えてくれたので触ってみました? AWSの中の人のツイートはこれです。 I am ✨thrilled✨ to announce that the beta release of AWS Lambda Powertools TypeScript is public? It provides a suite of utilities for Node.js Lambda functions to ease the adoption of best practices such as tracing, structured logging, custom metrics ✨https://t.co/6xYpOEY5zM — Sara Gerion (@Sarutule) January 5,
【tfdevops】Terraformで作成したリソースをAmazon DevOps Guruで監視する。 | DevelopersIO
こんにちは！ AWS事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は、Terraformで作成したリソースでも、Amazon DevOps Guruの監視対象にしたいと思います。 結論 tfdevopsはTerraformからCloudFormationへの変換ツールではない 発展途中のツールであるため今後に期待！ Amazon DevOps Guruとは ざっくりご説明すると、CloudWatch, Config, CloudTrail, X-Rayをデータソースに、機械学習を利用して異常な運用アクティビティを検知、是正方法をアドバイスするサービスです。 Amazon DevOps Guru for RDSは、拡張機能として、解決まで行うサービスとなっております。 AWS公式：Amazon DevOps Guru 弊社ブログ：【簡単導入】機械学習で運用を効率化！
「単一のアカウントを分けたい」「CI/CDを簡単にやりたい」 スタートアップに“あるある”のAWS相談の解決策
今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここで、「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」をテーマに、松田氏と齋藤氏が登壇。まずは、「単一のAWSアカウントを分けたい」「CI/CDを簡単にやりたい」という2つの要望に対する解決方法を紹介します。 自己紹介 松田和樹氏（以下、松田）：「[AWS Startup ゼミ]よくある課題を一気に解説！御社の技術レベルがアップする 2021」秋期講習と題して、私と齋藤の2名でお届けします。 最初に自己紹介を簡単にします。私は松田と言います。ふだんはスタートアップ企業専任のソリューションアーキテクトとして、スタート
GitHub - aws/aws-lambda-runtime-interface-emulator
The Lambda Runtime Interface Emulator is a proxy for Lambda’s Runtime and Extensions APIs, which allows customers to locally test their Lambda function packaged as a container image. It is a lightweight web-server that converts HTTP requests to JSON events and maintains functional parity with the Lambda Runtime API in the cloud. It allows you to locally test your functions using familiar tools suc
SAM を使って CDK + Typescript で実装した Lambda をローカル環境で実行する | DevelopersIO
CDK Dayを観ていたところSAM を使った CDK のローカル環境でのテスト方法が紹介されていたのでドキュメントを読みながら実際に使ってみました。 CDK Day ではsam-beta-cdkと呼ばれていましたが、ドキュメントを確認したところ SAM CLI と記述があったのでプライベートプレビュー時からパブリックプレビューになった段階で名称が変更された可能性があります。記事を執筆した段階で日本語ドキュメントはまだ最新ではなかったため英語のドキュメントを参照しながら進めました。 また、AWS SAMを使ったCDKのローカル環境での利用は2022.02.4現在パブリックプレビュー中なので今後後方互換性の無い変更が加えられる可能性があることにご注意ください。 前準備 CDK をローカルでテストするには AWS CDK、パブリックプレビューバージョンの AWS SAM CLI, Docker
AWS、コンテナ特化で瞬時に起動する軽量VM「Firecracker」オープンソースとしてバージョン1.0に到達。AWS LambdaやAWS Fargateで利用
Amazon Web Services（AWS）がオープンソースとして開発し、コンテナの実行に特化した軽量な仮想マシン「Firecracker」がバージョン1.0に到達しました。 Firecrackerは2018年11月に行われたAWSのイベント「AWS re:Invent 2018」でオープンソース化が発表されました。コンテナのために作られた仮想化技術で、同社が「マイクロVM」と呼ぶセキュリティにフォーカスして設計されたスリムな仮想マシンです。 AWS Lambdaのような高速なサーバレス環境を実現するために同社が開発しており、実際にAWS LambdaやAWS Fargateで利用されていると説明されています。 基本的な特徴として、小さなメモリフットプリントとオーバーヘッドに加えて、外部から攻撃可能な部分を最小限にするなどのセキュリティ対策を実装しています。 速度にもフォーカスしており
[AWS CDK] APIを呼び出すだけのカスタムリソースならLambda関数は不要な件 | DevelopersIO
APIを呼び出すだけのカスタムリソースであれば、AWS CDKの場合、Lambda関数を使わずにAPIを呼び出してカスタムリソースを作成/更新/削除することができます。 AWS CDKを使えばAPIを呼び出すだけのカスタムリソースならLambda関数は不要らしい こんにちは、のんピ(@non____97)です。 皆さんはカスタムリソースを作成することは多いですか? 私はそこまで多くないです。 CloudFormationやAWS CDKでカスタムリソースを作成する場合、以下記事で紹介されている通りLambda関数を使って行うことが多いです。 ただ、APIを呼び出すだけなのにLambda関数を用意するのもめんどくさいですよね。 そんな時、AWS CDKのAPI Referenceを眺めていたら、ただAPIを呼び出すだけなのであればLambda関数をわざわざ用意する必要がないことが分かりました
AWSでサーバーレス設計を考える時の手引き書 - Qiita
はじめに サーバーレスに触れて数年が立ちました。 そろそろ人にある程度説明ができるレベルの知識と経験が備わったような気もするので、年末なのでまとめてみました。 サーバーレス気になっているけれども、という人に少しでもためになればいいなーと思います。 サーバーレス基礎 皆さん、サーバーレス設計という話を聞いたことはあるでしょうか？ まずサーバーレスについて説明しますが、世の中にはたくさん解説記事があるのでそちらも適宜参照ください。 サーバーレスでも実際にはサーバーは存在する サーバーレスとは開発者がサーバーのことを意識しなくてもよい、ということ Function as a serviceに代表されるように、あるプログラムの実行環境を提供するが、プログラムの動作環境は開発者は意識する必要はない、というイメージ 恐らく、AWS Lambdaが一番理解しやすいと思います。 AWS Lambdaではプ
DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
2021年サーバーサイドのエンジニアが使ってよかったもの10選 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2021 7日目を担当する荒賀(@ken39arg) です。 カヤックのエンジニアブログには2008年にPHPを使ったガラケー関連の記事を書いたのが最初になります。 それから10年以上たち、ガラケーも弊社でのPHPのプロジェクトもほぼなくなり、メンバーもかなり入れ替わり、私自身も20代だったのがついに40歳になりました。そんな私にとってこのアドベントカレンダーは私は今でもここにいるよというPingのような役割になっているため、年に一度若者に混じってアドベントカレンダーに参加しております。 例年ですと、趣味のマラソンなどに関する実績も書いているのですが、昨年同様、今年も続くコロナ禍により多くの大会が中止となったためこちらに関しては特に特記すべき実績はありません。ただ2020年に走るはずだった東京マラソンは権利は移行を続けてお
［速報］AWS、ローコードでWebのフロントエンドを開発できる「AWS Amplify Studio」発表。バックエンド管理機能も統合。AWS re:Invent 2021
Amazon Web Services（AWS）は、Webアプリケーションのフロントエンドを短時間で容易に開発できる機能と、バックエンドのクラウドサービスの運用管理などを統合した新ツール「AWS Amplify Studio」を発表しました。 AWSは以前から、Webアプリケーションやモバイルアプリケーションのバックエンドの迅速な構築と運用をするフレームワーク「AWS Amplify」を提供していました。 AWS Amplifyによって開発者は簡単にAWSのサービス群を組み合わせてスケーラブルなバックエンドを構築できます。 そしてAWS Amplifyに含まれているクライアントライブラリを利用することで、そのバックエンドに接続するフロントエンドの開発に注力することが可能でした。 今回発表された「AWS Amplify Studio」は、このAWS Amplifyに対応したフロントエンドをロ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - aws-powertools/powertools-lambda-typescript: Powertools is a developer toolkit to implement Serverless best practices and increase developer velocity.
