公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
『GitHub CI/CD実践ガイド』でGitHub ActionsとCI/CDを体系的に学ぼう - 憂鬱な世界にネコパンチ！
『GitHub CI/CD実践ガイド――持続可能なソフトウェア開発を支えるGitHub Actionsの設計と運用』という書籍を最近出版したので紹介します。本書ではGitHub Actionsの実装と、CI/CDの設計・運用を体系的に学べます。一粒で二度美味しい書籍です。筆者個人としては「実践Terraform」以来、4年半ぶりの商業出版になります。 gihyo.jp どんな本？ GitHub利用者にとって、もっとも導入が容易なCI/CD向けのソリューションはGitHub Actionsです。GitHub Actionsの活用事例は多く、検索すればたくさん情報が出てきます。ただ断片的な情報には事欠かない反面、体系的に学習する方法は意外とありません。CI/CD自体がソフトウェア開発の主役になることもまずないため、なんとなく運用している人が大半でしょう。そこで執筆したのが『GitHub CI/
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。株式会社サイバーエージェントのAIオペレーション室で新規立ち上げをやっております。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬からAIオペレーション室に移動し、新規立ち上げのインフラ環境の構築からCI
Best practices for using the Terraform AWS Provider - AWS Prescriptive Guidance
Michael Begin, Senior DevOps Consultant, Amazon Web Services (AWS) May 2024 (document history) Managing infrastructure as code (IaC) with Terraform on AWS offers important benefits such as improved consistency, security, and agility. However, as your Terraform configuration grows in size and complexity, it becomes critical to follow best practices to avoid pitfalls. This guide provides recommended
この節目に、人生初の就職から約1年の経験を振り返り、感謝の気持ちを込めて綴りたいと思います。 自己紹介 たかしゅん/moko-poiと申します。私は主にAWSを中心としたインフラ構築やDevOpsの促進に取り組んでいます。 サイバーエージェントには新卒で入社し、バックエンドエンジニアとして配属されました。その中で、特にDevOpsやAWSなどのインフラ関連の業務に注力し、さまざまなプロジェクトに携わってきました。 サイバーエージェントでやったこと 2023年4月に新卒としてサイバーエージェントにバックエンドエンジニアとして入社しました。その前に、内定者アルバイトとして約3ヶ月間勤務していたため、合計で約1年半在籍していました。全てを詳しく話すと長くなってしまいますので、ここでは主な取り組みを簡潔にご紹介します。 広告 内定者バイトの時から、少人数チームでバックエンドの機能開発だけでなくイン
フロントエンドから Amazon S3 にマルチパートアップロードしたい - カミナシ エンジニアブログ
はじめに Presigned URL（*) などで、Amazon S3 へのアップロード処理を実装していると、大きなサイズのファイルをアップロードしようとしたときに、以下のような課題に直面することがあります。 一回のPUT リクエストでアップロードできるサイズの上限が 5GB まで 単一の HTTP リクエストでアップロードするため、大きなサイズをアップロードしようとしたときに問題が起きる。例えば、アップロードの処理の途中で失敗したとき、最初からやり直しになる。 このようなときに活用したいのが、マルチパートアップロードです。マルチパートアップロードとは、その名の通り、アップロード対象のオブジェクトを小分けにしてアップロードする方法です。 AWS の SDK には、マルチパートアップロードが簡単に行えるような API が用意されているものの、多くは、S3 にアップロードを行うことができる I
本記事は 【プルリクウィーク】 2日目の記事です。 💻 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに Git と インフラ屋 と IaC そもそもインフラ屋が管理するコードとは？ IaC インフラ関連の設定ファイル CI/CD周りの設定ファイル PRレビューで難しいと思うこと 何を持ってOKとするか そもそも検証が難しい 網羅性が判断つかない PRレビューで意識していること 静的チェックの導入 コメントには意向を示す略語を付ける コメントがFixすればリアクションしてクローズする 対面レビューの時間を設ける リリースとの親和性が高い さいごに はじめに こんにちは、加藤です。 普段、私はインフラエンジニア（以下インフラ屋）としてシステム運用に携わっています。 最近はIaCの普及もあり、インフラチームでもプルリクエスト(以下PR)レビューを実施しているチームが多いのではないでしょうか
こんにちは。メルカリ ハロのSoftware Engineer (Engineering Head)の@napoliです。連載：Mercari Hallo, world! -メルカリ ハロ 開発の裏側-の2回目を担当させていただきます。 2024年3月上旬にメルカリ ハロという新しいサービスが公開されました。メルカリ ハロは好きな時間に最短1時間から働ける「空き時間おしごとアプリ」です。 この記事ではメルカリ ハロを作るにあたり、どういった技術スタックやアーキテクチャを選定したのか、さらにその背景と意思決定をご紹介したいと思います。 この記事で得られること メルカリ ハロで採用されている技術スタックやアーキテクチャの全体像 その意思決定の理由とプロセス これから新規サービスを立ち上げるうえでのヒント 主な技術スタック メルカリ ハロで利用されている主な技術スタックは以下のとおりです。 バッ
はじめに どうもこんにちは。SODAでWebフロントエンドエンジニアをしているaokikenと申します。 今回は、社内向けに静的サイトホスティング環境をAmazon S3で構築した話になります。 構築に至るまで Webフロントエンドの開発をしていて、実際の開発環境に実装する前に、検証として別環境にプロトタイプを作成することがあります。 そのときに作ったものを、スピーディーに社内共有して、フィードバックを得たい。 そういった背景から、社内ネットワークに制限した静的サイトホスティング環境の構築することを検討をし始めました。 要件を整理 Webフロントエンド視点でプロトタイプを作成するにあたり、ブラウザでの動作検証が主なので、基本的には静的データをホスティングできればよさそうです。 弊社では既にAWSを広く利用しているため、今回はAmazon S3を利用する前提で要件を整理していきます。 Ama
RubyKaigi 2024 のサイネージについて
今月中旬に沖縄県那覇市で RubyKaigi 2024 を開催した。COVID-19 対応をしていた RubyKaigi Takeout 2020, RubyKaigi Takeout 2021, RubyKaigi 2022, RubyKaigi 2023 とは異なり、今回は配信を伴わないオフラインのみの開催だった。 わたしは Organizer の一人として Sponsor Relations 業などをしつつ、Wi-Fi の支度をしたり、サイネージの支度をしたりしていた。Wi-Fi の話はこれまでもいくつか書いている のでまた今度として、今回はサイネージの話をかきます。 RubyKaigi ではいくつかのサイネージの映像を用意して会場のあちこちに表示している。各セッション会場の横に添えて字幕やチャット, LT タイマーを流すサブスクリーン、お知らせやセッション案内を廊下に設置したモニタ
feature flag管理にAWS AppConfigを導入した - Cluster Tech Blog
昔のflag管理 AWS AppConfigの導入 feature flagの管理 feature flagの利用 まとめ ソフトウェアエンジニアの浦川です。 clusterではサービス開発にfeature flagが活用されており、常時10+個程度のflagが並行して使われています。 これまでflagはgoのコードとしてハードコードされていたのですが、AWS AppConfigを利用してコードを修正することなく動的に変更できるようにしました。 昔のflag管理 ハードコードされたflagは1つのstructにまとめて定義されていて // feature flagを集めたもの type FeatureFlag struct { IsAvatarXxx bool // アバターを良い感じにする IsEventXxx bool // イベントを良い感じにする // (大量のフラグ) } app
こんにちは、後藤です。 みなさま、Terraformは使っていますでしょうか。私はようやく慣れてきたところです。 今回はTerraformの中でもterraform planコマンドについて話します。 はじめに Terraformを使ってリソースを構築する際の一般的な流れは、terraform planで実際に設定されるリソースを事前確認し、terraform applyで実際に適用する、になるかと思います。この時、terraform plan > plan.txtのように証跡用や、表示結果を見やすくするためにファイル出力をすることがあると思います。しかし、このコマンドで出力されたファイルは決して見やすいものではありません。例えば、セキュリティグループとそのルールを定義したtfファイルで実行した結果は以下のようになります。 plan.txt Terraform used the selec
AWS App Runner 振り返り 2023～決別・ECSを使うぞ～ - koudenpaのブログ
AWS Containers Advent Calendar 2023の4日目です。 qiita.com AWS App RunnerはAWSで手軽にコンテナを動かせるサービスで、2021年にGAしてから緩やかに使用しつつ所感を書いてきた。 AWS App Runner はおもちゃなのでそれ以上の用途には使ってはならない - koudenpaのブログ Laravel を AWS App Runner で動かしてみる - koudenpaのブログ AWS App Runner 振り返り 2022 - koudenpaのブログ 去年のAWS App Runnerのカレンダー | Advent Calendar 2022 - Qiitaではサービス内容の振り返りをしたのだが、今年は記事のタイトルにも書いた通りApp Runnerを自分の中でどう位置付けたのかの整理記事とした。正直サービス内容には
私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 - Findy Tools
公開日 2024/05/24更新日 2024/05/24私たちはなぜNewSQLを使うのかTiDB選定5社が語る選定理由と活用LT【イベントレポート】 近年データベースが急速に進化し、開発にも大きな影響を与えています。そこでファインディでは「私たちはなぜNewSQLを使うのか TiDBを選定・導入した5社が語る選定と活用」と題したイベントを開催。PingCAPの日下さん、LINEヤフーの佐伯さん、アイスタイルの鈴木さん、DMM .comのpospomeさん、コロプラの曽我さん、さくらインターネットの江草さんをお招きし、NewSQLの一つである TiDBについて語っていただきました。 ■パネリスト 日下 太智さん / @ksk_tic PingCAP株式会社 プロダクトマネージャー / シニアソリューションアーキテクト SIerにて国内外問わずEC/小売/製造/サービス/メディア/出版など様
What do I think about Lua after shipping a project with 60,000 lines of code?
Hi there! This is Oleg from Luden.io. We decided to have a deep and meaningful conversation about Lua programming language with Ivan Trusov, lead programmer of the video game Craftomation 101. It contains ~60,000 lines of Lua code and is made with Defold game engine. I asked Ivan to talk about the real issues and show real code, not the “hypothetical code, carefully prepared for the public to illu
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に GitHubは2024年5月13日、リポジトリ内の依存関係を監視しチェックするツールDependabotの基本コンポーネントdependabot-coreを、MITライセンスにもとづくオープンソースとして利用可能にしたことを発表した。 dependabot-core is now open source with an MIT license -The Github Blog 📣 Dependabot is now open source!https://t.co/RXpQG38AiD — GitHub (@github) May 14, 2024 Dependabotは、リポジトリ内の依存関係のアップデートの有無を検知して、自動でプルリクエストを発行したり、アラートの通知を
terraform plan -light
TL;DR Add a terraform plan -light flag such that only resources modified in code are targeted for planning. This would reduce the scope of the pre-plan refresh down to the set of resources we know changed, which reduces overall plan times without the consistency risk of -refresh=false. For Terraform to know what resources were modified in code, it would store the hash of the serialized sorted attr
OpenTofuの「ブロック削除機能」「stateファイル暗号化」はなぜ注目されているのか：HashiCorpやコミュニティーとの関係に深く影響 TechTargetは「OpenTofu 1.7β版」に関する記事を公開した。同バージョンではTerraformのコミュニティーが長い間求めていたブロック削除機能とクライアント側の状態（state）ファイルの暗号化がサポートされている。
Microsoft Azureの管理者は多要素認証によるサインオンが必須に。今年（2024年）7月から段階的に開始
マイクロソフトは今年（2024年）7月から、Microsoft AureのAzureポータルやCLIなどの管理関連の操作を行うユーザーに多要素認証によるログインを要求することを明らかにしました。 5月14日付けとして公開されたブログ「Microsoft will require MFA for all Azure users」（マイクロソフトはすべてのAzureユーザーに多要素認証を要求する予定です）で、次のように説明されました。 This July, Azure teams will begin rolling out additional tenant-level security measures to require multi-factor authentication (MFA). Establishing this security baseline at the tenan
2024年5月、Microsoft の開発者向けイベント「Microsoft Build 2024」が開催されました。Windows の最新 AI 機能 (Copilot+PC) が開催前日に発表されるなど、Copilot を中心として Microsoft が AI に対する投資を積極的に行っていることをアピールする場になっていました。 数多くあったアップデート・アナウンスのうち、本稿ではインフラ エンジニア[1]の観点から重要だと思われるものをピックアップして、簡単に紹介していきます。 仮想マシン: 第一世代 Cobalt 100 (Preview) Azure Cobalt 100 プロセッサを使用した第一世代の Azure 仮想マシン シリーズが提供開始されました (Dpsv6 / Dpdsv6 / Dplsv6 / Dpldsv6)。 Cobalt 100 は、Microsoft
はじめに こんにちは、最近の私の人生はキックボクシングとコーディングの2つの活動に極端に偏りつつあります。nwiizoです。一見正反対のようなこの2つの活動ですが、共通する本質があります。それは、頭で考えるだけでなく、実際に体を動かして実践することで新しい発見や気づきを得ていくプロセスです。 キックボクシングでは、理論だけでは表現できない”技”を体で覚えていきます。理論上の動作はスムーズに行えても、実際にパンチやキックを繰り出す際には、さまざまな戦略を一瞬のうちに計算し、機動的に対応しなければなりません。そこでは思考するよりも先に、体が自然と反応するよう繰り返し訓練を重ねていきます。 一方のコーディングにおいても、書籍から得た知識を単に暗記しているだけでは意味がありません。実際にコードを書きながら、試行錯誤を重ね、バグに出くわし、その都度解決策を見出していく中で、本当の理解が深まっていきま
Quickly adopt new AWS features with the Terraform AWS Cloud Control provider | Amazon Web Services
AWS DevOps Blog Quickly adopt new AWS features with the Terraform AWS Cloud Control provider Introduction Today, we are pleased to announce the general availability of the Terraform AWS Cloud Control (AWS CC) Provider, enabling our customers to take advantage of AWS innovations faster. AWS has been continually expanding its services to support virtually any cloud workload; supporting over 200 full
IaCの問題はGPTの力で直す。Checkovの --openai-api-keyオプションで修正方法を教えてもらおう！ - Qiita
--openai-api-key OPENAI_API_KEY Add an OpenAI API key to enhance finding guidelines by sending violated policies and resource code to OpenAI to request remediation guidance. This will use your OpenAI credits. Set your number of findings that will receive enhanced guidelines using CKV_OPENAI_MAX_FINDINGS [env var: CKV_OPENAI_API_KEY] これ、IaCの静的解析 × ChatGPTでは？！ ということで、今回はこの--openai-api-keyオプションを調べてみま
Terraform AWS Cloud Control API provider now generally available
The AWS Cloud Control (AWSCC) provider, built around the AWS Cloud Control API and designed to bring new services to HashiCorp Terraform faster, is now generally available. The 1.0 release of the AWSCC provider represents another step forward in our effort to offer launch day support of AWS services. Initially launched in 2021 as a tech preview, the Terraform AWS Cloud Control provider is automati
Oracle goes vegan: Dumps Terraform for OpenTofu OCI tells customers to shift to latest update built on open source. We guess OpenTofu is enterprise-ready! Oracle has swapped Terraform for the open-source fork OpenTofu under the hood of its Oracle E-Business Suite (EBS) Cloud Manager. It is now telling customers they “must” make the shift to its new OpenTofu-based version of the migration/provision
Cloud Runで新しいツールなどを検証する際に修正してはデプロイを待ち、再検証というループを回したことはあると思います。 Kubernetesのkubectl execコマンドやdebugコマンドでコンテナ上で直接作業したいな〜と思うことありますよね。 そこでCloud Run上でシェルを実行し、検証などをしやすくする方法を紹介します。上記のexecやdebugコマンドほど便利ではないので定常運用には向かないと思いますが、Cloud Run上で色々検証したい時に役立つと思います。リポジトリはこちらです。 github.com 仕組み SSHのようにこちらからCloud Runに向けて接続をすることができないので、netcat（nc）を用いてCloud Runからこちら側に向けて接続をしてもらいます。netcatはネットワーク管理およびデバッグのための多目的ツールです。特定のポートで接続
SRE (Site Reliability Engineering)からPE (Platform Engineering)へ - OPTiM TECH BLOG
Platform Engineeringチームの加藤です。PEチームが昨年後半から提供を始めたプラットフォームに1つ目のプロダクトの乗り入れが完了し、PE活動の一つの節目を迎えたため、オプティムにおけるPlatform Engineering活動を紹介します。 PE活動は元SREチームのメンバーが中心となって始めた活動です。そのため SREの振り返り PEチーム発足の経緯 PEの活動 の順で話を進めていきます。 SREの振り返り SREチームは、IoTプラットフォームOPTiM Cloud IoT OSのインフラ開発・運用のメンバーを中心に結成し、2020~2021年度の2年間、オプティムプロダクトの速い・安い・安心を横串で実現することをミッションに活動しました。 SREチームは特定のプロダクトを持たないチームで、 プロダクトを横断的にレビューし 一律に改善する方法を検討し 特定のプロダク
既存のAWSリソースをTerraformの管理下に置く方法：「AWS」×「Terraform」で学ぶクラウド時代のインフラ管理入門（7） インフラ自動化ツールの一つである「Terraform」について、これから学ぼうという方、使っていきたい方を対象に、Terraformの導入方法や基本的な使い方を紹介していく本連載。今回は、以前から利用しているクラウドリソースをTerraformで管理する方法について。
現地会場ならではの「三つの魅力」 『技術書典16』のオフライン会場に潜入するため向かったのは、東京・池袋のサンシャインシティ。エンジニアtype編集スタッフが現地に着いた頃には、既に多くの一般参加者で会場が賑わっていた。 さまざまなデザインのキャラクターが、会場を彩る。まさに技術者たちのコミケだ 想定していたよりもずっと大きな会場に驚きつつ、ブースめぐりをスタート！ 【1】「思わぬ知識」との出会いが好奇心を刺激する PythonやGOをはじめとした開発言語、TerraformやKubernetesといったクラウド関連技術など、本が扱っているテーマごとに各ブースの出店位置が分類されており、ジグザグに歩きながら各ブースのコンテンツを楽しむシステムだ。 いくつかのブースを歩いて見て回る中で、ふとこんな疑問が。 「ん？ITとあんまり関係ないテーマも多いな……」 というのも、初めて技術書典を訪れる私
【Sansan Tech Talk】新規事業開発におけるInfrastructureグループの技術的挑戦 〜安定運用とスピードの両立を目指して〜 - Sansan Tech Blog
こんにちは、Sansan Engineering Unitの副部長、笹川 裕人です。今回の「Sansan Tech Talk」では、Strategic Products Engineering Unit（以下、SPEU）という新規事業開発を行っている部門のInfrastructureグループマネジャーを務める水谷 高朗にインタビューしました。この対談では、テックリードたちが直面している技術的な課題や取り組みについて深掘りします。 ▼連載記事はこちら buildersbox.corp-sansan.com （写真左から）Strategic Products Engineering Unit Infrastructureグループマネジャー 水谷 高朗、Sansan Engineering Unit 副部長 笹川 裕人 笹川：それでは水谷さん、自己紹介をお願いします。 水谷： SPEUのInfr
GKE CronJobとcloud-sdk-goでElasticCloudのスケーリングを自動化しコスト削減した - 10X Product Blog
はじめに 前提 背景と課題 対応方針 StailerのElasticsearchに関する特性 要件 スケールイン・アウトではなくスケールアップ・ダウン リソース負荷トリガーではなくスケジュールトリガー 設計 cloud-sdk-goでの処理 モニタリング おわりに はじめに こんにちは、検索エンジニアの安達(id:kotaroooo0)です。 10Xで検索基盤・検索機能の開発運用をしています。 最近は推薦システムの開発もちょっとやり始めました。 負荷に合わせてElasticsearch(ElasticCloud)をスケーリングする機能を作りコスト削減したので、その取り組みについて経緯と内容を紹介します。 前提 背景と課題 10Xでは小売チェーン向けECプラットフォームStailerにおいて、検索機能の開発運用にElasticsearchを利用してしています。 Elasticsearchクラ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
新卒で入社したサイバーエージェントを退職しました - moko-poi’s diary
とあるインフラ屋のプルリクエストレビュー奮闘記 - NRIネットコムBlog
メルカリ ハロの技術スタックとその選定理由 | メルカリエンジニアリング
社内ネットワークに制限した静的サイトホスティング環境をAmazon S3で構築する
terraform planコマンドを見やすく効率的にする2つのオプション - NRIネットコムBlog
GitHub、Dependabotの基本コンポーネントdependabot-coreをOSSとして利用可能に | gihyo.jp
OpenTofuの「ブロック削除機能」「stateファイル暗号化」はなぜ注目されているのか
Microsoft Build 2024 - インフラ関連アップデートまとめ
SREに求められるスキルと心構え | sreake.com | 株式会社スリーシェイク
Oracle goes vegan: Dumps Terraform for OpenTofu
Cloud Run上でシェルを実行し、素早くデバックする - Paper2 Blog
既存のAWSリソースをTerraformの管理下に置く方法
「わざわざ現地に行く意味ある？」疑問だった僕が見つけた、技術書典のオフライン会場に行くべき三つの理由 - エンジニアtype | 転職type