ELYZA LLM for JP (デモ版)についての解説: (1) 70Bモデルの推論基盤
はじめに こんにちは。ELYZA のML Engineeringチームの堀江 (@eemon18)、村山 (@zakktakk)です。 本記事では、弊社が2024/03/11にリリースした下記のデモについて、どのように70Bという巨大なモデルをホスティングしているのかを解説します。 まだデモを直接触れたことがないという方はぜひ一度以下のURLからアクセスし、140GBを超えるバイナリファイルからなるモデルがどのくらい高速に動作するのかを確かめてみてください。 本記事ではまず弊社推論アーキテクチャについて説明し、その後70Bを運用する際の技術選定や高速化の工夫について解説します。 推論アーキテクチャ 弊社のLLMアプリケーションのアーキテクチャは、平易に表すと以下の図のように構成されています。LLMの推論処理には時間がかかるため、アプリケーションと推論インスタンスはメッセージキューを介して非
Cloud Router で BGP の学習ルートをフィルタリングする新機能の紹介
はじめに 記事の目的 こんにちは、クラウドエース SRE部 に所属している\textcolor{red}{赤髪}がトレードマークの Shanks です。 好きなプロダクトは Cloud Router です。 本日は Cloud Router の新機能である、BGP ルート ポリシーを活用した学習ルートのフィルタリングについてご紹介いたします。 Cloud VPN や Cloud Interconnect でネットワーク空間を相互接続している方、とくに経路制御に悪戦苦闘している方には嬉しい内容をお届けします。 ターゲットとなる読者層 Cloud Interconnect を設計・運用・計画している方 Google Cloud と オンプレミス / 他クラウド を VPN で接続し、経路制御を行っている Cloud VPN を設計・運用・計画している方 Google Cloud と オンプレミ
JenkinsのCronはSafeRestart時にJob起動処理を落とさない - decadence
これは何 運用されているJenkinsにおいて、SafeRestart時にCronによるJobの発火をlostするのでは、といった懸念があった。 コードを読み、実際に動作確認をすると、再起動処理に2分以上かからなければat least onceでCronによるJobの発火がされることが分かった。 github.com JenkinsをSchedulerとして利用する JenkinsではJobの定義時にcron表記にてJobのscheduleを設定出来る。このcronは発火時刻になると、JobをJenkinsの処理Queueに入れる。 残念なことにJenkinsのHAはActive-Standbyのような構成しか取ることが出来ず、ActiveなJenkins masterのprocess内においてこれらのcronは処理される。もし冗長構成を取りたいのなら、Jenkinsが永続化として利用して
S3バケット内のファイル一覧(S3 Inventory)をAthenaを利用して分析する | DevelopersIO
数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会があり、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみたので、その方法をご紹介します。 西澤です。お客様よりお問い合わせをいただき、数千万単位のオブジェクトを配置したS3バケット内に、特定の拡張子のオブジェクトが何点存在するかを簡単に確認する方法がないか調べる機会がありました。aws s3 lsの結果をgrepするっていう気の遠くなるような方法は現実的ではないオブジェクト数だった為、S3 Inventory機能を利用してファイル一覧を取得し、その結果をAthenaを利用して解析してみることにしましたので、その方法をご紹介します。 【新機能】S3 Inventoryを試してみた #reinvent ｜ De
社外の開発メンバーをAWSアカウントに入れるときのIAM設定を考えている - kmiya_bbmのブログ
サービスを開発する際に、社外の業者さんに開発をお願いしたり、社外パートナーに開発に参加してもらう、ということがよくあります。 開発に使うAWS環境として、うちの会社で作成したAWSアカウントに入ってきてもらうこともあるのですが、このときにAWSアカウントの管理者として社外の開発メンバーにどのような権限を持たせるのが良いか、それをどう実現するのが良いか、いつも悩みます。 このエントリでは現時点での考えと実装方法をまとめておこうと思います。 課題 私が関わる案件で社外の開発メンバーに協力を仰ぐ場合、大抵はPoCから始まるような新規サービスの構築案件となるためAWSのどのサービスを使うか最初からすべて決まっていることは稀です。 最初は ALB + EC2 + RDS で作り始めたシステムにDynamoDBが導入され、AWS IoT coreが導入され、Kinesis Stream が導入され、、
IAM ユーザーのログイン失敗を検知して複数回失敗すると権限を剥奪する仕組みを作ってみた | DevelopersIO
こんにちは、AWS 事業本部の平木です！ AWS における PCIDSS v3.2.1を見た時に要件 8 を参照するとアカウントロックに関する要件があります。 現状、執筆時点では IAM ユーザーで連続してログイン失敗してしまったとしてもアカウントをロックできる仕様はありません。 ただ、AWS 公式のコンプライアンスガイドを見ると以下のように記述されていました。 PCI DSS 審査の適用範囲内であると判断された IAM ユーザーには、8.1.6 および 8.1.7 のアカウントロックに関する要件を満たす追加の仕組みが必要です。お客様がこれを達成するには、AWS CloudTrail、Amazon DynamoDB、AWS Lambda、Amazon CloudWatch を組み合わせて連続したログイン失敗を追跡して、ログイン失敗がしきい値である 6 回連続で発生した場合に制限を強めた I
CISSP（Certified Information Systems Security Professional） 合格体験記（受講講座や問題集、学習法） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
約１年の取組を経て、CISSP（Certified Information Systems Security Professional）に挑戦して無事合格できました！ 試験の内容や問題についてはNDAがあるので言及できませんが、私が受講した講座や問題集、学習法について紹介させていただきます。 CISSPとは、ISC2（International Information Systems Security Certification Consortium）が認定を行っている国際的に認められた情報セキュリティ・プロフェッショナル認定資格です。 企業によっては、CISSP認定資格の取得が情報セキュリティ関連業務従事者の必須事項とされており、特に外資系企業のセキュリティ担当者にはおすすめの資格です。 これからの受験を検討されている皆さんの参考になる情報をご提供できればと思います。 【目次】 1.受験
Faster WhisperとAWS SageMakerを活用してGPUでの高速文字起こしエンドポイントを構築する
概要 最近の音声認識技術の進歩はすごいですね！ 特にOpenAIの最新モデルであるWhisper large-v3は、日本語の音声データでもかなりの高精度で文字起こしを行うことができ、APIも公開されています。 ただし簡単に使用でき汎用性も高い一方で、大量に使用する場合の高コストやプライバシーの懸念もあるため、ローカル環境で効率よく高精度な文字起こしを実現するモデルが多数開発されています。 今回は、その中でもGPUを使用した高速推論が可能な「Faster Whisper」を用いて、AWS SageMakerでカスタム文字起こしエンドポイントを構築してみたので、手順を解説していきたいと思います。 実装コードは以下のリポジトリにあります。 順番通りJupyterNotebookを実行すると問題なく動作するはずです。 Faster Whisperとは Faster WhisperはOpenAIの
Redshift Serverless RPUスケールの挙動 - Qiita
Redshift Serverlessを使用して気づいたポイントについて記す 思ったよりスケールしない Serverlessであり、負荷に応じて自動的にスケールするなら、Base RPUは8(最小値)で良いと考えて設定した。 しかし、実際にQueryを実行すると、非常に実行が遅く、実際に実行時のCloudwatchを見ると全くRPUがスケールしていないことがわかった。 この挙動が疑問に思えたため、以下の試行を行い、挙動を確認した。 (ちなみに試したのは2023年の3月なのでまた挙動は変わっている可能性もある) まず、十分な負荷のかかるようなデータとSQLを準備するのはそれ自体が工数がかかるので、AWSのブログで紹介されているTPC-DSベースのRedshift用のDWHベンチマークを使用することとした https://github.com/awslabs/amazon-redshift-u
OSCP合格体験記（2024/03） - NFLabs. エンジニアブログ
はじめに こんにちは、教育ソリューション担当の吉浦です。 2024年3月にOffSec社のOSCPを取得したので、合格までの記録を書きたいと思います。 目次 はじめに 目次 OSCPとは？ OSCP試験 試験スケジュール 合格基準とボーナスポイント 学習について 取得のきっかけ 学習開始時点のスキルレベル 学習コンテンツ① TRAINING MATERIAL 学習コンテンツ② CHALLENGE LABS その他 試験について 試験準備 実技試験 レポート 試験結果 感想 おわりに OSCPとは？ OSCP (OffSec Certified Professional) とは、OffSec社が提供する実技重視のペネトレーションテスト資格です。 OSCP試験 OSCP資格を取得するには、試験に合格する必要があります。 試験は約48時間連続（長い！）で実施され、「試験環境内の標的端末へ侵入し、
【Microsoft Build 2024速報】Azure Container Apps Dynamic Sessions で安全にコードを実行する - APC 技術ブログ
はじめに こんばんは、ACS事業部の吉川です。 Microsoftの年次イベント Microsoft Build でのアップデートについて引き続きお届けしていきます。 build.microsoft.com news.microsoft.com タイトルどおり、本記事では Azure Container Apps Dynamic Sessions をピックアップしてお届けします。 概要 Azure Container Apps Dynamic Sessions は、サンドボックス環境を作成し安全にコードを実行できるサービスです。 https://techcommunity.microsoft.com/t5/apps-on-azure-blog/new-secure-sandboxes-at-scale-with-azure-container-apps-dynamic/ba-p/41421
AWS から OCI に移行してコストを約半額にした話 - Qiita
OCIについて知らない方向け AWSは知ってるがOCIを知らないという方は取り急ぎ以下のようなページを読むとイメージが掴みやすいかと思いますのでリンクを貼っておきます。 本件では細かい用語の違いなどの説明は省略します。 OCIへの移行理由 今回移行した理由はコスト削減が最大の理由でした。 オンプレからAWSに移行したのは3年前の2021年2月で当時のドル円相場は約106円でした。 2021年のAWS移行当時、RDSのReserved InstancesとEC2のSavings Plansを3年で購入していました。（通常は1年などで購入されるケースの方が多いと思いますが、歴史のあるサービスなので急激なリソースの増減はあまり無さそうではと考えたためとなります。結果としては円が強いタイミングで安く買えて助かりました） 移行を検討し始めたのはRI/SPが切れる1年前くらいで、その時点のドル円レート
IAM Identity Centerでもaws-vaultでセキュアにAWS CLIを使う - Nealle Developer's Blog
こんにちはSREチームの宮後(@miya10kei)です。最近、トリュフナッツにハマりビール🍺の消費量が増えています。 AWS CLIを使用する時にaws-vaultは使っていますか？ AWSのユーザ管理をAWS IAM Identity Centerに移行した際にaws-vaultの設定でつまずいたので解決方法を紹介したいと思います。 AWS IAM Identity Centerとは？ 複数の AWSアカウントやアプリケーションへのワークフォースのアクセスを一元管理するためのサービスです。外部IDプロバイダーと接続しSSO（シングルサインオン）連携をすることができます。ニーリーではGoogle Workspaceと連携させGoogleアカウントでログインできるようにしています。 aws-vaultとは？ aws-vaultはAWS CLIを使用する際の認証情報を安全に保存し、アクセス
Kusto Query Language（KQL）の基本的なクエリの書き方 (SQL の補足付き) - Qiita
Kusto Query Language（KQL）は、Azure Data Explorer やその他の Azure データサービスで使用されます。 この記事では、KQL のクエリの基本形式について解説します。 目指すのは下記で、今後の記事に繋がるように、と思っています。 Grafana で KQL クエリを利用してグラフ化 Grafana で Azure 上の疑わしい挙動が発生していないか監視 環境 個人で検証用のログを置くにも費用が必要となる可能性があります。 マイクロソフトで提供している下記環境を利用することで Kusto Query Language（KQL）を実際に動かしながら確認を進められます。 Log Analytics のチュートリアル Log Analytics のデモ環境 KQL の基本概念 KQL はデータを検索、分析するための豊富な操作を提供しますが、基本的には以下
Vertex AI Experiments ではじめる機械学習モデルの実験管理 - Qiita
はじめに この記事では Google Cloud のマネージドサービスである Vertex AI Experiments を使った実験管理方法をご紹介します。 このサービスのメリットは当然 Google Cloud の各種サービスと連携がとてもシームレスに行える点が一番に挙げられますが、個人や大学の研究室で実験管理・共有するためのツールとしても有用だと思いますので、既に MLflow などを使っている方でもぜひご一読ください。 Vertex AI Experiments で何ができる？ 端的に言ってしまえば、2023年12月時点では機能的に MLflow とそう違いはありません。まずドキュメントを読んだ感じではバックエンドに MLflow を使っている雰囲気があるので、マネージド MLflow と言っても差し支えないレベルだと思います。 モデルの学習・予測に使用したパラメータを記録する モ
【AWS SageMaker】SageMaker Ground Truthで手持ちの画像をラベリングしてみた - Qiita
背景 AWS SageMakerについて勉強していたところ、SageMaker Ground Truthは画像にラベリングを行うものとあったので、実際に触ってみました。 試した事(概要) 漫画家の矢吹健太郎先生の作品である「ToLoveる-ダークネス-」のヒロインキャラクター画像に対して、キャラクター名をラベリングしてみました。 例えば、 これは「ヤミ」のラベルを付けて、 これは「モモ」のラベルを付けてみる形です。 試した事(詳細) 1. S3にラベリングを行いたい画像をアップロード 今回は12枚の画像(pngファイル)をアップロードしました。 2. SageMaker Ground Truthにて、ラベリングジョブを作成 どこに保存されている画像に、どのようなラベリングを行うのか、作業者は誰か、等の設定をしたジョブを作成します。 まずは、マネジメントコンソールのSageMaker画面の左
Cisco Catalyst のTDR試験コマンドでポート故障を遠隔診断する - miyalog
忙しい人向けサマリ リンク障害は現地での物理切り分けしかできずとてもつらい test cable-diagnostics tdr コマンドの結果が Fail もしくは Not completed になったら自装置のポート故障と判断できることを発見 判定率50%、誤検知率0%。範囲は狭いが信頼性が高く大変有用で障害対応時間が大幅短縮 こんにちは。とある通信会社の委託で壊れたルーターを取り替えるだけの簡単なお仕事をしている夜勤作業員です（エンジニアじゃないよ）。ふと思い出したので、私が新入社員のときに初め取り組んだ業務改善のお話をしたいと思います。 地味に面倒なリンク障害の切り分け %LINK-3-CHANGED: Interface GigabitEthernet0/1 changed state to down %LINEPROTO-5-UPDOWN: Line protocol on I
OpenTelemetryのPythonインストゥルメンテーションパターン分類
https://opentelemetry.io/docs/languages/python/automatic/example/ の要点抽出です。 手動(manual)インストゥルメンテーション 概要: プログラムの処理中で tracer.start_as_current_span でスパンを作成する @app.route("/server_request") def server_request(): with tracer.start_as_current_span( "server_request", context=extract(request.headers), kind=trace.SpanKind.SERVER, attributes=collect_request_attributes(request.environ), ): print(request.args.ge
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！/ cdk8s-argoworkflow is great!
AWS Infrastructure as Code の新機能を総まとめ！ 2023.1-2024.5
