【入門】機械学習に1時間でコードレベルまで入門する方法 #Keras #SageMakerStudio | DevelopersIO
皆さん、こんにちは。コンサル部のテウです。 2020年もあっという間に２ヶ月が経ちました。新年目標の達成進捗率はいかがでしょうか？ 今年こそ機械学習に入門しようぜ！！って決心された方もいらっしゃると思います。なので、今回は機械学習に 爆速 で入門できる方法をご紹介させて頂きたいと思います。 本記事の手順通り、ランチタイム等の時間を活かして、手軽に入門してみてください。 目次 始める前に 皆さんのご存知の通り、機械学習を一瞬でマスターすることは不可能だと思います。ですが、手を動かして、可能な限りより早く技術を体験することはとても大事だと思います。技術を実際に体験して、何ができるかを確実に把握することにより、次のステップへのチャレンジのハードルも下がりますね。 本記事は、今まで SageMaker インスタンスを一度も起動してみたことがなかった方を対象として書かれております。この機会に是非Sa
無料でPython／機械学習できるAmazon SageMaker Studio Labとは？ Colabと比較
連載目次 Python／Rコードの実行や機械学習／データサイエンスの実装を無料でオンライン実行できる環境といえば、Google Colaboratory（略してColab）が特に有名である。2021年12月1日、そのColabに強力なライバルが現れた。「Amazon SageMaker Studio Lab」（アマゾン・セージメーカー・スタジオ・ラボ）だ*1。 *1 日本語では「ラボ」だが、英語では「ラブ（Lab）」と発音するのが普通。「スタジオ」は英語では「ステューディオ（Studio）」。「セージ（Sage）」とは、ハーブや花の名前ではなく「学び経験を積んだ賢者（Wise old man、例えばハリー・ポッターのダンブルドア校長は魔法の賢者）」のことで、賢者は「機械学習モデル」を暗喩すると思われるが、一説にはマーケティング目的で独自用語にするためにランダムな単語生成で命名されたという噂
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
自社OCRエンジン「NineOCR」の学習効率化のため SageMaker Training を導入した話 - Sansan Tech Blog
はじめに NineOCR とは NineOCR が抱える課題 Amazon SageMaker Training とは SageMaker Training の始め方 事前準備 AWS が提供しているコンテナイメージを拡張する方法 独自のコンテナイメージに SageMaker Training Toolkit をインストールする方法 スクラッチでコンテナイメージを作成する方法 まとめ 学習ジョブの実行 学習結果の確認 終わりに はじめに こんにちは、研究開発部の石井です。 本エントリーでは、弊社の OCR エンジン「NineOCR」の開発フローに SageMaker Training を導入した話を紹介します。 NineOCR とは NineOCR は Sansan が独自に開発した名刺特化の OCR エンジンです。 名刺をデータ化するフローの中で実際に活用されており、タスクの高速化・高精
Amazon Web Services（AWS）が2019年12月2日～6日（現地時間）、米国ラスベガスで開催した「AWS re:Invent 2019」。同社CEOのアンディ・ジャシー氏による3時間に及ぶ基調講演では、多数の新発表が行われた。 前々回記事のIaaS関連（コンピュート、オンプレミス／エッジ）領域、前回はデータレイク／分析（アナリティクス）領域の発表を取り上げた。今回は残る「機械学習」領域、「Amazon SageMaker」関連の新発表について、ジャシー氏が語った「狙い」と共に見ていきたい。 なおすでにお伝えしたとおり、re:Inventの前夜祭「Midnight Madness」では、ディープラーニング／GAN（敵対的生成ネットワーク）の学習用プロダクトとして、ユーザーが弾いたメロディに合わせAIが自動作曲する「AWS DeepComposer」も発表されている。
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（後編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回は前回のエントリーに続いてその後編になります． tech.connehito.com はじめに 後編は前編でも紹介した通り以下の内容になります． 後編：SageMakerのリソースを用いてモデルのデプロイ（サービングシステムの構築）をStep Functionsのフローに組み込んだ話 モデル学習後の一連の流れで，推論を行うためにモデルのデプロイやエンドポイントの作成をStep Functionsで実装した内容になります． 今回紹介するのは下図の青枠箇所の内容になります． 検閲システムのアーキテクチャー概略図 目次 はじめに Step Functionsを使ってサービングシステムを構築する方法 学習済みモデルを含んだ推論コンテナの設定（モデルの作成） エンドポイントの構成を設定 エンドポイントの作成とデプロイ 機械
[Amazon SageMaker] イメージ分類のモデルをNeoで最適化して、Jetson Nano+OpenCV+Webカメラで使用してみました | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 前回、Amazon SageMaker(以下、SageMaker)の物体検出（組み込みアルゴリズム）を、SageMaker Neo（以下、Neo）で最適化して、Jetson Nanoで利用してみました。 今回は、イメージ分類（組み込みアルゴリズム）について、確認してみました。 最初に、動作を確認している様子です。GPUがフルに回っていますが、約0.1秒で推論できています。 2 モデル 使用したモデルは、下記で作成したものです。 17種類の商品を回転台に乗せて動画撮影したデータから、イメージ分類のモデルが作成されています。 3 SageMaker Neo 下記の諸元で、上記のモデルを最適化しています。 ジョブ名: ic-SYOHIN17-jetson-Nano-001（任意です） データ入力値: {"data": [1, 3, 224, 22
![[Amazon SageMaker] イメージ分類のモデルをNeoで最適化して、Jetson Nano+OpenCV+Webカメラで使用してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/be008d04a8db62514ca43cd7765e62041ee423f3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-sagemaker.png)
はじめに 先日、AWS認定 機械学習 - 専門知識 (AWS Certified Machine Learning - Specialty) に合格し、AWS認定試験をすべて制覇することができました。11冠達成！ この試験で特に重要なのがAWSの機械学習サービスである 「Amazon SageMaker」 です。 しかし、一口に「SageMaker」といっても「SageMaker ＊＊＊＊」といった関連サービスがとても多い。 もちろん、機能が多いのはありがたいことなのですが、初心者にとっては覚えるのが大変なので、試験の復習も兼ねて、まとめてみました。 SageMaker サービス体系 注意事項 AWS re:Invent 2021 (2021/11/29 - 2021/12/03) 以降に発表されたサービスは別枠としているのは、リリースされて6か月以内のサービスや機能に関する問題が認定試験
みなさんこんにちは。機械学習チームのたかぱい（@takapy0210）です。 2021年もあと1ヶ月となりましたね。皆様いかがお過ごしでしょうか。 ...さて12月といえば、毎年恒例のアドベントカレンダーの季節ですね！ というわけで、2021年もコネヒト Advent Calendarが始まります！🎉 初日となる本エントリでは、機械学習チームで使用しているSageMaker*1の機能である、Processing*2について、活用事例とともにご紹介しようと思います。 目次 SageMaker Processingとは? SKLearnProcessor / PySparkProcessor Processor / ScriptProcessor これまでの課題感 SageMaker Processorの活用方法 SageMakerからECRにあるコンテナを指定してProcessor Job
Amazon SageMaker イベントページ
機械学習はインフラやフレームワークの技術革新によって、開発者にとって身近なものとなりました。一方で、インフラやフレームワークに対して適切な整備・運用を行う必要があります。数週間・数ヶ月かけて整備した機械学習の環境も、進歩の速い機械学習技術に合わせて、絶えず更新を続けなくてはなりません。 今回ご紹介します 3 つのパートを一通り実施していただくことで、AWS の機械学習サービスである Amazon SageMaker を利用した機械学習の開発・学習・運用に関する知識を、実装レベルで身につけることが可能です。ハンズオンの内容を、現在の機械学習の業務に適用いただくことで、業務の効率化だけでなく、困難な機械学習タスクへの挑戦も可能にします。 Amazon SageMaker は、機械学習のワークフロー全体をカバーするフルマネージド型のサービスです。機械学習の開発者は、機械学習のためのインフラ管理か
Amazon Sagemaker Studio Lab で無料で機械学習を学んでみよう！ #reinvent | DevelopersIO
こんにちは！森田です。 先日のSivasubramanian KeynoteでAmazon SageMaker Studio Labが発表されました。 この記事では、Sagemaker Studio Labに登録して、機械学習を無料で学ぶ方法をご紹介します。 Amazon SageMaker Studio Labとは Amazon SageMaker Studio Labとは、AWSが提供する無料の機械学習実行環境となっております。 （AWSが提供していますが、AWSアカウントは必要ではありません。） もちろん無料ですので多少の実行制限はありますが、機械学習を学び、実験する程度では問題ない環境が整っております。 初めて機械学習を学ぶ際には、実行環境構築の敷居が高くなってしまいがちですが、このSageMaker Studio Labであればそんな問題も解決され、誰でも簡単に機械学習を始めれそ
[速報]ついにSageMekerの統合環境が登場！「SageMaker Studio」が発表されました #reinvent | DevelopersIO
せーのでございます。 本日、AWS re:Invent 2019のメインイベントの1つである、Keynote by Andy Jassyが開催されました。 機械学習の分野からはSageMaker関連のサービスが数多く発表されております。その一発目として登場したのは、SageMakerの統合環境「SageMaker Studio」です。WebベースのIDEですね。 特徴 SageMakerを使うにはまずIAMや元となるGitなどを指定して学習用のインスタンスを指定して開発環境を構築、jupyter notebookでコードを書いたらそれを学習させるためのインスタンスを用意して学習、さらにハイパーパラメータの調整、そして推論用のインスタンスにデプロイ、API化、という手順を踏みます。 SageMaker Studioはそれらを一つの画面で管理することができます。 内容 NoteBookの管理
![[速報]ついにSageMekerの統合環境が登場！「SageMaker Studio」が発表されました #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a298426174d5914a0e9708095c8dd40c4722cc0d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
Llama 2 foundation models from Meta are now available in Amazon SageMaker JumpStart | Amazon Web Services
AWS Machine Learning Blog Llama 2 foundation models from Meta are now available in Amazon SageMaker JumpStart October 2023: This post was reviewed and updated with support for finetuning. Today, we are excited to announce that Llama 2 foundation models developed by Meta are available for customers through Amazon SageMaker JumpStart to fine-tune and deploy. The Llama 2 family of large language mode
New for Amazon Aurora – Use Machine Learning Directly From Your Databases | Amazon Web Services
AWS News Blog New for Amazon Aurora – Use Machine Learning Directly From Your Databases March 23, 2020: Post updated to clarify networking, IAM permissions, and database configurations required to use machine learning from Aurora databases. A new notebook using SageMaker Autopilot gives a complete example, from the set up of the model to the creation of the SQL function using the endpoint. The int
たった数枚の画像で Stable Diffusion をファインチューニングできる効率的な Amazon SageMaker JumpStart の使い方 | Amazon Web Services
Amazon Web Services ブログ たった数枚の画像で Stable Diffusion をファインチューニングできる効率的な Amazon SageMaker JumpStart の使い方 2022 年 11 月、AWS のお客様が Amazon SageMaker JumpStart で Stable Diffusion モデルを使ってテキストから画像を生成できるようになったことを発表しました。Stable Diffusion は、リアルで高品質な画像や印象的なアートをわずか数秒で生成することができるディープラーニングモデルです。印象的な画像の作成は、アートから NFT など幅広い業界で活用が見込めますが、今日ではユースケースにパーソナライズされた AI が期待されています。本日、Amazon SageMaker JumpStart でカスタムデータセットでファインチューニ
機械学習エンジニアの吉田です。今回は機械学習モデルの推論サーバとして NVIDIA Triton Inference Server の性能を検証した話です。 背景 バクラクでは請求書OCRをはじめとした機械学習モデルを開発していますが、これらの機械学習モデルは基本的にリアルタイムで推論結果を返す必要があります。 請求書OCRを例にとると、お客様が請求書をアップロードした際にその内容を解析し、請求書の金額や日付などを抽出します。 このような推論用のAPIサーバはNginx, Gunicorn/Uvicorn, FastAPIで実装し、PyTorchモデルをGPUで推論する構成となっており、SageMaker Endpointを使ってサービングしています。 バクラクの推論APIはこのような構成でリリース以降特に問題なく稼働してきていますが、ご利用いただくお客様が増えるにつれてリクエストも増加し
SageMaker Serverless Inferenceも使っているNewsPicksの機械学習システムの構成を紹介します！ - Uzabase for Engineers
こんにちは。NewsPicksエンジニアの雲越です。 NewsPicksでは、記事のレコメンドを始めとする機械学習を組み込んだシステムがいくつか動いており、中にはAmazon SageMakerを使って実装されているものもあります。 今回はそんなシステムの一つである記事分類システムが、どのようにSageMakerを使っているかについて紹介します。 どんなシステム？ 学習について Training Jobを利用している背景 推論について Serverless Inference導入 CDKで推論エンドポイントを作るのをやめました 今回の対応まとめ 今後の改善 終わりに どんなシステム？ NewsPicks編集部によってオリジナル記事が投稿されたり、URLピックという機能やRSSによって外部メディアの記事が取り込まれたりすると、NewsPicks内に記事が登録されます。 この際に、その記事のタ
Amazon Web Services（AWS）が2019年12月第1週に開催した「AWS re:Invent 2019」における、機械学習／AI関連の発表に共通するテーマをまとめて一文で表現すると、「開発者／データサイエンティストが、まだ初期段階にある機械学習／AIの活用で、高い生産性を発揮し続けるのを支援する」ということだという。 例えば今回のカンファレンスでAWSが発表した機械学習関連機能に、「Amazon SageMaker Autopilot」がある。これは「AutoML」と総称される機械学習自動実行ツールの一つで、入力されたデータに前処理を加えた後、アルゴリズムおよびハイパーパラメーターをさまざまに変えて次々にトレーニングと評価を実行し、結果を逐次示す。 Autopilotが提供する機能は、例えばData Robotと似ているようにも見える。だが、Data Robotが「AIの
Introduction この記事は、初めてAmazon SageMakerにさわった自分が、Amazon SageMaker Studioを使って ↓の情報を参考に機械学習モデルの構築・トレーニング・デプロイして推論を実行したログです。 devio : Amazon SageMakerの予測APIをboto3から叩く Qiita : Amazon SageMaker Studio の導入と Autopilot について ＃２ Qiita : 流行りにのってAmazon SageMaker Studioを使ってみた！！ Qiita : [チュートリアル] Amazon SageMakerでの学習・デプロイ Amazon SageMaker 開発者ガイド これらの情報をみて、実際にAutopilotで機械学習モデル構築から推論まで動かしたことがあるなら、たぶん目新しい情報はないので注意。 W
Amazon Web Services ブログ マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 この投稿は株式会社ブレインパッドのエンジニアである 小杉 知己 氏に、自社で取り組まれた機械学習のための CI/CD パイプライン構築についてご紹介頂き、AWS 社員と共著したものとなります。 はじめに 機械学習 (ML) のビジネスにおける活用はますます加速しています。しかし、MLプロジェクトの初期段階における概念実証 (PoC) フェーズを乗り越え、MLを本番環境において運用するには多くの課題があることが知られています。例えば、運用中のデータの質の変化に対応するためにMLモデルの再訓練を行う必要が出てきたとき、さまざまなモデルのバージョンをいかに管理するかが課題となります。また、作ったモデルの本番適用可否の判断を効率的に行うためにはライフサイクルの管理が必要となりま
Amazon SageMaker JumpStart で事前構築済みモデルと機械学習ソリューションへのアクセスを簡素化する | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker JumpStart で事前構築済みモデルと機械学習ソリューションへのアクセスを簡素化する 本日、Amazon SageMaker の新機能である Amazon SageMaker JumpStart の提供を開始したことを発表します。人気の高いモデルのコレクション (別名「モデルズー」) および一般的なユースケースを解決するエンドツーエンドのソリューションに、ワンクリックでアクセスして機械学習ワークフローを高速化することができます。 近年、機械学習はビジネスプロセスの改善と自動化に役立つ技術であることが証明されています。実際、過去データでトレーニングされたモデルは、金融サービス、小売、製造、通信、ライフサイエンスといった幅広い業界において結果を高精度に予測できます。しかし、これらのモデルの使用には、データセッ
Fine-tuning a PyTorch BERT model and deploying it with Amazon Elastic Inference on Amazon SageMaker | Amazon Web Services
AWS Machine Learning Blog Fine-tuning a PyTorch BERT model and deploying it with Amazon Elastic Inference on Amazon SageMaker November 2022: The solution described here is not the latest best practice. The new HuggingFace Deep Learning Container (DLC) is available in Amazon SageMaker (see Use Hugging Face with Amazon SageMaker). For customer training BERT models, the recommended pattern is to use
Amazon SageMaker と AutoGluon-Text で自然言語処理モデルを作ろう~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
アマゾン ウェブ サービス ジャパンでインターンシップをしている馬目です。現在、大学院では自然後処理の分野で文生成に関する研究をしており、同時にインターンシップで様々な機械学習の実装を検証し、実世界への適用をサポートしています。 みなさんは AutoGluon という機械学習のライブラリを聞いたことがあるでしょうか ? AutoGluon は、機械学習に関わる様々な処理を自動化する AutoML をコンセプトとするライブラリです。機械学習は、データサイエンティストとよばれる機械学習のエキスパートを中心に利用されていますが、AutoML によって機械学習に詳しくないエンジニアでも利用できるようになりつつあります。ウェブサイトによれば、AutoGluon によって以下のことを実現できると記載されています。 わずか数行のコードで、自分自身のもつデータに合わせたディープラーニング・機械学習のソリュ
【開催報告 & 資料公開】 AI/ML@Tokyo #9 機械学習モデルの可視化、説明可能性とMLセキュリティ | Amazon Web Services
Amazon Web Services ブログ 【開催報告 & 資料公開】 AI/ML@Tokyo #9 機械学習モデルの可視化、説明可能性とMLセキュリティ アマゾン ウェブ サービス ジャパン株式会社 機械学習ソリューションアーキテクトの大渕です。AWS Japan では、AI/ML 関連情報を発信するイベント「AWS AI/ML@Tokyo」を定期的に開催しています。2020年12月17日にオンラインで開催された AWS AI/ML@Tokyo #9 では、AWS の 機械学習ソリューションアーキテクトより Amazon SageMaker を使って機械学習モデルの可視化と説明可能性を実現する方法をご紹介し、ソリューションアーキテクトより AWS の AI/ML サービスにおけるセキュリティについてご紹介しました。また、お客様活用事例として、東日本旅客鉄道株式会社様より、画像認識を活
Amazon Web Services ブログ AWS COVID-19 パブリックデータレイクの探索 AWS COVID-19 のデータレイク — 新型コロナウイルス (SARS-CoV-2) とこれに関連する病気である COVID-19 の広がりおよび特性についての、またはそれに関する最新のデータセットが収集され、一元化されたリポジトリが現在利用可能になりました。詳細については、COVID-19 データの分析用のパブリックデータレイクをご参照ください。世界的には、このデータを収集するためにいくつかの取り組みが進行中であり、AWS はパートナーと協力して、この重要なデータを自由に利用できる状態にし、最新の状態に保てるように尽力しています。 このデータは、質問、独自のデータセットとの混合、独自のデータレイクへの新しい洞察の取り込みを行うためにすぐに利用できます。AWS は、パンデミック監視
[Amazon SageMaker] JumpStartのファインチューニングで作成したResNet18のモデルをSageMaker Neoで最適化して、Jetson NanoのWebカメラで使用してみました | DevelopersIO
[Amazon SageMaker] JumpStartのファインチューニングで作成したResNet18のモデルをSageMaker Neoで最適化して、Jetson NanoのWebカメラで使用してみました 1 はじめに CX事業本部の平内（SIN）です。 Amazon SageMaker JumpStart（以下、JumpStart）は、TensorFlow Hub や PyTorch Hub に公開されているモデルをGUIで簡単にデプロイして利用できます。 以下は、PyTorch HubのResNet50でファイチューニングしてみた例です。 今回は、上記と同じ要領でResNet18から学習したモデルをSageMaker Neo（以下、Neo）でJetson Nano用に最適化して使用してみました。 前回、同じモデルをPyTorch上で使用した際の処理時間が、0.04sec 〜
SageMakerで自作のHuggingFaceモデルをデプロイして、記事要約をさせてみる - NIFTY engineering
はじめに N1! Machine Learning Product Engineerの中村です。 普段はニュースサイトやアプリのバックエンド開発を担当し、その他機械学習をプロダクトに実装することを目的としたスペシャリスト（ニフティにはN1!というスペシャリスト制度があります）としても活動しています。 https://recruit.nifty.co.jp/interview/nakamura.htm 本記事では、現在検証中である自然言語処理のためのHuggingFaceモデルをSageMakerにデプロイする手順を説明します。 SageMakerを使用することで、インスタンスタイプ変更やスケーリング、Lambdaなどと組み合わせたWebAPI化も可能なため、機械学習プロダクトの開発が楽に行えます。 注意 この記事ではSageMakerへのデプロイを目的としているため、自然言語処理モデルの具
Airflow と SageMaker で構築する推論パイプライン | BLOG - DeNA Engineering
はじめまして。AI システム部の @moajo です。 普段はインフラからフロントエンドまで幅広く MLOps しています。 弊社 AI システム部のとあるプロジェクトで、老朽化した機械学習推論パイプラインを Airflow と SageMaker を組み合わせて再構築しました。 この記事では、新しい推論パイプラインの開発を通して得られた知見と、その具体的な実装についてご紹介します。 具体的なコード例を多めに載せているので、参考になれば幸いです。 この記事には以下のようなことが書いてあります。 システム全体像と得られた知見 SageMaker batch transform の使い方 Airflow の使い方 この記事ではなんとなく以下を知っていることを前提とします。 Airflow とは何か SageMaker とは何か 背景 このプロジェクトでは、以前から以下のような推論プロセスが運用
【加藤さん向け】オンプレで動かす機械学習パイプラインをSagemaker用に変更するときのポイント【社内共有】 | DevelopersIO
せーのでございます。 北海道はもうそろそろ秋の気配。みなさんも秋物の洋服をクリーニングに出そうとしたり、観葉植物の日当たりを工夫したりしてる時 もともとオンプレやEC2で動かすために組んでいた機械学習のパイプラインをSagemaker用に書き直したいなと思うことって、よくありますよね。 でも、この作業にはSagemakerの勘所を押さえておく必要があります。今回はそんな書き換え作業時に押さえておくポイントを、がっつり社内向けに記述しておきます。 今回は特にターゲット層として機械学習関連を一緒に作業している「加藤さん」を念頭にこの記事を書いています。ですので「加藤さん」と同じくらいのバックグラウンドをお持ちの読者の方であればスッと入ってくるかと思います。 「加藤さん」像 私の考える「加藤さん」は AWSのサービスについては基本押さえている 機械学習の基本的な用語や流れ（データセットなど）はわ
[初心者向け] はじめてのSageMaker みんな大好きアイリスデータを使って組み込みアルゴリズムで分類してみる | DevelopersIO
はじめに おはようございます、もきゅりんです。 最近は個人的な取り組みの一環として、機械学習の学習に取り組み始めました。 さて、AWSで機械学習に取りかかるならば、Amazon SageMaker。 まずは、組み込みアルゴリズムのLinearLearner。 そんなオレは、ML beginner。 (LinearLearnerが何だ？という話は、ドキュメントを確認して欲しいのですが、ターゲットの分類や予測したい数値を推定するために使用される、教師あり学習アルゴリズムです。) 初めてのデータセットは、みんな大好きな Iris でやってみます。 作業の流れは、完全に下記の通りで進めます。 Amazon SageMaker のコンソールの開始方法 なお、自分は専門的なデータサイエンティストでも何でもないので、無駄、非効率な作業を行っているかもしれない点、ご了承下さい。 前提 IAM権限を設定・更
【レポート】Architecting and Building – ログデータ用のデータレイク＆分析環境をクイックに構築するには？ #AWSSummit | DevelopersIO
はじめに 皆さんこんにちは。石橋です。 2020年9月8日から9月30日までオンラインで視聴可能なクラウドカンファレンス、AWS Summit Online 2020が開催中です！！ 本エントリではライブセッション「AAB-03：Architecting and Building - ログデータ用のデータレイク＆分析環境をクイックに構築するには？」のレポートをお届けします。 概要 スピーカー アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 下佐粉 昭 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 野間 愛一郎 セッション概要 ログやデータベースに色々なデータが溜まっている。できればデータを集めて分析したいんだけど、どのようにすれば良いか分からない、という方も多いのではないでしょうか。本セッションでは、架空のお
Developers.IO 2020 ConnectのDay4でAmazon SageMakerに関するライブセッションを担当しました #devio2020 | DevelopersIO
データアナリティクス事業本部の貞松です。期末の多忙と格闘中です。 2020/6/17〜2020/7/7の期間で、クラスメソッドの年次技術イベント「Developers.IO 2020 CONNECT」が開催されています。 私は本日(2020/6/26)のDay4に「実践 Amazon Sagemaker - 全体像からユースケースまで」というタイトルでライブセッションを担当しました。 当日のスライド 当日のスライドはこちらです。 実際のライブセッションではSageMaker Studioの画面をお見せしながら発表していたので、スライドだけだとわかりにくい部分は後日YouTubeのクラスメソッドチャンネルで公開されるセッション録画を見ていただけると幸いです。 ※動画公開され次第、こちらにも貼る予定です。 2020/6/29更新 セッション録画が公開されました！(下にYouTubeの動画埋め込
[Amazon SageMaker] イメージ分類のモデルをNeoで最適化してRaspberryPi Model 4で使用してみました | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Amazon SageMager Neo（以下、Neo）を使用すると、既存のモデルをコンパイル（最適化）し、精度を低下させることなく、他のクラウドやエッジで実行出来るようになります。 参考：Amazon SageMaker Neo モデルを一度トレーニングすれば、最大 2 倍のパフォーマンスでどこでも実行可能 今回は、以前、作成した商品を検出するイメージ分類（SageMakerの組み込みアルゴリズム）のモデルをNeoで最適化し、RaspberryPi(Model 4)にセットアップしたDLR(DeepLarningRuntime)で使用してみました。 作業にあたっては、下記の記事を参考にさせて頂きました。 2 Neoによる最適化 Neoによるコンパイルは、SageMakerコンソールの推論 > コンパイルジョブ から、コンパイルジョブの作成
[Amazon SageMaker] イメージ分類(Image Classification)における対象物の写り具合による検出状況について | DevelopersIO
[Amazon SageMaker] イメージ分類(Image Classification)における対象物の写り具合による検出状況について 1 はじめに CX事業本部の平内（SIN）です。 Amazon SageMakerのビルトインアルゴリズムのイメージ分類は、画像を分類するものですが、シングルラベルで作成されたモデルで、ターゲットする対象物が複数写っていたり、一部だけ写っていたりする場合の検出具合はどうなんだろう？という事で、色々試してみました。 使用したモデルは、下記のように回転台に載せて正面から撮ったデータセットから作成されたものです。 参考:[Amazon SageMaker] 回転台を使って撮影した動画で、Amazon SageMaker Ground Truth形式のデータセット（Image Classification）を作ってみました 試してみた対象物（商品）は、ORE
Amazon SageMaker の NVIDIA Triton Inference Server を使用して高速でスケーラブルな AI をデプロイする | Amazon Web Services
Amazon Web Services ブログ Amazon SageMaker の NVIDIA Triton Inference Server を使用して高速でスケーラブルな AI をデプロイする 機械学習 (ML) とディープラーニング (DL) は、医療診断における画像分類、チャットボットにおける会話型 AI、e コマースにおけるレコメンデーションシステムに至るまで、さまざまなコンピューティングの問題を解決するための効果的なツールになりつつあります。ただし、特定のレイテンシーまたは高スループットの要件を持つ ML モデルは、一般的なコンピューティングインフラストラクチャで大規模に実行するには莫大なコストがかかる可能性があります。企業や顧客が期待する厳しいスループット、スケール、レイテンシーでの推論を最小限のコストで実行するために、ML モデルは GPU などの推論アクセラレータを必
AWSの機械学習マネジメントサービスであるSageMakerは、なかなかピンポイントで欲しい資料が出てこないので、まとめておく。 Amazon SageMaker の特徴 本番環境でMLシステムを運用していく際に、マネージド機能が真価を発揮する。 MLopsやMDLCを実現していくためのコンポーネント。 PoCのモデル開発だけでは、真の恩恵は得られない。 SageMaker 初級者から中級者への近道（個人の経験） 以下の要件での学習、前処理、推論を構築できれば、応用が効くレベルになっていると思う。 学習：カスタムコンテナで、学習スクリプトが複数ファイルになっている(独自util.pyを作成など）ケースを理解する。 ・dockerの理解 ・SageMakerの仕様の理解(/opt/ml/へのデータ展開、実行スクリプトの場所など） （オプション）前処理：前処理をSageMaker Proces
[自然言語処理/NLP] Word2VecをSageMaker上で使ってみる (実行編) | DevelopersIO
こんにちは、Mr.Moです。 Word2Vecについて理論を学んだので、次は実際に使ってみたいと思います。 ちなみに理論については下記の記事にまとめました。 [自然言語処理/NLP] Word2Vec触ったので備忘録としてざっくりまとめておく (理論編) 前提 この記事ではSageMaker上で動かすことを前提に進めていきます。 SageMakerについては弊社ブログで情報を発信しておりますのでこちらも参考にしてみてください。 https://dev.classmethod.jp/referencecat/amazon-sagemaker/ 事前準備 SageMakerでノートブックインスタンスの作成 まずはじめにSageMakerの画面を開きます。 https://ap-northeast-1.console.aws.amazon.com/sagemaker/home?region=ap
追記 2020/07/02 本記事は sagemaker-containers について言及をしていますが、本pip moduleはdeprecatedとなっており、sagemaker-training-toolkitを参照していただくことを強くおすすめします。 追記終わり。 どうも@shirakiyaです。普段はアルゴリズムソリューションを提供しているベンチャー企業にて機械学習を使ったWebアプリケーションの開発をしています。 この記事ではAmazon SageMakerのトレーニングで任意の処理を実行しつつ学習済みモデルを得る方法に関し、 全て自前でコンテナを用意してトレーニングする方法 Amazon SageMaker コンテナを用いてトレーニングする方法 の2種類のそれぞれについて説明を行います。 Amazon SageMakerトレーニング概要 この記事の読者にはあまり説明不要か
Managing your machine learning lifecycle with MLflow and Amazon SageMaker | Amazon Web Services
AWS Machine Learning Blog Managing your machine learning lifecycle with MLflow and Amazon SageMaker July 2023: Post was reviewed for accuracy. Please refer to Securing MLflow in AWS: Fine-grained access control with AWS native services for enterprise-level access control for MLflow. With the rapid adoption of machine learning (ML) and MLOps, enterprises want to increase the velocity of ML projects
せーのでございます。 Sagemakerを使って機械学習をしていますと、気になるのはやっぱりコストです。特に学習インスタンスはGPUを沢山積んでいたりして、単価が高めになっているので、なるべく節約して使いたい。今回はそういうお話です。 どうやばいのか Sagemakerの学習インスタンスのコストはタイプによっていろいろ違います。。例えば私がよく使うp2やp3系だとこんな感じになります。 Sagemakerの場合、学習インスタンスは学習した時間しかかかりません。それでも複数インスタンスを一気に回したりし続けると、月に関するコストはかなりの負担になります。 そこで活用したいのがスポットインスタンスです。Sagemakerでは「マネージドスポットインスタンス」というものが使えます。 マネージドスポットインスタンスとは マネージドスポットインスタンスとは、トレーニングジョブをオンデマンドではなく、
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「平均的な開発者にも機械学習の力を」―AWSジャシーCEO基調講演 (1/4)
SageMaker初心者必見！AWS認定試験(機械学習)に合格するために絶対に覚えるべきこと - Qiita
機械学習プロジェクトにおけるSageMaker Processingの使い所 - コネヒト開発者ブログ
NVIDIA Triton Inference Server の性能検証 - LayerX エンジニアブログ
AWS、「今の機械学習に必要なのは、開発者が急速な進化を取り込み、安定的に生産性を発揮できる基盤」
Amazon SageMaker Studioを使って機械学習をやってみる | DevelopersIO
マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 | Amazon Web Services
AWS COVID-19 パブリックデータレイクの探索 | Amazon Web Services
SageMaker入門者向け - 資料リンク集 - - Qiita
Amazon SageMakerで独自アルゴリズムを使ったトレーニング(学習)の作り方 - Qiita
【備忘録】Sagemakerの学習にスポットインスタンスを使う【超カンタン】 | DevelopersIO
kamenfukushikai.hatenablog.com
www.itmedia.co.jp
qiita.com/pa8p1pupepa8
doranekoweb.com
www.weblio.jp
www.nikkei.com