サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
世界禁煙デー
nsakki55.hatenablog.com
Breaking the Wall between AI and DevOps with MLOps microsoftの公式GitHubアカウントにMLOpsというレポジトリがあります。 その中に、MLOps whitepaper.pdfというファイルがあり、各章の要点をまとめました。 MLOps/MLOps whitepaper.pdf at master · microsoft/MLOps · GitHub gitのcommit履歴を見るに、2019年10月に公開されたドキュメントです。 ※注意 GitHubからPDFファイルをダウンロードすると執筆時のレビューコメントがある状態なので、本ドキュメントを正式なホワイトペーパーと捉えて良いか不明です。 2024年現在、他にMLOpsに関するホワイトペーパーとしての位置付けのドキュメントがmicrosoftから出ていないので、暫定的に本ド
MLOps: Continuous Delivery for Machine Learning on AWS AWSが2020年12月に公開した、AWSでMLOpsを実践するためのホワイトペーパーです。 MLOps: Continuous Delivery for Machine Learning on AWS 機械学習システムを運用するための要素、MLOpsと関連するAWSサービス機能の説明が書かれています。 前半のIntroductionの章はMLOps全般に関わる概念的な内容です。 Alteryx・Dataiku・Domino Data Lab・KNIMEの章はツール紹介に近い内容となっているため、本記事では割愛しています。 要点まとめ AWSが2020年12月に公開した、AWSでMLOpsを実践するためのホワイトペーパー 機械学習モデルを本番運用する際の手順・要素を説明 MLOps
Googleが公開した、MLOps実践のためのホワイトペーパー GoogleがMLOps実践のためのホワイトペーパーを公開しています。 Practitioners Guide to Machine Learning Operations (MLOps) 2021年5月に公開されたものですが、2024年現在に読んでも色褪せない内容だったので、各章の要点をまとめました。 TL;DR Googleが2021年5月に公開したMLOpsの実践のためのホワイトペーパー MLOpsライフサイクルの全体像・コア機能を解説 コア機能: 実験、データ処理、モデル学習、モデル評価、モデルサービング、オンライン実験、モデル監視、MLパイプライン、モデルレジストリ、データセット・特徴量レポジトリ、MLメタデータ・アーティファクトトラッキング MLOpsのコアプロセスの詳細を解説 コアプロセス: ML開発、学習の運用
「データエンジニアリングの基礎」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Fundamentals of Data Engineering で本書は日本語訳となります。 筆者のJoe Reis氏とMatt Housley氏はデータエンジニアリングのコンサルタントを行っていて、業界経験が長いお二人です。 データエンジニア界隈は急速に変化する業界と本文中で書かれています。 業界変化の中で「変わらないもの」を選択し、今後数年間役に立つコンセプトをまとめたものと本書を説明しています。 上記の狙い通り、本書はツールや特定技術ソリューションの話題は避け、データエンジニアリングの背後にある普遍的な技術概念の説明に徹しています。 SQL実行の内部の処理や、磁気ディスクドライブの物理挙動にまで踏み込んでいて、データエンジニアリングの基礎
Data Engineering Study #23 Data orchestration 特集の発表「ワークフローオーケストレーション入門」から、ワークフローオーケストレーションの歴史について記事にまとめました。 概要 近年データエンジニアリングの周辺技術が話題に上がるようになり、ワークフローオーケストレーションが注目を集めています。 workflow orchestration関連語のGoogle Trend 上図はワークフローオーケストレーションの関連ワードのGoogle Trendです。 データオーケストレーションを中心として、ワークフローオーケストレーション関連語の検索数が上昇傾向にあります。 本記事では最新のワークフローオーケストレーションの動向を知るために、ワークフローオーケストレーションの歴史を深ぼります。 Prefect社のブログ記事 A Brief History of
やりたいこと Digdag では条件式を用いて、タスクを分岐させることができます。 if>: Conditional execution — Digdag 0.10.4 documentation 公式ドキュメントでは, if>: {boolean} として条件分義を行うように指示があります。 +run_if_param_is_false: if>: ${param} _do: echo>: ${param} == true _else_do: echo>: ${param} == false 以下のように、複数の変数の値から条件判定を行う際に気を付けるべき点をご紹介します。 +run_multiple_param_: if>: ${param1 || param2} _do: echo>: 'success' _else_do: echo>: 'faile' 注意点 何らかの判定を行った
はじめに 現場で役立つシステム設計の原則 ~変更を楽で安全にするオブジェクト指向の実践技法~ のJavaで書かれたサンプルコードをPythonで書いてみました。 本書はシステム設計の名著として有名で、コード・システムを綺麗に維持し続けるためのテクニックが、オブジェクト指向プログラミングの思想に基づいてまとめられています。 本記事では具体的なコードの書き方に関する部分だけ扱い、Pythonで書く場合はどうすればいいのかに注目します。 本書の中では実際の現場での設計方法や、コード設計の背景にあるドメインモデルなどの概念も紹介されていますが、本記事では触れません。 より設計について学びたい方は、本書を読むことをお勧めします。 本文中コード:https://github.com/nsakki55/system-architecture-principles-python 1章 点在してるロジックを
この記事は MLOps Advent Calendar 2023の20日目の投稿記事です。 PrefectワークフローをKubernetes Jobで実行する方法を紹介します。 本文中コード: code-for-blogpost/prefect_gke at main · nsakki55/code-for-blogpost · GitHub Prefect × Kubernetes PrefectではワークフローをKubernetes Jobとして実行することができます。 kubernetesを使用することで計算リソースを柔軟に拡張したり、ワークフローをコンテナ化して管理するメリットがあります。 以下の手順で、PrefectでワークフローをKubernetes Jobとして実行できます。 Kubernetes work poolの作成 workerをKubernetes上にデプロイ de
「プロダクトマネージャーのしごと」を読んだので、メモをかねて各章の感想を書きます。 www.oreilly.co.jp 全体を通しての感想 原本は Product Management in Practice, 2nd Edition で本書は日本語訳となります。 本書が出版された時にプロダクトマネージャーの実践的な本が出たと話題になりました。 プロダクトマネージャーの仕事の実態を包み欠かさず明かし、どうプロダクトマネージャーとしての成功率を高めていくかを紹介していいます。 いわゆるベストプラクティスをまとめた内容ではなく、プロダクトマネージャーとして日々の業務にどう向き合っていけば良いかの指針を示してくれる内容です。 あまりに現実的な内容で、自分としては胃が痛くなるような話が多かったです。 機械翻訳っぽさがなく、丁寧に訳された日本語訳となっていて読みやすいです。 文章がウィットに富んでい
「機械学習システムデザイン」を読んだので、感想・各章の内容についてまとめます www.oreilly.co.jp 全体を通しての感想 原本は Designing Machine Learning Systems で本書は日本語訳版となります。 原本の著者である Chip Huyen氏が書籍に関する情報をまとめたGitHubレポジトリを公開しています。https://github.com/chiphuyen/dmls-book 著者が現場の機械学習エンジニアということもあり、書かれている内容は実際の現場に即した内容に徹していました。実環境の機械学習システムで直面する課題やユースケースをまとめていて、機械学習エンジニアが普段感じてる課題をうまく言語化しています。 特に筆者の経験に基づいて現場で直面した問題や手堅い手法が書かれているのは、実務家として目から鱗の内容でした。 本書は概念的な内容が書
ゼロから自作したパケットをpythonのsocket通信を用いてサーバーに送信します。 SYNフラグのパケットをサーバーに送り、SYN, ACKフラグのパケットが返ってくるところまで確認します。 実行環境 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=20.04 DISTRIB_CODENAME=focal DISTRIB_DESCRIPTION="Ubuntu 20.04.6 LTS" $ uname -srm Linux 5.4.0-156-generic x86_64 本文中コード: code-for-blogpost/raw_packet at main · nsakki55/code-for-blogpost · GitHub 目次 目次 networkの作成 serverの作成 packetの作成 Ethern
AWS Certified Machine Learning – Specialty(以下、MLS)を取得したので、MLエンジニアに取って役に立つ試験なのか、自分の勉強手順について書いてみます。 AWS Certified Machine Learning – Specialty mls icon AWS認定試験のうち、AWS上で機械学習を用いたソリューションを実施するために必要な知識を扱った試験です。 公式試験ガイドでは以下の能力を検証する試験とされています。 「AWS クラウドを使用して、特定のビジネス上の課題に対する機械学習ソリューションの設計、構築、デプロイ、最適化、トレーニング、チューニング、および保守を行う受検者の能力」 受験対象者としては、以下の方を対象としています 「AWS クラウドにおけるML/ディープラーニングのワークロードの開発、アーキテクチャ設計、運用に関する1 ~
Pythonパッケージ管理ツール ryeの使い勝手がよかったので使用方法をまとめました。 ryeとは GitHub: https://github.com/mitsuhiko/rye flaskの作者である Armin Ronacher氏 (GitHubアカウント @mitsuhiko)が個人利用目的で作成した、Pythonのパッケージ関係管理ツールです。内部実装はRustです。 ryeが作成された思想がリポジトリ Should Rye Exist? のDiscussionページに書かれています。 Should Rye Exist?: XKCD #927 Disucssion中の図にあるように、従来のPythonのパッケージ管理は”様々な標準”が存在し、このばらつきを統一しようと新しくパッケージ管理ツールを導入しても、”新たな標準が追加されるだけ”となり、真のパッケージ管理の標準化を行えて
本文中のコード github.com Prefect 2.0 2022年7月にPrefect 2.0が正式リリースされました。 Prefect1.0のサポートが2023年5月1日に終了するため、Prefect 2.0への移行が必須となっています。 Prefect 1.0から2.0に移行するメリットは次のmediumの記事が参考になります。 Reasons to Transition from Prefect 1.0 to 2.0 | by Madison Schott | Medium Prefect 1.0と2.0の違い prefect 2.0の公式ドキュメント「Migrating from Prefect 1 to Prefect 2」で Prefect 1.0と2.0の機能の違いが説明されているので、変化があった主要機能を取り上げます。 共通機能 Task と Flow がワークフロ
MLOpsを体系的にまとめた論文「Machine Learning Operations (MLOps): Overview, Definition, and Architecture」を読んだので、要点をまとめました。 元論文:https://arxiv.org/abs/2205.02302 TL;DR 「MLOpsって何?」に答えた論文 MLOpsに関わる文献調査・ツール調査・専門家インタビューを行った MLOpsに必要な原理・要素・ロール・アーキテクチャをまとめた MLOpsの言葉の意味を定義した MLOpsの課題をまとめた 本文要点 0 Abstract MLOpsは今だに漠然とした言葉であり、研究者と専門家間でMLOpsの定義が曖昧となっている。 本論文では文献調査・ツール調査・専門家へのインタビューを行い、MLOpsを調査した。 調査から以下の結果を体系的にまとめた MLOps
特徴量の異なる2つの予測モデルのABテスト環境を、SageMaeker推論エンドポイントを用いて作ってみます。 本文中のコードです github.com 目次 目次 データ・モデル 学習 データ準備 学習スクリプト 学習ジョブの実行 モデル登録 推論スクリプト モデル登録 推論エンドポイント作成 バケット振り分け設定 推論エンドポイント作成 リクエスト まとめ 参考 データ・モデル データ kaggle の avazu-ctr-predictionのデータセット Click-Through Rate Prediction | Kaggle モデル 特徴量をFeature Hasing した、線形分類モデル 広告をクリックする確率(CTR)を予測する二値分類モデル ABテスト用に二つの特徴量の組み合わせのモデルを用意 modelA feature_names = { 0: "id", 1:
このページを最初にブックマークしてみませんか?
『nsakki55.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く