機械学習基盤をKubernetesで運用してきて - Qiita
この記事について この記事はKubernertes Advent calender 2018の8日目の記事です。 普段からオンプレのKubernetesクラスタを使った研究開発に携わっており、LANケーブルの配線から新バージョンのKubernetesやエコシステムの検証、構築、運用保守、独自ツールの開発に加えてフロントエンドのGUIをmaterial-uiで作ったりとほぼ全レイヤをやっています。 今回は機械学習の実行基盤としてKubernetesを運用してきたなかで得られた知見について書いていきます。 運用中のKubernetesクラスタについて 運用しているKubernetesクラスタはオンプレミスのCPUサーバとGPUサーバの混合構成で、さらにGPUサーバは複数の世代のGPUが混ざっています。 データサイエンティスト向けに内製した機能を持つことが大きな特徴ではありますが、用途は機械学習
BlenderのGeometryNodesで機械学習モデルを動かしてみた｜Melville
機械学習モデル（ニューラルネットワーク）は、たくさんの数値に対して値をかけたり、足したり、合計したり…といった操作をすることで問題を解きます。 そしてGeometryNodesは、（本来は3Dモデリングやモーショングラフィックスのための機能ですが、）たくさんの頂点（ジオメトリ）に対して値をかけたり、足したり、合計したり…といった操作が可能です。 ということは機械学習モデルをGeometryNodesで動かすこともできそうですよね。 実際、動かせました。 すみません！本来出力にSoftMaxをかけるべきところを、いれていませんでした！ （出力の値は変わっていないのですが、可視化の印象がだいぶ変わります） 撮りなおしたので、最初の動画のことは忘れてこちらをご覧ください…！🙇 pic.twitter.com/fowj9Tm8lL — Melville (@MelvilleTw) Novembe
最適化問題ソルバーのGLPKを使ってみた - Qiita
GNU Linear Programming Kitの略 線形計画問題、整数計画問題、混合整数計画問題のソルバー この種の最適化問題のソルバーとしては商用ソフトのCPLEXなどが高性能でよく使われている[1] GLPKはCPLEXなどと比べると性能はかなり落ちるが、無料という利点がある インストール Ubuntu: さっそく使ってみる。 解きたい問題 カードを合成することでカードを強化していくタイプのゲームをプレイしていた。 システムは次のようなものであった。 各カードはそれぞれ経験値を持っており、経験値が多いカードほど強い。 経験値は合成によってのみ増やすことができる。カードAにカードBを合成することでカードBは消え、カードAの経験値にカードBの経験値が加算される。 経験値は一定の値に達するとカンストする。 今手持ちのカードが13枚あり、それぞれ次のような経験値を持っているとする。 22
TensorFlow LiteでAndroid Neural Networks APIを(強制的に)利用する - Qiita
TensorFlow Liteとは TensorFlow LiteはTensor Flowのモバイル向けライブラリで、モバイル端末で機械学習モデルを実行するための機能が備わっています。 また、AndroidでTensorFlow Liteを利用する場合、Android8.1から提供されているNeural Networks API(以下NNAPI)によるハードウェア高速化が行えます。 しかし、ハードウェア高速化が見込めない場合(エミュレータ等でアプリを実行する場合)、デフォルトでNNAPIをコールせずに、CPUにフォールバックして処理を行ってしまいます。 自分のケースでは、この挙動を把握しておらず、NNAPIを利用する場合としない場合で推論の結果が微妙に変わってしまうことがあったため、今回TensorFlow Liteを用いる場合に、強制的にNNAPIを利用する方法を書こうと思います。 強制
TensorFlowをKubernetesで分散学習するためのKubeFlowを動かしてみた話 - あさのひとりごと
Kubernetesが機械学習基盤としてKubeflowをリリースしました。 ざっくりいうと、KubeFlowは以下の機械学習アプリケーション開発の一連のワークロードをサポートするOSSです。 モデル開発基盤 データサイエンティストや機械学習エンジニアがJupyterNotebookをつかってモデル開発するための、Jupyterが動くサーバ環境を提供 TensorFlow分散学習基盤 開発したモデルをTensorFlowで分散学習するためのKubernetesクラスタを自動生成 アプリ公開基盤 学習済みモデルをKubernetesクラスタ上でサービス公開する基盤を提供(Tensorflow Serving) github.com まだ、開発途中、かつざっとしか追えていませんが、導入のしかたと概要をまとめます。 0. kubeFlow環境構築 Kubeflowを動かすためには、まずKuber
KubernetesからGPUを使ってTensorflowを動かす - Qiita
Kubernetes 1.8ではα版（実験的）機能としてPodからGPUを使うことが可能になっています。 KubernetesからGPUを使うメリットは、ディープラーニングとコンテナ・オーケストレーションを組み合わせられることです。 ディープラーニングのトレーニングフェーズではGPUを使うことでスピードアップするのが一般的です。 NvidiaもDockerからGPUとCUDAを使うためのNvidia Dockerを提供しており、コンテナ上でGPUを使うのは有効な手段として広まっていっていると感じます。 KubernetesでもGPU使用が要望されており、現在はα版として使用可能になっています。 KubernetesからGPUを使う方法 詳しくは以下で書かれていますが、ホストサーバにインストールしたNvidia CUDAやCudnnのライブラリをPodにマウントして呼び出す仕組みになっていま
あのときのビールをもう一度（PostgreSQLでFuzzy Searchを試す）
Seven Databases in Seven Weeks を読んでいたら、PostgreSQLでテキスト検索をする話が出てきた。先日 Levenshtein Distance（編集距離）について書いたばかりでホットな話題なので、少し遊んでみよう。 $ postgres --version postgres (PostgreSQL) 9.6.3 ※インデックスと英語以外の言語の場合については割愛。 データ お気に入りのアメリカのクラフトビールデータセットを使う。適当に create table してCSVからデータを読み込む： create table beers ( key int, abv real, ibu real, id int, name varchar(128), style varchar(64), brewery_id int, ounces real ); \copy
Kubernetes を利用したコンテナベース機械学習基盤の構築 - LIVESENSE Data Analytics Blog
データプラットフォームチームの野本です。機械学習基盤の構築やその周辺アプリケーションの実装を行っています。以前は DOOR 賃貸の開発運用をしていてこんなことなどしてました。 機械学習システム運用の課題 リブセンスでは 2014 年ごろから機械学習システムの開発導入を行っており以降様々な機械学習システムを各サービスに導入してきました。また自社でのデータ分析基盤の運用も行うようになってから機械学習システムの開発の幅が広がり導入の要望も次第に増えてきました。(参考:リブセンスのデータ専門組織のこれまでとこれから) 当初は機械学習システムに対する運用知見などが少なかったため、専用のインフラというものは保持せず各サービスのインフラに相乗りし、サービスのアプリケーションと密に連携し機械学習システムを実装運用することが多かったです。各サービスは元々オンプレミスで運用されていたものが多かったのですが、現
Scala製の機械学習サーバApache PredictionIOを使ってみよう - たけぞう瀕死ブログ
PredictionIOはSparkを中心としたJVMベースの機械学習アプリケーションを開発・運用するために必要なミドルウェアやフレームワークなどを統合的に提供するもので、開発者はPredictionIOのフレームワークに従ってエンジンを作成することで、機械学習を使用したアプリケーションをWebサービスとしてデプロイすることができます。 まずはPredictionIOのWebサイトに掲載されているレコメンデーションのテンプレートを動かしてみます。 PredictionIOのインストール ドキュメントを見るとソースからビルドするべしとなっており中々スパルタンな感じです。Dockerで動かすこともできるようですが、折角なのでソースからビルドしてみることにします（Javaは予めインストールしておく必要があります）。 まずはこちらから現時点で最新版の0.11.0-incubatingの配布物をダウ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ブラウザに手書きした数字をMNISTから深層学習したモデルで判定する簡単コード - 人工知能と競プロやってくブログ
Setting up a GPU Enabled Kubernetes for Deep Learning · GitHub