深層学習モデルの推論ランタイムを0から作った話
はじめに 深層学習モデルを動作させるためのソフトウェアは数多くあります。 PyTorch や TensorFlow などのフレームワークはそれ自身がモデルを実行する機能を持っていますし、ONNX Runtime のようにモデルを動作させることに特化したソフトウェアも存在します。 これらのソフトウェアは大抵、Python などから簡単に扱うことができます。 しかしながら、それらがどのように動作しているのか疑問に思うことはないでしょうか。 この記事では、0 から深層学習モデルの推論ランタイム（長いので以下「深層学習ランタイム」）を作った過程で学んだことを、とりとめもなく紹介していきます。ほとんど、自分用のメモのようになってしまうかもしれません。 作ったものは以下のリポジトリにあります。 （技術的にはかなり適当なことを書いてしまうかもしれません。） 深層学習ランタイムは何をするのか 深層学習ラン
ベクトル埋め込みの最適化によるアイデンティティを保ったキャラクター生成 Preferred Networks Research & Development
本記事は、2022年夏季インターンシッププログラムで勤務された早川知志さんによる寄稿です。 はじめまして。2022年度のPFN夏季インターンに参加した早川知志です。普段はオックスフォード大学で数学（確率論・数値解析）の博士学生をしており、確率測度の離散化やそれにまつわる理論や応用に興味があります。 今回は、大学でやっていることとは趣旨を変えて、深層学習のエンターテインメント応用として二次元キャラクターの学習・生成タスクに取り組みました。 学んだキャラクターのCLIP embeddingを用いた生成例 1. Motivation オリジナルのキャラクターを描くときに角度や表情を微調整するのには途轍もない労力が必要です。筆者はイギリスでのロックダウン以来趣味でイラストや漫画を描こうとすることが増えたのですが、その過程でこのことに気付きました。生成モデルの力を借りて今までに描いたことのない構図で
キャラクター画像一枚でVTuberになれるシステムを作ってみた【体も動かせるよ編】
新しいシステムを用いて、人間の動きをアニメキャラクターに反映させる既存のツールを更新しました。更新された機能は以下の動画で確認できます。 またシステムの高速化と軽量化の方法も実験しました。画質の劣化を抑えながら、必要なメモリーを大幅に減らすことができ（パラメータのデータ容量を18倍縮小、必要RAMは3倍縮小）、処理速度も少し上げることが出来ました。 1 はじめに バーチャルＹｏｕＴｕｂｅｒ（ＶＴｕｂｅｒ）になりやすくすることを目標に、私は２０１９年から自由研究をやり続けてきました。 具体的には、アニメキャラクターの顔イラストを一枚受け取り、そのイラストを動かせるニューラルネットワークのシステムを作りました。システムは顔を回転させることと表情を変更させることが出来ますが、様々な問題があります。それらを解決しなければ、システムは実践的なコンテンツ制作ツールになれません。今回の研究目的は以下
SR3: Image Super-Resolution via Iterative Refinement
Image Super-Resolution via Iterative Refinement Denoising diffusion models for image super-resolution and cascaded image generation. Paper Summary We present SR3, an approach to image Super-Resolution via Repeated Refinement. SR3 adapts denoising diffusion probabilistic models to conditional image generation and performs super-resolution through a stochastic denoising process. Inference starts wit
PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換する - Qiita
PyTorch, ONNX, Caffe, OpenVINO (NCHW) のモデルをTensorflow / TensorflowLite (NHWC) へお手軽に変換するDeepLearningCaffeTensorFlowPyTorchONNX 日本語 English 1. はじめに いつも左中間を狙うようなプチニッチなふざけた記事ばかりを量産しています。 この記事の手順を実施すると、 最終的に PyTorch製 高精度Semantic Segmentation の U^2-Net を TensorFlow Lite へ変換することができます。 下図のような感じです。 TensorFlow めちゃくちゃ扱いにくいです。 日々公開される最新のとても面白いモデルは軒並みPyTorch実装ですし、なんでTensorFlowで実装してくれないんだ！！ と、常日頃思っています。 論文のベンチマ
「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]
「生成Deep Learning」を読みました 生成に特化したAIの本「生成Deep Learning」を読みました。 生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする 作者:David Foster発売日: 2020/10/05メディア: 単行本（ソフトカバー） 独創力とは、思慮深い模倣以外の何ものでもない とは18世紀フランスの哲学者ヴォルテールの言葉とのことですが、AIによる模倣と創造の境界に関して考えさせられるような本でした。 本の内容は、オートエンコーダからはじまりGANでの画像生成、文章生成、音楽生成。アテンション、強化学習の世界モデルまでとタイトル通り生成系のAI技術を幅広くカバーしています。 結構骨太で、AIの本は1冊目という人が読む本ではなくて、何冊かAI関係の書籍を読んで、ある程度自分で実践して、生成系のAI（Auto Encoderと
![「生成Deep Learning」は久しぶりにワクワクするAI関係の本だった - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/0e716f3414d0fb9918c8f114d6308be989b9ecd8/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20201030%2F20201030014348.jpg)
アスキーアート自動生成とディープラーニングをつなぐ微分可能レンダラーを実装した - Qiita
はじめに 微分可能レンダラーという研究があります。これは画像の描画過程を微分可能に近似することで、レンダラーへの入力（3次元モデルやカメラ姿勢など）とその出力（画像）の関係をディープラーニングで扱うことが出来るようになるというものです。 この考え方をアスキーアートに適用してみたところ、教師なし学習による精密なアスキーアート生成が可能となりました。 *趣味の活動ですので内容の正確さには期待しないでください。 背景 ディープラーニングでアスキーアートの自動生成を扱った研究として、2017年のDeepAA（日本語解説記事）があります。これはテキストとその描画結果である画像のデータを用意したうえで、逆向きの変換を一文字ずつ教師あり学習させるというものです。 この方法はそれなりの精度が出ているのですが、一文字ずつ学習している構成であることから精密な線の位置合わせができないという問題があります。また、
Deep Learningで遊びながらアイドルの顔診断器を作る #juicejuice - razokulover publog
最後にブログを書いてから１ヶ月が経ってしまいました。この期間の振り返りもしたいところですが、それはまた別の機会に。 今回はこの２週間くらいDeep Learningを使って画像を分類したりする遊びをしていましたのでそれについて。 まずは成果物から。 yuheinakasaka.github.io 画像をアップするとJuice=Juiceというハロプロのアイドルにどれだけ似てる顔なのかを判定できるサイトです(herokuの無料枠で動いてるのでサーバーはいともカンタンに死にます...😇)。 見せられるようなコードではないですが、一応ソースコードも置いておきます。 GitHub - YuheiNakasaka/yukanya: Juice=Juiceのメンバーを画像から判定する分類器 GitHub - YuheiNakasaka/yukanya-api GitHub - YuheiNakasa
ニューラルネットワークが「何を見ているか」を可視化する Activation Atlas
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads 71 Ads API 11
【2019/4月更新】学習済みの様々なディープラーニング・モデルをメチャ簡単に利用できる！ Model Asset Exchange(MAX)をご紹介します - Qiita
【2019/4月更新】学習済みの様々なディープラーニング・モデルをメチャ簡単に利用できる！ Model Asset Exchange(MAX)をご紹介しますPython機械学習DeepLearningDockerBluemix TL;DR せっかくトレーニング済みの著名OSSディープラーニング・モデルがあっても、モデルだけじゃ専門家でないと再利用できないじゃん MAXなら1コマンドでDLモデルをRESTサービス化してくれるので、ややこしいことを知らない初心者でもモデルを楽に再利用できますよ～ (2019/04) Node-REDからも使えるよ って話です。 (2019/04/17) MAXが公開されて約１年たちましたが、Blog: 「Expanding the reach of the IBM Model Asset eXchange (2019/03/29)」に、この一年の振り返りと各種
モダンな深層距離学習 (deep metric learning) 手法: SphereFace, CosFace, ArcFace - Qiita
モダンな深層距離学習 (deep metric learning) 手法: SphereFace, CosFace, ArcFaceDeepLearningMetricLearningFaceRecognition はじめに 顔認識 (face recognition) 等の個体識別問題において、距離学習は非常に重要です。ここで個体識別問題というのは、顔認識を例に取ると下記のようなものです。 2つの顔画像ペアが与えられた際にその顔画像ペアが同一人物のものであるかを判定する1:1認証 N人の顔画像データが予め与えられた状態で、個人が特定されていない顔画像が入力された際に、その顔画像がN人のうちどれであるか、またはどれでもないかを判定する1:N認証 何故距離学習が重要かというと、クラス分類問題とは異なりクラス数が不定で各クラスに属する画像を事前に得ることができず1、クラス分類問題として解くこと
おもしろいダジャレを入力すると布団が吹っ飛ぶ装置を作った - Qiita
面白いダジャレを言うと、何が起こるでしょうか。 そうです。布団が吹っ飛びます。 今回は、ダジャレを心から愛するブレインパッドのメンバー4人が制作した、最新ダジャレAIを搭載した次世代型おもしろダジャレ検知マシン『オフトゥンフライングシステム』のご紹介をさせて頂きます。 ※補足＆感謝 面白いと布団が吹っ飛ぶという発想は日テレ系列の大喜利番組「フットンダ」のリスペクトです 「オフトゥンフライングシステム」という名前はボーカロイドソング、『オフトゥンフライングシステム』があまりにもイメージとぴったり合ったため、名前を使わせていただきました。こちらの曲を無限ループしながら記事を読んでいただけると、より楽しめる仕組みになっております Product Summary オフトゥンフライングシステムとは何か。分かりやすく説明すると、ダジャレ検知AI『Shareka』とダジャレ評価AI『Ukeruka』が搭
MN-Core - Preferred Networks
Overview AI/基盤モデルが必要とする計算資源はこれまでのスーパーコンピュータの進化の速度を大幅に上回り、爆発的に増加しています。技術の社会実装に向けて、低コスト/低環境負荷な計算資源が求められています。 Preferred Networks（PFN）は、AI/基盤モデルに要する高速かつ莫大な計算能力を賄うため、深層学習を高速化するプロセッサー（アクセラレータ）MN-Core™シリーズを神戸大学と共同開発し、MN-Core™シリーズを用いた大規模コンピュータクラスター（スーパーコンピュータ）の構築を進めています。 MN-Core Series 莫大な計算量を必要とする深層学習において、計算の高速化は大きな課題のひとつです。 AI/基盤モデルの学習フェーズに最適化した専用チップは、汎用用途のチップに比べ、機能を限定することで高い処理性能を発揮することができます。 PFNが神戸大学と共
ハイパーパラメータ自動最適化ツール「Optuna」公開 - Preferred Networks Research & Development
ハイパーパラメータ自動最適化フレームワーク「Optuna」のベータ版を OSS として公開しました。この記事では、Optuna の開発に至った動機や特徴を紹介します。 公式ページ 公式ドキュメント チュートリアル GitHub ハイパーパラメータとは？ ハイパーパラメータとは、機械学習アルゴリズムの挙動を制御するパラメータのことです。特に深層学習では勾配法によって最適化できない・しないパラメータに相当します。例えば、学習率やバッチサイズ、学習イテレーション数といったようなものがハイパーパラメータとなります。また、ニューラルネットワークの層数やチャンネル数といったようなものもハイパーパラメータです。更に、そのような数値だけでなく、学習に Momentum SGD を用いるかそれとも Adam を用いるか、といったような選択もハイパーパラメータと言えます。 ハイパーパラメータの調整は機械学習ア
メンヘラちゃんと学ぶディープラーニング最新論文 / menhera chan
メンヘラちゃんが最新論文をバリバリ語ってくれるシリーズのまとめです．論文とコーヒーを片手にお楽しみください．
深層学習を使って楽曲のアーティスト分類をやってみた！ - Platinum Data Blog by BrainPad
深層学習を使った音声データによる楽曲分類を実施しました！楽曲の特徴を表すメル周波数スペクトログラムを用いて、その楽曲のアーティストを推定します。 こんにちは、アナリティクスサービス本部の井出です。 今回のブログは、音声データをテーマとして取り上げ、 音声データの特徴量 深層学習による楽曲のアーティスト分類 についてご紹介します。 ブレインパッドでは、深層学習の技術を駆使した活用事例が増えてきています。特に、画像認識の分野における活用事例は多く、当社の公開されている事例だけでも以下のようなものがあります。 ブレインパッド、キユーピーの食品工場における不良品の検知をディープラーニングによる画像解析で支援 八千代エンジニヤリングとブレインパッド、洪水を安全に流す役割を担う河川のコンクリート護岸の劣化をAIで自動判定するサービス「GoganGo」を共同開発 一方で、音声データを扱う事例はなかなか珍
白黒漫画にDeep Learningで着色する ～参照画像を使って～ - dwango on GitHub
この記事はドワンゴアドベントカレンダー26日目(延長戦!)の記事です。 私は、Dwango Media Villageで研究を行なっている古澤です。Dwango Media Villageは、ドワンゴの機械学習系の研究とその応用を行なっているチームです。 今回紹介するのは白黒漫画にDeep Learningで着色する研究です。さらに、応用としてプロジェクタを用いて実世界のイラストにも着色結果を投影できるようにしました。 出来ること一覧 本記事では、以下の2つの事柄がどのようなテクニックを元に可能になったかのおはなしを書いていきます。 Deep Learningで白黒漫画１タイトル＋参照画像を入力とした白黒漫画の自動着色 Deep Learning+Jetsonで実世界に描かれたイラストの色塗り(自動着色結果のプロジェクション) 動画あり! Comicolorization 最近、タイのバン
PFNのエンジニアさんが公開してるJupyter Notebookが実践的なハンズオン形式でディープラーニング（Chainer）の入門に最適 - karaage. [からあげ]
Chainerでディープラーニング ここのところ、ディープラーニングのフレームワークはTensorFlowを使っています。以前はChainerも使っていたのですが、Chainer v2.0になり、以前画像認識とか試していたコードも動かなくなってしまい、やる気を失っていたのですよね。 そんな折、たまたまNVIDIAの機械学習のセミナを受ける機会があったのですが、GPU(Titan)積んだサーバに、Jupyterの環境が構築されていて、参加者はサーバにアクセスしてエンターキー連打していくだけでそれっぽい結果が出て、凄いやった気分になるし、絶対初心者は自分で環境出来ないからNVIDIAの環境にお金払うことになるしで、とてもよく設計されたセミナでした。 と書くと凄い悪徳セミナのようですが、Jupyterを使って、説明を読んでから、実際にコードを実行してその結果を確認していくというハンズオン形式は、
![PFNのエンジニアさんが公開してるJupyter Notebookが実践的なハンズオン形式でディープラーニング（Chainer）の入門に最適 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/e53bb13cf631b1e3bc72b3ac943fb336b5db04c0/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20171002%2F20171002221628.png)
ディープラーニングの判断根拠を理解する手法 - Qiita
ディープラーニングは特定分野で非常に高い精度が出せることもあり、その応用範囲はどんどん広がっています。 しかし、そんなディープラーニングにも弱点はあります。その中でも大きい問題点が、「何を根拠に判断しているかよくわからない」ということです。 ディープラーニングは、学習の過程でデータ内の特徴それ自体を学習するのが得意という特性があります。これにより「人が特徴を抽出する必要がない」と言われたりもしますが、逆に言えばどんな特徴を抽出するかはネットワーク任せということです。抽出された特徴はその名の通りディープなネットワークの中の重みに潜在しており、そこから学習された「何か」を人間が理解可能な形で取り出すというのは至難の業です。 例題：このネットワークが何を根拠に猫を猫として判断しているか、ネットワークの重みを可視化した上図から答えよ(制限時間:3分) image from CS231n Visua
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
顔認識の未来について語ろう！ (CVPR 2018 完全読破チャレンジ報告会)