CrypkoHigh-quality Anime Character Generation and Design powered by GAN (Generative Adversarial Networks).
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！
Attentionは不要!?Google BrainによるTransformer型モデルに対抗できるgMLPを詳細解説！ 2021.05.26 AI論文 学術研究, 画像処理, 自然言語処理 はじめに Google Brainが全結合層を基本としたニューラルネットワークがTransformerと同程度の精度を出すことができることを研究で明らかにしました。この結果、NLP（自然言語処理）だけではなく、最近ではCV（画像処理）の分野でもデファクトスタンダードになりつつあったTransformerをベースとしたモデル構成に再考が求められることになります。 なお、今回利用した図はすべて下記論文（「Pay Attention to MLPs」）から引用しております。 ●Transformer系の解説記事 Facebookチームが開発した画像分類にTransformerを利用した効率モデルDeiTを紹
図で理解するTransformer - Qiita
対象読者 こんな人に向いてます Transformerを知らない人 私も全く知らずに調べました！なんにもわからない人の目線で書きます！ 想定される疑問を載せてます！ 多層パーセプトロンは知っているけど、それ以降出てきたいろんな用語についていけなくなった人 いつも知らない言葉を含んだ図ばかりで結局詳細がよくわからないって思っている人 図に式も載せて式を見ればやっていることがわかるようにしました！ 結局解説サイトを読んでもどう動くかわからない人 実際に軽いデータでTransformerを動かしてみたい人 軽く動かせるNotebookを用意してます！ ミスがあればご指摘くださると幸いです。 自然言語処理で大活躍している手法。 機械翻訳 テキスト要約 文章生成 文書カテゴリの分類 最近では、画像データやテーブルデータ（時系列データ）でも活躍しているようだ。 画像認識の大革命。AI界で話題爆発中の「
誰の声でも100人の声に変えられる声変換システム - Dwango Media Village(ドワンゴメディアヴィレッジ,dmv)
著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要 Dwango Media Villageの廣芝です。 誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。 (2022年5月 SeirenVoiceシリーズの製品化に伴いデモページは終了しました。) この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声の変換技術には、リアルタイム性と品質のトレードオフがあります。 既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。 品質を優先した声変換
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
神経生理学の視点で見るニューラルネットワーク入門
動画版：https://www.youtube.com/watch?v=0NF6zhajueg
ディープラーニング入門：Chainer チュートリアル
Chainer チュートリアル 数学の基礎、プログラミング言語 Python の基礎から、機械学習・ディープラーニングの理論の基礎とコーディングまでを幅広く解説 ※Chainerの開発はメンテナンスモードに入りました。詳しくはこちらをご覧ください。 何から学ぶべきか迷わない ディープラーニングを学ぶには、大学で学ぶレベルの数学や Python によるプログラミングの知識に加えて、 Chainer のようなディープラーニングフレームワークの使い方まで、幅広い知識が必要となります。 本チュートリアルは、初学者によくある「まず何を学べば良いか」が分からない、 という問題を解決するために設計されました。 初学者は「まず何を」そして「次に何を」と迷うことなく、必要な知識を順番に学習できます。 前提知識から解説 このチュートリアルは、Chainer などのディープラーニングフレームワークを使ったプログ
歌声合成技術に革命！ディープラーニングで人間さながらに歌うAI歌声合成システムを名工大とテクノスピーチが開発 | | 藤本健の "DTMステーション"
日進月歩の技術の世界ですが、もはや人間とコンピュータによる歌声の違いを識別できないレベルのところまで技術は進化してきたようです。本日、国立大学法人名古屋工業大学の国際音声言語技術研究所と名古屋の大学発ベンチャー企業である株式会社テクノスピーチが共同で「超高音質な歌声を再現するAI歌声合成システム」を発表しました。 これまでVOCALOIDを中心とした歌声合成のシステムがDTMの世界に広がり、ひとつの音楽ジャンルというかひとつの文化を作り上げてきたといっても過言ではありません。しかし、それとは明らかに次元の異なる歌声合成のシステムが登場してきました。ある種コンピュータっぽさ、無機質さが売りでもあったVOCALOIDに対し、今回発表されたのは人間の声質やクセ、歌い方を再現する、まさに人の歌声と区別のつかないレベルの歌声合成。現時点では技術発表であって、まだ製品化はされていませんが、歌声合成技術
Blueoil | Bring Deep Learning to small devices
Efficiera IP他社AIアクセラレータとの比較において、性能（Power, Performance, Area）に圧倒的な差があり、実用的なAIモデルをエッジデバイス上で稼働させることが可能になっています。 優れた電力効率・面積効率を実現し、AI搭載製品の省電力化・低コスト化に貢献AIを稼働させるためには、その膨大な計算量ゆえに、コンピュータ性能や消費電力などのハードウェア由来の影響が大きく、半導体性能が劇的に進化しない限り、エッジデバイス上で実用的にAIを稼働させることは困難です。 そういった中、当社では107.8TOPS/W*の演算能力を達成した、CNN（Convolutional Neural Network)の推論演算処理に特化した超低消費電力AIアクセラレータIPの開発を行い、AIの実用化に貢献しています。また、このIPを使ったTSMC 28nmと12nmでのSoC開発に
ニューラルネットワーク / ディープラーニング - 星の本棚
ニューラルネットワーク [Neural Network] / ディープラーニング [Deep Learning] ニューラルネットワーク、ディープラーニングに関してのマイノートです。今後も随時追加予定です。 目次 [Contents] 概要 [Overview] 全体 MAP 図 ニューラルネットワークの概要 ニューラルネットワークの主動作 活性化関数 [activate functions] sigmoid, tanh, softsign Relu, Relu6, softplus, ELU ReLu 関数による勾配消失問題 [vanishing gradient problem] への対応と softmax 関数 学習方法の分類 教師あり学習 [supervised learning] と教師なし学習 [Unsupervised learning] バッチ学習 [batch learn
DNN推論用ライブラリ「Menoh」リリースについて - Preferred Networks Research & Development
Python以外も使いたくないですか？ 特にDeepLearning界隈で． Menoh開発者の岡田です．この記事ではMenohの紹介と開発に至った動機について説明します． Menohのレポジトリ： https://github.com/pfnet-research/menoh Menoh（メノウ）は学習済みのDNNモデルをONNX形式から読み込んで動作させる推論専用のライブラリです．実装はC++で書きましたが，C言語のインターフェースを持たせて，他の言語用からもその機能を呼び出しやすくしてあります．リリース時点でC++版ラッパーとC#版ラッパー，Haskell版ラッパーがあり，Ruby版ラッパーとNodeJS版ラッパー，Java（JVM）版ラッパーが開発中です．バックエンドにはIntelの開発しているMKL-DNNを採用し，GPUが無くてもIntel CPUが使える環境で高速にモデルの
Google Colaboratoryが便利・高速で凄過ぎる - Itsukaraの日記
Googleが研究の一環で提供しているColaboratoryを試してみました。 Jupyterと同じようなGUIでPythonのプログラムを実行可能で、GPUも使えます。 Jupyterと同様に、先頭に「!」を書くことで、Linuxのコマンドを実行可能であり、「!pip」「!conda」「!apt-get」などで機能を追加できます。 実行結果をファイルシステム上に保管でき、共有リンクを使って取り出せます。 ただし、12時間経過すると強制終了されて、ファイルは失われます。 しかし、Notebookが動いている仮想マシンにGoogleドライブをマウント可能であり、これにより、実行結果をGoogleドライブ上のファイルとして保管できます。 Deep Learningでは、途中の状態をファイルに保管して、そこからResumeできるようにプログラムを書くことが多いので、12時間で一度強制終了しても
東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]
新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ
![東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/78e7c0ea2c263bc676ec2c74bae93e76d7853fd9/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180127%2F20180127134253.png)
白黒漫画にDeep Learningで着色する ～参照画像を使って～ - dwango on GitHub
この記事はドワンゴアドベントカレンダー26日目(延長戦!)の記事です。 私は、Dwango Media Villageで研究を行なっている古澤です。Dwango Media Villageは、ドワンゴの機械学習系の研究とその応用を行なっているチームです。 今回紹介するのは白黒漫画にDeep Learningで着色する研究です。さらに、応用としてプロジェクタを用いて実世界のイラストにも着色結果を投影できるようにしました。 出来ること一覧 本記事では、以下の2つの事柄がどのようなテクニックを元に可能になったかのおはなしを書いていきます。 Deep Learningで白黒漫画１タイトル＋参照画像を入力とした白黒漫画の自動着色 Deep Learning+Jetsonで実世界に描かれたイラストの色塗り(自動着色結果のプロジェクション) 動画あり! Comicolorization 最近、タイのバン
DeepLearningでも声質変換したい！
これはドワンゴ Advent Calendar 2017の9日目の記事です。 漫画やアニメを見ていると、可愛い女の子になって可愛い女の子と他愛もない会話をして過ごす日常に憧れます。 そんな感じで、可愛い女の子になりたい人は多いと思います1。 しかし残念なことに、現在の技術で真の可愛い女の子になるのはとても難しいです。 じゃあせめて仮想でいいから可愛い女の子になりたいですよね（バーチャルyoutuberキズナアイみたいな）。 しかし、仮に姿を可愛い女の子にしても、声が可愛くなければ願いは叶いません。 ということで、声を可愛くする声質変換を目指してみました。 今回は僕の声をDeepLearningの力を借りて結月ゆかりにしました。 お勉強まずは音声の勉強をします。 これが一番時間かかりました。 最近の音声合成手法は3種類あります。 音響特徴量+vocoder wavenet STFT+位相推定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Lobe
機械学習／ディープラーニングが無料で学べる、米国有名大学の「オンライン講座／講義動画」
Site unavailable
AIメーカー - みんなで作るAIプラットフォーム
Deep Learning基礎講座演習コンテンツ 公開ページ