コンピュータビジョン今昔物語 - 深層学習がＣＶの世界をどう変えたか - (JPTA Tech Talk講演資料) - takminの書きっぱなし備忘録 @はてなブログ
今回、ＣＶ勉強会に何度か参加＆発表していただいたJin Yamanakaさんにお誘いいただき、JTPA (Japan Technology Professional Association)というところで、「コンピュータビジョン今昔物語 -深層学習がCVの世界をどう変えたか-」という大上段なタイトルで講演させていただきました。 www.meetup.com このJTPAのTech Talkでは、機械学習/深層学習の勉強会を開催してきたそうなのですが、私自身「これ」という深層学習の専門があるわけではないので、コンピュータビジョン全体の基礎的な技術の変遷を、深層学習と絡めて広く浅く網羅した話をさせていただきました。 ちなみにここで紹介した深層学習の技術は、「既存の技術を置き換えるために、深層学習は何をクリアしなくてはならないか？」という視点で、紹介するのが適当と思ったものを選んだつもりです。
1on1で滑らかに動くリアルタイム制御の3Dキャラクター、深層学習で
スコットランドのエジンバラ大学とElectronic Artsの研究チームが開発した「Local Motion Phases for Learning Multi-Contact Character Movements」[Starke et al. 2020] は、ゲーム内で使用する高速で動く2足歩行キャラクターにおけるリアルタイム制御を学習するための新しい深層学習フレームワークだ。 バスケットボールのドリブル動作や他のキャラクターとの相互作用を生成するための新しい手法を用いた出力結果 3Dキャラクターの操作において、素早い動きをした場合、地面から足が離れたり、ぎこちない動きになったりと、不自然な動作に悩まされる。 また他のキャラクターとの相互作用の場合はとりわけ困難だ。今回の提案では、1対1のバスケットボール環境を例に挙げ、フレームワークを評価し、この課題に挑戦する。 AI4Animat
YOLOv3を20mWで実行するエッジAIチップ「Ergo」
シリコンバレーの新興企業Perceiveが、ニューラルネットワーク計算を再発明し、エッジAIチップ「Ergo」を開発したと発表した。既にサンプル出荷を開始しているという。 55TOP/Wの高い電力効率 シリコンバレーの新興企業Perceiveが、ニューラルネットワーク計算を再発明し、エッジAI（人工知能）チップ「Ergo」を開発したと発表した。既にサンプル出荷を開始しているという。他社の既存品とは異なり、大規模な乗算累算ユニットは使用していない。同社によれば、4TOPS相当の演算性能で動作し、電力効率は55TOPS/Wと高く、データセンタークラスの推論を約20mWで実現するという（YOLOv3の推論で30fps［フレーム/秒］）。 米国カリフォルニア州サンノゼに拠点を置くPerceiveは、オーディオやイメージング、半導体技術などを手掛ける米Xperiから2018年にスピンアウトして設立さ
ディープラーニングで歌声音声合成エンジンを自作する
この記事は、ドワンゴ Advent Calendar 2019の１日目の記事です。 モチベーション 最近、理想の人工知能（歌ったり踊ったり喋ったりできるキャラクター）を作りたいと思うようになりました。人工知能が歌を歌うためには、歌声音声合成エンジンが必要です。ということで、ディープラーニングを使って、歌声音声合成エンジンの作成に挑戦してみました。この記事では、実際に音声合成した歌声や、その仕組み、別条件での実験結果、ディープラーニング周りの手法を紹介します。 デモ動画実際に作成した音声合成エンジンを使った歌唱のデモです。 （歌声音声合成を作ったら絶対最初にカバーしたいと思っていた歌、ハジメテノオトのカバーです。） 歌唱デモ音声 まだ挑戦し始めてから２週間ほどしか経っていないのでかなり荒削りですが、それでもちゃんと歌詞や音程が取れていたり、溜めの部分で大きく息を吸う音が入っていたりと、そこそ
リアルタイム声質変換ライブラリ「Realtime Yukarin」を公開しました
はじめにリアルタイム声質変換アプリケーション、Realtime Yukarinを開発し、 OSS（オープンソースソフトウェア）として公開しました。 ここで言う声質変換とは、「誰でも好きな声になれる」技術のことを指します。 好きな声になれる声質変換は夢があって流行りそうなのですが、まだ全然普及していないと思います。 それは現時点で、声質変換を実際にリアルタイムで使えるフリーな仕組みが無いためだと考えました。 そこで、自由に使えるリアルタイム声質変換アプリケーションを作り、ソースコードと合わせて公開しました。 声質変換とは声を変える方法で有名なのは、声の高さや音色を変える手法、いわゆるボイスチェンジャーです。 既存のボイスチェンジャーは、元の声を起点として、変換パラメータを自分で調整する必要があります。 一方ここでの声質変換は、元の声と好きな声を用いて機械学習し、変換パラメータを自動で調整しま
2019年CEATECでPFNは何を出展していたのか お片づけロボットだけではない実力は - ロボスタ ロボスタ - ロボット情報WEBマガジン
2019年のCEATECが終了した。本誌でも既報のとおり、ANAホールディングスによるテレプレゼンスロボット活用「アバター」構想を目玉として、日立とソニーによるaiboとminimaru連携など、初お披露目を含む多数のロボットが出展されていた。 さて、昨年（2018年）のCEATECを覚えているだろうか。2018年のCEATECで最も話題を呼んだのは、注目のスタートアップ、株式会社Preferred Networks（プリファードネットワークス、以下 PFN）による「家庭用全自動お片づけロボット」だった。ハードウェアはトヨタ自動車の生活支援ロボットHSRを使い、PFN独自のソフトウェアで自動片付けを成功させ、CEATECではインダストリ／マーケット部門 準グランプリを受賞した。 ■動画 では今年、PFNは何を出展していたのか。2019年は、国内外のスタートアップ企業および海外諸機関のパビリ
現在のロボットと将来の可能性 日本ロボット学会セミナー「ロボット工学の未解決問題」レポート - ロボスタ ロボスタ - ロボット情報WEBマガジン
東京大学大学院 工学系研究科教授の松尾豊氏は「深層学習とロボット工学の融合の可能性」と題して講演した。松尾氏ははじめに「AlphaZero」などの事例を紹介。「AlphaZero」は、将棋の序盤で王将を中段に動かすなど、今までの理論の枠組みとは違う戦略を取る。これは人間の思考の癖にとらわれない良い戦略を機械学習技術が見出し得ることを示しているという。また、アミノ酸配列からタンパク質の三次元構造を推定することができる「AlphaFold」のような応用も出てきている。 ディープラーニング革命によって、認識から身体性や運動の習熟を経て、言語の意味理解へと進むというのが松尾氏の考える機械学習の発展だ。アプリケーションとしては防犯や自動運転を経て、家事や介護、そして本当の意味での言語処理を経て翻訳やホワイトカラー支援へと進むという予測を2014年に出しており、いまのところ、だいたい予想どおりだという
TensorFlow＋KerasでSSDを独自データで使えるようにしてみた - EeePCの軌跡
さて、とりあえず動かすために、Pascal VOCのデータをダウンロードします。 私はVOC2007を使いました。入手の仕方は「The PASCAL Visual Object Classes Challenge 2007 (VOC2007)」のサイトの中ほどにある「Development Kit」の「 training/validation data 」をクリックします。 これを解凍すると、「VOCdevkit」というフォルダができます。これを、上のSSDのコードのあるところ(ssd_keras-master)にそのまま入れます。 他には学習済みデータを入手する必要があります。 「https://mega.nz/#F!7RowVLCL!q3cEVRK9jyOSB9el3SssIA」から「weights_SSD300.hdf5」をダウンロードしてください。右クリックして「ダウンロード」-「
Keras / Tensorflowで転移学習を行う - Qiita
概要 Keras(Tensorflowバックエンド)で、画像認識の分野で有名なモデルVGG16を用いた転移学習を行いました。 そもそもディープラーニングとは？Kerasって何？という方は、こちらの記事をご参照下さい。 転移学習とファインチューニングの違い 転移学習とファインチューニングは、どちらも既存のモデル(今回はVGG16)を応用したディープラーニングの学習方法です。その為この２つはよく混同されていますが、厳密には異なります。 参考：Quora: What is the difference between transfer learning and fine tuning? ざっくりと説明すると、違いは以下になります。 - 転移学習：既存の学習済モデル（出力層以外の部分）を、重みデータは変更せずに特徴量抽出機として利用する。 - ファインチューニング：既存の学習済モデル（出力層以外の
Docker入門して機械学習環境構築 - karaage. [からあげ]
最新版にアップデートしました。 古くなっていたところなど多数あったので、アップデートして所属のテックブログとして投稿しました。よろしければこちらをまずは参照ください。 このページは、残しておきます。 機械学習の環境構築のために今更ながらDocker入門 最初に、この記事の対象者は、私のように趣味で機械学習しているエンジョイ勢や学生さん、初心者が対象です。インフラなど本職での運用などは全く想定しておりませんので、ご承知おき下さい。詳しい方は色々教えていただけると嬉しいです、それか生暖かく見守っておいて下さい。 というわけで、今更ながら機械学習の仮想環境としてDockerがとても優秀であることに気づいたので、Dockerに入門してみました。Dockerは何か？という基礎的な解説は、以下のさくらインターネットさんの記事が非常に分かりやすかったので、以下参照下さい。 仮想環境に関しては、Virtu
![Docker入門して機械学習環境構築 - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7b11ffcf9f4021aa000a4e241f26e517441fe138/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20190516%2F20190516000848.png)
美少女声への変換と合成
Introduction今までは主に可愛い女の子の画像(or 動画)を生成することに取り組んできましたが、画面上に映せるようになったらやはり可愛い声で話して欲しいものです。そこで今回は、別の人の声が与えられた時に美少女声へと変換するための声質変換と、テキストが与えられた時に美少女声を生成するText-to-Speech(TTS)を行なった試行結果について述べようと思います。 Voice ConversionIntroduction声質変換のデータには2種類あります。それが、パラレルデータとノンパラレルデータです。以下にそれぞれの特徴を述べていきます。 パラレルデータを用いた声質変換 同じセリフを発する2種類の声を学習データとして用います。発話内容が同じのため、言語特徴を気にせず音響特徴量の変換を行うことが可能です。しかし、話速の違い等によって言葉を発するタイミングがずれてしまうのでDyna
Google最新技術「BERT」と「東ロボ」との比較から見えてくるAIの課題 « ハーバー・ビジネス・オンライン
ここ数年のコンピューターを使った自然言語処理の進歩には目を見張るものがあります。 その原動力となっているのが、今のAIブームを支えているディープラーニングという機械学習の手法です。この手法を取り入れたGoogle翻訳が作る翻訳文は、正確かつとても自然で「そのまま使える」レベルに到達しています。ほんの数年前まで、翻訳ソフトはヘンテコな翻訳をするというのが当たり前だったことを思うと隔世の感があります。 そのGoogleのAIチームが先日発表した、ディープラーニングを使った自然言語処理の最新モデルがBERT[*1]です。多様なベンチマークで従来の記録を上回る結果を叩き出して、大きな注目を浴びています。 この結果に驚いた人が多いのでしょうか、最近BERTについてよく質問を受けます。BERTそのものについての質問に加えて多いのが、「ロボットは東大に入れるか」というプロジェクトにおいて研究・開発が進め
AutoML Vision と RasPi でリビングのいろいろな音を認識する
Cloud AutoML Vision は、画像とその分類ラベルをクラウドにアップロードするだけで画像認識の機械学習モデルを作成できるサービス。ラーメン二郎のどんぶり画像から 95% 精度で店舗を当てたりできる高性能だけど、機械学習のディープな知識や経験がなくても使える。 で、これでまず試してみたかったのが、音の認識だ。画像じゃなくて音。 2 年くらい前に、画像認識用の CNN を使って音声を認識する論文が Microsoft Research から出てて、へぇーっと思った。スペクトログラムっていう、よく犯罪捜査で出てくる声紋のアレを使って音を画像にして、その模様から音の特徴を認識する。 CNN で音声認識（Microsoft Research）なるほどなあ。。つまり、世の中のどんなデータでも、捉えたい特徴を画像の特徴として表せれば、画像認識で識別できる……ってことだ。 そして、AutoM
私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]
ディープラーニングおじさん 私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。 なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。 ディープラーニングおじさんの華麗なる軌跡 自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。 自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw
![私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/71762e78be72331ac96492b2337551ed398703d4/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20180426%2F20180426235611.jpg)
東京大学など、複数台のRGBカメラだけから人のモーションキャプチャをリアルタイムに行う技術「VMocap」を発表 | Seamless
東京大学など、複数台のRGBカメラだけから人のモーションキャプチャをリアルタイムに行う技術「VMocap」を発表 2018-10-31 東京大学と大阪大学の研究者たちは、Deep Learningにロボティクスの計算を組み合わせることで、複数のRGBカメラから人物の高精度なモーションキャプチャを行う技術を発表しました。 論文：Video Motion Capture from the Part Confidence Maps of Multi-Camera Images by Spatiotemporal Filtering Using the Human Skeletal Model 著者：Takuya Ohashi, Yosuke Ikegami, Kazuki Yamamoto, Wataru Takano, Yoshihiko Nakamura 本論文は、複数台のカメラ映像から屋内
【初心者向け】機械学習とは ～理研AIP副センター長が解説 | The Finance
【初心者向け】機械学習とは ～理研AIP副センター長が解説 2018/08/13 # テクノロジー 印刷用ページ AIの能力の進化が凄まじい勢いで進んでいる。囲碁や将棋の世界では人間はAIに勝てなくなり、シンギュラリティという言葉も現実味を帯び始めてきた。レントゲン画像の正確かつ高速な診断や、ロボット投資アドバイザーなど、各業界へのAIの進出もますます進んでいる。本稿では、理化学研究所 革新知能統合研究センターの上田氏が、機械学習の概要から可能性まで、わかりやすく解説する。 機械学習技術とは 人間の高度な知能を機械の上で実現しようという人工知能の試みはコンピューターが登場して以来行われてきた。1980年代、専門家の知識をプログラムで表現するエキスパートシステムが人工知能技術として有用な成果を挙げたが、予めルールを埋め込んだシステムゆえ、例外への対応が困難という点で限界があった。 この問題に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【森山和道の「ヒトと機械の境界面」】 PFNの大規模分散深層学習専用プライベートスパコン「MN-2」潜入レポート
アルバルク東京、バスケットボールロボット「CUE3」を4月10日にお披露目 ～ほかのトヨタロボットともコラボ
グーグルの書き起こし機能「音声文字変換（Live Transcribe）」の秘密を聞く
【森山和道の「ヒトと機械の境界面」】Preferred Networks、パーソナルロボットに進出宣言 〜「お片付け」の先に見る未来 - PC Watch
