損失関数について、ざっくりと考える - Qiita
あまり深く考えたくない性格なもので、出来ればざっくりと感覚的に理解したいと常々思っています。 そこで、この損失関数についても、直観的に理解できるように、ちょっと調べてみます。 損失関数ってなによ？ そもそも損失関数ってなんでしょう？ いろいろ調べるとやたら難しい説明が出てきますが、ようは2つの値の差が小さくなるような関数のことのようです。 Deep Learningの識別等では、学習時に、いかに答えに近い値になるように重みパラメータを調整するのかがメインとなるのですが、この「答えに近い値になるように」の部分を担うのが、この「損失関数」というわけです。 「値＝損失」ということで、この損失をいかに少なくするのかということで「損失関数」となります。 損失関数の種類 では、損失関数にはどういった種類のものがあるのでしょうか。 ざっと調べてみても、結構な種類があります。 ヒンジ損失関数 ε許容誤差関
【Deep Learning】過学習とDropoutについて - sonickun.log
前回、Deep Learningを用いてCIFAR-10の画像を識別しました。今回は機械学習において重要な問題である過学習と、その対策について取り上げます。 sonickun.hatenablog.com 過学習について 過学習（Overfitting）とは、機械学習において、訓練データに対して学習されているが、未知のデータに対して適合できていない（汎化できていない）状態を指します。たとえ訓練データに対する精度が100%近くに達したとしても、テストデータに対する精度が高くならなければ、それは良い学習とはいえません。特にニューラルネットは複雑なモデルのため過学習に陥りやすいと言われています。 過学習の例 過学習の例として、最小二乗法による多項式近似を用いてサインカーブ（＋標準偏差0.3の乱数）を推測してみます。 参考：最小二乗法のロバスト推定についてまとめた - sonickun.log 下
深層学習(青い本)のまとめと最近のdeeplearning界隈の流れ - プロクラシスト
深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見る こんな人におすすめ 人工知能オジサン*1にならないように 線形代数と微分の基礎的な素養のある人 ディープラーニングの基礎を学びたい人 章立て 第1章 はじめに 第2章 順伝播型ネットワーク 第3章 確率的勾配降下法 第4章 誤差逆伝播法 第5章 自己符号化器 第6章 畳込みニューラルネット 第7章 再帰型ニューラルネット 第8章 ボルツマンマシン 書評 1年前に情報系に専門を変え、ディープラーニング関係で初めに読んだ本。ちょうど1年前は爆発的に流行り始めたころだった。 今はもう少しいろいろと日本語の本がそろってきているかもしれないが、この本は基礎から数式を追いながらきちんと学べる本だと思う。 数
O'REILLY『ゼロから作るDeep Learning』4章のクラスを使ったら4セグメントLEDどころか7セグメントLEDの機械学習ができた！（その3：完結） - 💙💛しいたげられたしいたけ
他人の作ったクラス（昔だったら関数、サブルーチン）は、内容を100%近く理解していないと使えないという思い込みがある。もし本当にそうなら “numpy” も使えないんだけどね。 一方で、プログラムを一から自作するとまず最初からまともに動いたためしはないから、他人の作ったプログラムで動いてるのがあれば、極力流用したいというアタマもある。 つまり私の作るプログラムは、どっちにしろまともに動かないということだ。ほっとけや。 しかし 前回のエントリー で4セグメントLEDの機械学習プログラムを自作するにあたって、『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』（以下「テキスト」）P114～115 で定義されたクラス “TwoLayerNet” から、コードをたくさん流用した。だったらせっかくのクラスをわざわざ崩すことはないじゃないかと気づいたことを、前
機は熟した！グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - ABEJA Tech Blog
はじめまして。ABEJAでResearcherをやらせていただいている白川です。 先日、化合物の物性推定をDeep Learningをつかって従来手法より300,000倍高速に処理するという論文がでました（[1], [2]）。この論文の手法は、Graph Convolutionというグラフ上に定義されたConvolution演算がベースとなっています。物性推定に限らず、グラフ解析全般を Deep Learning で上手にこなせるようになれば、Deep Learningのアプリケーションの幅がぐっと拡がり、さらなるイノベーションが起きそうな予感がします。 ICMLやNIPSなどの機械学習系の主要国際会議でも数年前からGraph Convolutionについての論文がちらほら出現しはじめており、とくに最近その勢いが増してきている印象があります。個人的にも最近（前から？）にわかにグラフづいてい
「ゼロから作るDeep Learning」書評。購入を迷っている方へ - HELLO CYBERNETICS
結論 理由 実装がライブラリに依存していない しっかりと解説が行われている リファレンスが充実している 計算グラフによってネットワークの計算を扱う 中身 誰におすすめできるか 誰におすすめできないか 私が本を購入して 結論 非常に良い書籍です。迷っているならば購入してもいいでしょう。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅 出版社/メーカー: オライリージャパン 発売日: 2016/09/24 メディア: 単行本（ソフトカバー） この商品を含むブログ (5件) を見る 理由 以下記事で理由を述べていきます。 実装がライブラリに依存していない もしもライブラリに依存したものである場合、ライブラリが更新されると、本の内容が古くなって価値のないものになることもありえます。しかしこの本は、ディープラーニングを理解することに焦点を
こんな私でもニューラルネットワークをスクラッチで実装できました(30歳 男性） - seri::diary
この記事はトレタ Advent Calendar 2016の22日目です。 21日目はswdhの ActiveRecordオブジェクトを関連ごとシリアライズしてデシリアライズするでした。 スナップショット的にその時点のモデルを関連モデル含めて保存したい、っていう要望はBtoBやってると結構遭遇しますね。テーブルをちゃんと正規化すればするほど難しくなるやつなのでgem化されてるとありがたいです。 さて、この記事ではゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装を読んでpythonに入門するところから初めてニューラルネットワークを実際に実装して見た所感を記述します。平たく言えば読書感想文です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2
【画像認識】Deep Learningフレームワーク「Chainer」で学習する下準備 - Qstairs
はじめに 前回、Chainerの構築方法とMNISTの実行例を紹介しました。 qstairs.hatenablog.com MNISTのようなチュートリアルが実行できただけでは面白くないので、 自分でいろいろ試せられるようになるための方法を勉強していきます。 ということで、 まずは、自分で用意した画像データをChainerで学習できるようにするための下準備について勉強しました。 考え方 Deep Learningの学習に必要なデータといえば、 学習する画像と評価する画像（最悪なくても良いですが）です。 また、学習画像は正解（ラベル）と紐づける必要があります。 よって、 「画像ファイルパス ラベル」 のリストファイルがあれば学習できることになります。 ソースコード リストファイルを作成するソースコードは以下になります。 前提として、画像データはラベル毎のフォルダに分けられていることとします。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マガジン｜TECH PLAYのイベント・技術情報 - TECH PLAY［テックプレイ］