理論計算と機械学習で無機材料表面の性質を予測＝東工大など
東京工業大学、東北大学、産業技術総合研究所の研究チームは、量子力学の基本原理に基づいた理論計算（「第一原理計算」と呼ぶ）により生成した大規模な理論計算データおよび機械学習を用いて、無機材料表面の基本的な電子構造を網羅的に予測することに成功した。 研究チームはまず、高精度と高速を両立した第一原理計算手法を用いて、まず約2200種類の二元系酸化物無極性表面のデータベースを構築。次に、同データベースを用いて、構造緩和前の表面原子配列から構造緩和後のイオン化ポテンシャル（IP）と電子親和力（EA）を予測するニューラルネットワークを構築した。さらに、構築したニューラルネットワークをベースとして、約700種類の三元系酸化物無極性表面の理論計算データを用いた転移学習を実行し、三元系酸化物表面への展開を図った。 無機材料のバンドアライメント（複数の物質の電子のエネルギーバンドをある基準でそろえること）は、
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
Graph Neural Networksを完全に理解したい
社内の輪講で発表した資料です。 Graph Neural NetworksについてSpectral MethodとSpatial Methodについて代表的な手法を簡単に紹介し、更にDeep Graph Library (DGL)を用いた具体的な実装方法を紹介しています。
SVM、ニューラルネットなどに共通する分類問題における考え方 - HELLO CYBERNETICS
はじめに 分類問題の基本 分類における困難：線形分離不可能 非線形な分類問題 曲線、曲面によって境界を定める＝空間を捻じ曲げて線形な境界を定める 素朴な疑問とその回答 次元に自由度がある 分離できる可能性が上がる うまい曲げ方を見つける 学習とは空間の曲げ方を学ぶこと ニューラルネットワーク ニューラルネット最初期 ニューラルネット中期 ニューラルネット現在 過学習 サポートベクターマシン まとめ ディープラーニングの手法については以下の記事を参考に サポートベクターマシンについて数式ベースで理解したい方 はじめに 分類問題の基本 分類問題の基本はデータがプロットされた空間上に境界面を配置することです。 下記の図のように、2種類のデータを分類する際の境界の配置の仕方は一意に定まりません。 このどちらが良い配置の仕方であるのかも、通常は決定できません。 そのため、境界面を決定するための様々な
サポートベクトルマシンとその他の機械学習手法 - Qiita
サポートベクトルマシンは疎な解を持つカーネルマシンです。カーネル関数には線形内積カーネル、ガウシアンカーネル、多項式カーネル、シグモイドカーネルなどいくつかの種類があります。ここではガウシアンカーネルを利用してシンプルな二値分類をおこないます。 import numpy as np from sklearn import svm import codecs # CSV データの読み込み train_X = np.genfromtxt('train.csv', delimiter=',') train_y = np.genfromtxt('trainLabels.csv', delimiter=',') test_X = np.genfromtxt('test.csv', delimiter=',') # ガウシアンカーネルによる SVM インスタンス生成 clf = svm.SVC(ker
カーネルトリック - Shogo Computing Laboratory
写像 ソフトマージンで線形分離不可能な場合でも、分離超平面を決定することができますが、 所詮線形分離なので、性能には限界があります。 そこで、入力を適当な非線形変換を使って、 より高次元な特徴空間へ写像することを考えます。 例えば左の図で赤丸と青丸は線形分離出来ません。 そこで、元の特徴空間を非線形変換し、 に写像します。 すると、右図のような分布になり、直線で分離することが可能になります。 カーネルトリック 上の例では、二次元から二次元の写像でしたが、複雑な問題なるとより大きな次元に写像する必要があります。 次元があまりにも大きくなると、写像を求めるのは大変になってきます。 しかし、SVMの場合、実は実際に写像を求める必要はなく、ベクトルの内積だけ分かれば計算ができます。 この写像した特徴空間の内積は、当然もとの特徴ベクトルの関数になっているはずです。 そこで、写像した特徴空間の内積を関
FizzBuzz Zero ―― 人類の知識なしでFizzBuzzをマスターする
for i in range(1, 101): if i % 15 == 0: print("FizzBuzz") elif i % 3 == 0: print("Fizz") elif i % 5 == 0: print("Buzz") else: print(i) プログラム問題としてあまりにも有名になってしまったので、今ではあらゆる言語のFizzBuzzがそろっています。面白いですね。 深層学習 で FizzBuzz この記事の読まれている大半の方は、FizzBuzzを書くのにあまり苦労しないでしょう。 しかし、あなたが何かの拍子でプログラムの書き方を忘れてしまったらどうでしょう？ 心配する必要はありません。そういうときこそAIの出番です。 最近は空前の人工知能ブームで、猫も杓子もDeep Learningです。 実際、Deep LearningによるFizzBuzzは、いくつも先例
教師なし学習は機械翻訳に魔法をかけるか？ - ディープラーニングブログ
つい先週，機械翻訳で驚くべき進展がありました． 教師なし機械翻訳がヤバい進化を遂げててびっくりした．たった半年でBLEUスコアを15から25に改善したのブレイクスルーでは？https://t.co/SVQlYYu2Pt 教師なし学習でこのクオリティの機械翻訳できるのまじで感動するし，ちょっと語っていい？ pic.twitter.com/fBllGtTkgb— Ryobot | りょぼっと (@_Ryobot) 2018年4月23日 要約すると教師なし学習でもひと昔前の教師あり学習の機械翻訳に匹敵する性能を獲得できたというのです．この記事では機械翻訳を知らない初心者にもわかるように魔法のような教師なし機械翻訳の仕組みを説明したいと思います． 教師あり学習の限界 機械翻訳はディープラーニングを適用することで急激に進歩した分野の１つだと思います．Google 翻訳はニューラル機械翻訳を導入するこ
機械学習におけるカーネル法について - めもめも
何の話かというと 機械学習におけるカーネル法の説明で、よく登場するのがこちらの図です。 左側の (x, y) 平面上の点を分類する場合、このままだと線形分類器（直線で分類するアルゴリズム）ではうまく分類できないのが、右図のように z 軸を追加してデータを変形すると、平面できれいに分割できるようになって、線形分類器による分類がうまくいくというものです。このように、高次元空間にデータを埋め込むことでうまいこと分類するのがカーネル法の仕組みだというわけです。 なのですが・・・・・・・・・・・・・・・・・・・・ これ、本当にカーネル法の原理を知っている方には、ちょっと気持ち悪くないですか？ ※ 以下はカーネル法を知っている方向けのつぶやきです。 上記の例は、データの配置にあわせて、うまいこと z 軸方向の変形をしているのでうまくいっているのですが、カーネル法には、データの配置にあわせてうまいこと変
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
一体なぜ？最近精度が下がったと思われるGoogle翻訳、「蝙蝠」をランダムな単語に訳してしまうらしい「漢字読めない子か」