import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
はじめに — 機械学習帳
import torch x = torch.tensor([1., -1.]) w = torch.tensor([1.0, 0.5], requires_grad=True) loss = -torch.dot(x, w).sigmoid().log() loss.backward() print(loss.item()) print(w.grad)
Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその
自社のディープラーニング（深層学習）フレームワークである「Chainer（チェイナー）」の新機能開発を終了し、米フェイスブックが開発する「PyTorch（パイトーチ）」に移行すると発表した人工知能（AI）開発のPreferred Networks（プリファード・ネットワークス=PFN、東京・千代田）。その決断の背景を探った。Chainer開発の責任者であるPFNの秋葉拓哉執行役員は、「PyTo
開発チームの生産性・健全性を客観的に知るためにリポジトリ履歴から機械的に可視化するツールを作った - Qiita
はじめに ソフトウェア開発のチームの生産性や健全性というものは、内部の体感的として理解できるものの、外部の人間からは見えにくいものです。こういった情報の非対称性は開発チーム外の人々との関係の中での問題の原因になってきました。 また、複数の開発チームやプロダクトを束ねるEM、CTOや、管理職にとってそれぞれの状況を客観的な数字やグラフで可視化することは、全体的な戦略を考える上でも重要な参考情報になります。ですが、アンケートやプロジェクト管理を増やすほど、どんどんと開発メンバーに負担をかけてしまうことになり、計測のし過ぎによる疲れなども誘発してしまいます。 本稿では、gitリポジトリのログ情報から、いくつかのグラフを生成し、チームの状況を可視化するためのツールgilotを作成したので、その目的と意図、そして使い方、注意点を解説します。 アプローチ方法 gilotのアプローチは、git logの
Preferred Networks、深層学習の研究開発基盤をPyTorchに移行 - 株式会社Preferred Networks
PyTorch開発チームおよびオープンソースコミュニティと連携し、フレームワーク開発、MN-CoreプロセッサのPyTorchサポートなどを推進 株式会社Preferred Networks（本社：東京都千代田区、代表取締役社長：西川徹、プリファードネットワークス、以下、PFN）は、研究開発の基盤技術である深層学習フレームワークを、自社開発のChainer™から、PyTorchに順次移行します。同時に、PyTorchを開発する米FacebookおよびPyTorchの開発者コミュニティと連携し、PyTorchの開発に参加します。なお、Chainerは、本日公開されたメジャーバージョンアップとなる最新版v7をもってメンテナンスフェーズに移行します。Chainerユーザー向けには、PyTorchへの移行を支援するドキュメントおよびライブラリを提供します。 PFN 代表取締役社長 西川徹は、今回の
株式会社Preferred Networks（本社：東京都千代田区、代表取締役 最高経営責任者：西川徹、プリファードネットワークス、以下、PFN）は、AIおよびデータサイエンスを基礎から学びたい大学生・社会人向けに、機械学習・深層学習の基礎学習コンテンツ4種を、個人向けオンラインAI人材育成講座 SIGNATE Quest*のマーケットプレイスで本日提供開始します。 各産業の専門分野にAIおよびデータサイエンスを応用することができる人材の大幅な不足が指摘される中、そうした人材の育成が国家戦略の重要テーマの１つとして位置づけられています。 PFNは深層学習フレームワークの開発、深層学習技術の産業応用において培ってきた経験をもとに、これからの社会を担う大学生・社会人向けに、機械学習・深層学習技術の活用に必須となる知識を習得するための4つの基礎学習コンテンツを提供します。 SIGNATE Que
PyTorch の基礎 - Training
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
数理最適化 Advent Calendar 2022の9日目です。 新緑の頃、新型コロナ流行の合間をぬって、ささやかな結婚披露宴を表参道の式場にて催しました。諸々の準備の中でも席次はこだわるとキリがなく、数理最適化を使って決めました。人間関係をできるだけ保つようなゲスト集合から座席集合への写像を考えます。 ゲスト間人間関係を考慮して良い感じの配席を考えたい tl;dr 披露宴をしました 知り合い関係が複雑かつ長机でゲストの席配置が難しい 組合せ爆発は本物。高々20人の配置に1週間以上悩んだ結果、数理最適化した方が早いと結論 「知り合い同士を近くに配席する」問題は非凸な二次計画になり汎用ソルバでうまく解けない ゲストを席に"輸送"すると考えて最適輸送の一種で解くとうまくいった 本質的に非凸な問題を非凸のまま、しかし性質の良い距離構造を活用するアプローチが奏功したのではないか 再現用Colab
機械学習と自動微分 (2023)
「最適化法」第15回(ゲストトーク), 2023年1月20日, 同志社大学.
(最新SSD IOはPCIe x4でした。ご指摘ありがとうございます。） はじめに どの処理で律速しているか調べる 各処理の速度改善方法 データ読み込み速度の改善 データ前処理速度の改善 GPU処理速度の改善 コンピューティングについての他記事 はじめに Kaggle Advent Calendar 2022 8日目です。 突然ですが、あなたはDNN学習時にどの処理で学習速度が律速しているか把握してますか？ DNN学習には図に示すように大きく3つの要素があります： （SSDからの）データ読み込み （CPUによる）データ前処理 （GPUによる）DNN計算 学習時のデータの流れとしては SSDからデータが読み込まれ、CPUに送られる(SATA or PCIe) CPUにてaugmentationや正規化などの前処理が行われ、GPUにデータが送られる(PCIe x16) GPUにてDNNの計算・
GPT-2でブログ記事のタイトルをTogetterまとめ風にする「面白いのでやってみて」 - 詩と創作・思索のひろば
オレ定義だけど Togetter まとめ風というのはこういうやつ。 散歩で急にシロクマと会っても食べるのは肉だけにしたほうがいい「肝臓1gに含まれるビタミンAが致死量を超える」 - Togetter まとめタイトルの終わりに誰かのツイートの引用を挿入する、という形式。よくできたもので、誰かの生の声が入っているだけで、感想やハイライトを抽出し、ちょっと気を引くことができる。まあ一種の演出で、ニュースサイトがやってることもある。 タイトルでアテンションを奪い合わなければならない宿命におけるクリック最適化の手法ということだろう。今回はこれを真似してみることにする。すでに書かれた自分のブログ記事に、括弧書きでセリフっぽいものの引用を捏造して付け加えることで魅力がアップするのか、という実験だ。 こういう生成系のタスクも、とりあえず HuggingFace+Google Colaboratory でや
[1] 本サイトでは、「PyTorch 公式チュートリアル（英語版 version 1.8.0）」を日本語に翻訳してお届けします。 [2] 公式チュートリアルは、①解説ページ、②解説ページと同じ内容のGoogle Colaboratoryファイル、の2つから構成されています。 両者は基本的には同じ内容です。本サイトでは 「Google Colaboratoryファイル」で、チュートリアルの日本語訳を用意しております(未完成分は順次公開いたします)。 [3] 本サイトのチュートリアルの閲覧および実行は、Google Colaboratory環境を前提とします。 （本サイトのライセンスはこちらとなります） [4] 本サイトに掲載している、日本語チュートリアルをまとめて配置したGitHubはこちらとなります。 [0] 目次（table of contents） 日本語解説へ [1] テンソル（T
OpenAIがSpeech-To-Text AIのWhisperを発表しました。Githubからpipでインストールすれば簡単に使えます。私のM1 Max MacBook Proでも動作しましたので、作業内容を書いておきます。 GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Robust Speech Recognition via Large-Scale Weak Supervision – GitHub – openai/whisper: Robust Speech Recognition via Large-Scale Weak Supervision Python仮想環境を作る Python自体のインストールは既に終わっているところから書くことにします。私の環境は
米Microsoftは、機械学習ライブラリ「PyTorch」を使った、初学者向けのディープラーニングの教材を公式Webサイトで無償公開している。対応言語は英語のみだが、4時間13分で機械学習モデルの構築方法や自然言語処理、音声認識の概要などを学べるという。教材の利用に、外部ファイルのインストールは不要。Webページのみで完結する。 PyTorchは、米Facebookが2016年に開発したPython向けのオープンソースの機械学習ライブラリ。Microsoftは、2020年にWindows版PyTorchのメンテナーに就任し、2021年5月には「PyTorch Enterprise」を発表。Microsoft Azure上でPyTorchを使う企業へのサポートサービスの提供を始めていた。 無償公開している教材もMicrosoftとPyTorchが提携して作成しており、今後も企業とユーザー、
Deep Learning is such a fast-moving field and the huge number of research papers and ideas can be overwhelming. The goal of this post is to review ideas that have stood the test of time. These ideas, or improvements of them, have been used over and over again. They’re known to work. If you were to start in Deep Learning today, understanding and implementing each of these techniques would probably
ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]
「ゼロから作るDeep Learningシリーズ」が最高 ゼロから作るDeep Learningは、TensorFlow、Keras、PyTorchといったディープラーニングのフレームワークを一切使わず、基本PythonとNumpyのみでディープラーニングのアルゴリズムを作って理解していくというハードコアな内容です。 シリーズは3冊出ていて、1が画像認識、2が自然言語、3がフレームワークに重点を置いた内容です。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅発売日: 2016/09/24メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❸ ―フレームワーク編 作者:斎藤 康毅発売日: 2020/04/20メディア: 単行本（ソフトカバー） ゼロから作るDeep Learning ❷ ―自然言語処理編 作
![ゼロから作るDeep LearningシリーズはGoogle Colaboratoryで写経して学習するのがおすすめ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/365e160f7985198b0825782005c70157d0e88576/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20200523%2F20200523123857.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
時系列予測で使えるpythonライブラリ一覧 - ざこぷろのメモ
GAFAが後追いした国産AIの雄 開発終了の深層 - 日本経済新聞
AIおよび高度IT人材育成のための教材提供を開始 - 株式会社Preferred Networks
https://twitter.com/developer_quant/status/1566417479727222784
披露宴の席次を Gromov-Wasserstein 最適輸送で決めた話
学習が何で律速してるか、把握してますか？ - arutema47's blog
PyTorchチュートリアル（日本語訳版）
OpenAIのSpeech-To-Text AI「Whisper」をM1 Macで試してみる
連休のお供にいかが？ 米Microsoftが「PyTorch」の初学者向け教材を無償公開中
Deep Learning ideas that have stood the test of time