Facebook のオープンソース最適化ライブラリAx を使ってXGBoost のハイパラチューニングを行ってみた - Qiita
製造業出身のデータサイエンティストがお送りする記事 今回はFacebook のオープンソース最適化ライブラリAx を使ってXGBoost のハイパーパラメータをチューニングしてみました。 はじめに 勾配ブースティング木に関しては、過去に記事を書いておりますのでそちらを参照して頂けますと幸いです。 勾配ブースティング決定木（XGBoost, LightGBM, CatBoost）を実装してみた Optuna を使ったハイパラチューニングに関しても、過去に記事を書いておりますのでそちらを参照して頂けますと幸いです。 勾配ブースティング決定木（XGBoost, LightGBM, CatBoost）でOptunaを使ってみた Ax とは Ax は、Facebook のオープンソース最適化ライブラリです（公式のGitHubページ）。 Ax は、ベイズ最適化（GP-EI)を使ってハイパーパラメータを
一次元畳み込みニューラルネットワークとハイパラ探索 - ころがる狸
機械学習の分野で最も有名なモデルに畳み込みニューラルネットワーク（CNN）と呼ばれるものがあります。2012年にCNNが画像認識処理において卓越した性能を示したことで科学や生活の在り方は大きく変わりました。この手法は画像（2次元データ）のみならず波形のような1次元データに対しても転用可能です。本記事では、スマートホンのセンサから取得した人の行動波形に関する畳み込みニューラルネットワークのPyTorchによる計算方法を紹介します。またOptunaを用いたハイパーパラメータ探索によってハイパーパラメータの探索やその重要度評価が可能となります。計算手順を追ってみていきましょう！ 学習用データ プログラム説明 結果の分析 終わりに 学習用データ 学習用データには、スマートホンのセンサーから取得した人間の行動データとその時の実際の行動（歩行、階段を上る、階段を下る、座る、起立する、横たわる）に対応し
Pyppeteer(with headless Chromium) + GitHub Actionsでoptuna-dashboardの継続的E2Eテスト - c-bata web
以前 optuna-dashboard というWebツールを開発・公開しました。 もともと Goptuna のために実装したReact.js + TypeScript製のSPAのWebツールでしたが、Optunaでも使えるようにしたところ、周りでも使ってるよという声をいただくことが増えてきて、公式に利用が推奨されるようになりました。 Optuna v2.7.0 released, with new tutorials, examples, and code improvements! @c_bata_ has fully redesigned the dashboard. Try out the new version with `pip install optuna-dashboard` and then `optuna-dashboard $STORAGE_URL`!https://t
μTransfer: 小規模モデルでのハイパラ探索を大規模モデルに転移し学習を効率化する｜Tatsuya Shirakawa
最近、友人から大規模モデルの学習を劇的に効率化しそうな下記の事実（μTransfer）を教えてもらい、こんなことが成り立つことに非常に驚くとともに、それを知らなかったことにちょっとしたショックを受けました。 μTransfer 下記の手順で大規模モデル（Neural Networks）の最適なハイパーパラメータを効率的に獲得できる 1. 学習したい大規模モデル（ターゲットモデル）と同じアーキテクチャの次元や層数のより小さいモデルを用意し、それぞれのモデルのパラメータと最適化アルゴリズムを μP と呼ばれる方法でパラメータ付けする 2. その小さいモデルで、最適なハイパーパラメータ（学習率など）を探索する 3. ターゲットモデルに小さいモデルで獲得されたハイパーパラメータを適用する Greg Yang+, "Tensor Programs V: Tuning Large Neural Net
OptunaでProphetのパラメータをいじって時系列予測の精度を改善してみた - Qiita
NTTドコモ R&D Advent Calendar 2020 の9日目の記事となります。 NTTドコモ1年目の島田です。普段はグロースハックチームでデータ分析業務をしています。 今回は、時系列予測ツールProphetと、ハイパーパラメータ自動最適化フレームワークOptunaを組み合わせたら、どのくらい精度があがるのかを試してみました。 そもそも 時系列予測となると、特に統計モデルの知識やドメイン知識が必要になります。 古典的なARIMAや状態空間モデルを使うのであれば統計の知識が求められますし 機械学習で予測するにしても、「季節性を表現する特徴量構築」のフェーズがあり、 データを観察し、ドメイン知識を利用しながら特徴量を慎重に設計する必要があります。 また、時系列データの場合、データ量が少ないことが多々あります。 日次データになると、1年分だとしても365点しかデータが存在しないので、サ
順序付き多値分類を回帰問題で解くときの閾値をoptunaで求める - まずは蝋の翼から。
目的 データ 分類問題として解く 回帰問題として解く 連続値の予測部分 パターン1.Clipping+四捨五入でラベル化する パターン2. Optunaで閾値を探索してラベル化する 計算時に変数を用いる 対応策1.高階関数 対応策2. Objective Class+call 最適化の実行 目的 分類クラスが順序付きカテゴリの場合、分類問題としてではなく回帰問題として解く方法がある。 その際に、例えば2.4として予測されたラベルは2とするか3とするかを判別する閾値を最適化したい。 for文を回して0.01刻みで計算して・・・という愚直なやり方でもいいが今回はoptunaを使う。 モデルはlightGBMを用い、評価指標はF1-macroとする。 データ 挙動を確認するだけなので、House Priceの住宅価格MEDVを四捨五入して10で割ったものを順序付きラベルとする（12.9ならラベル
Optunaからも使えるCMA Evolution Strategyの実装を公開しました。 | | AI tech studio
2020.1.31 Optunaからも使えるCMA Evolution Strategyの実装を公開しました。 Covariance Matrix Adaptation Evolution Strategy (CMA-ES)は、ブラックボックス最適化において最も有望な手法の1つです。CMA-ESはハイパーパラメータ最適化にも使われていて [1, 2]、近年では、ハイパーパラメータ最適化においても、評価回数が許容できる場合や並列化環境がある場合には、ベイズ最適化を上回る性能を示すことが報告されています[6]。 CMA-ESをPythonで実装しGitHubで公開したのでその使い方や性能について紹介します。Optunaからも利用できるようになっているのでぜひハイパーパラメータの最適化に使ってみてください。 URL: cmaes: Lightweight Covariance Matrix Ad
Optunaでおいしいコーヒーの淹れ方を探索する - Qiita
はじめに 年末年始の休みに入ってすでに4日目。休みでやろうと思ったことが一通り終わってしまいました。今日からいつも行っているカフェが休みだし、暇すぎ・・・ということで、勢いに任せてOptunaでコーヒーの淹れ方の最適化始めました。 はじめようと思い立ったのが今日なので、全然データがないですが、Google Colabで作ったサンプルコードもあげておきます。 https://github.com/shu65/coffee-tuning/blob/main/coffee_tuning_blog%E7%94%A8.ipynb Optunaとは？ Optunaは機械学習などで必要になるハイパーパラメータの最適化を自動で行ってくれるオープンソースのフレームワークです。個人的に気に入っている特徴としては、従来からハイパーパラメータ最適化を自動でやってくれるものはいくつかありますが、OptunaはDef
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optuna on Kubeflow Pipeline 分散ハイパラチューニング
Optunaによる多目的最適化