サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
WWDC24
yukoishizaki.hatenablog.com
概要 Google Researchが、言語解釈ツール Language Interpretability Tool (LIT) を紹介する論文を出しました。NLPモデルが期待どおりに動作しない場合に、何が問題かを解明するために役立つツールだと記載されていて、便利そうだと思い試しに動かしてみたので、LITの簡単な紹介を記載します。 [2008.05122] The Language Interpretability Tool: Extensible, Interactive Visualizations and Analysis for NLP Models 概要 LITとは インストール LITの起動 インスタンスの起動 quickstart_sst_demo pretrained_lm_demo インスタンス起動用のスクリプト作成 Datasetクラス Modelクラス 公式ドキュメン
概要 仕事でグレンジャー因果検定を使う機会があったので、グレンジャー因果検定について勉強したことを記載します。また、statsmodelsのAPIを使い、株式データを使って簡単な検定をしてみました。 概要 グレンジャー因果検定 考え方 ARモデル(自己回帰モデル) VARモデル(ベクトル自己回帰モデル) 検定方法 F検定 注意点 サンプル数が多い時 交絡因子について 株式データを使って検定 statsmodelsのグレンジャー因果検定 おわり 参考 間違いがありましたら、コメントいただけたら嬉しいです。 グレンジャー因果検定 考え方 時系列データ , において、 が増減すると も同じように増減するという関係なのかを検証したい。 未来の の値の予測に、現在と過去の の値を使って予測した時より、 の値も加えて予測したほうが精度が改善される時、 から にGrengerの意味で因果があるという。
概要 確率予測とCalibration(キャリブレーション)に関する勉強会に参加したので、学んだことの一部と、自分で調べてみたことについてまとめました。 概要 Calibrationとは Calibration Curve Calibrationの方法 Sigmoid / Platt Scale Isotonic Regression 確率予測に使われる評価指標 Brier Score ECE コード 不均衡データに対するCalibration LightGBMにCalibrationは不要か NNにCalibrationは不要か 追記 : Calibrationの検討について 追記 : 発表スライドについて 終わり techplay.jp 勉強会で使われていた言葉を、自分なりの言い方に変えています。 間違いがありましたら、コメントいただけたら嬉しいです。 Calibrationとは 普通
概要 画像コンペ初参加につき、画像認識でよく使われているライブラリを調べました。 言語はPython、ディープラーニング関連はPyTorchに限って記載してます。 今後も便利なライブラリを見つけ次第、追記していきますφ(・ω・ ) 概要 画像処理全般 OpenCV Pillow scikit-image 速度比較 ディープラーニング関連 torchvision データ拡張 Albumentation imgaug Augmentor コード比較 速度比較 モデル segmentation_models_pytorch パイプライン関連 Catalyst fastai 速度向上 Apex 終わり 画像処理全般 OpenCV コンピュータビジョン用ライブラリ 基本的な画像処理や特徴量検出 高度処理、顔検出や動画解析ができる opencv.org Pillow 軽量な画像処理ライブラリ 基本的な
概要 勉強会で画像の半教師あり学習について取り上げられるたびに、あれ、これ似たやつなかったっけ?と混乱するので、整理してみました。同じような内容のネット記事や資料はありますが、自分のために記載します。 概要 半教師あり学習とは MixMatch MixUp ReMixMatch Distribution Alignment Augmentation Anchoring CTAugment FixMatch Pseudo-Label Consistency Regularization その他 VAT UDA RandAugment 終わり 参考 半教師あり学習とは 半教師あり学習 (Semi-supervised learning: SSL) とはラベル付きデータとラベルなしデータで学習を行う方法。ラベルなしデータを活用してモデルのパフォーマンスをあげます。 MixMatch MixMat
概要 現在、kaggle に Connect X という強化学習の Getting Started コンペ があります。このコンペを通じて強化学習を少し勉強したので、その内容を記載したいと思います。 こちらの書籍をもとに強化学習について理解したことと、Connect Xコンペでの実装を解説した記事になります。間違いがあれば、コメントいただけたら嬉しいです。 bookclub.kodansha.co.jp 強化学習とは 強化学習とは、行動から報酬が得られる環境において、各状況で報酬に繋がるような行動を出力するように、モデルを作成すること。 教師あり学習との違いは連続した行動によって得られる報酬を最大化させるという点です。囲碁を考えた時、ある局面で悪手に見えた一手が、先々進めると実は良い手だった、といった場合のその一手を選択できるようにするのが強化学習になります。 Connect X と強化学
はじめに Kaggleで開催されていた Google QUEST Q&A Labeling Competition 、通称 QUEST コンペ、QA コンペに参加したので、コンペの概要を記載します。また、このコンペで、 78位 / 1579チーム中でギリギリ銀メダルを獲得できたので、取り組んだことを記載します。 コンペの概要 英文による質問と回答のペアが与えられており、そのペアに対する30項目における評価値 ( ] )を予測します。 質問タイトルや質問者・回答者の名前、サイトURLやカテゴリーもデータとして提供されていました。 この30項目はとても主観的な内容であり、コンピュータでは評価が困難なQAに対する主観的評価を行うことが今回のコンペの意義のようです。 url http://stats.stackexchange.com/questions/125/what-is-the-best-
概要 自然言語処理における単語や文章のEmbeddingの方法を勉強したので概要を記載しました。 また、学習済みモデルからEmbeddingベクトルを取得するサンプルソースコードも一部記載しました。 概要 Word2vec fastText GloVe Skip-thought SCDV USE ELMo BERT おわり 宣伝 Word2vec 似た意味の単語の周りには同じような単語が出現するとして、ある単語の周辺に出現する単語を予測するNNの隠れ層の重みを、ある単語のベクトルとしたもの。Doc2vecはWord2vecを文章に拡張したもの。 NNには以下のようなSkip-Gramのモデルが使われる。 Word2vecの元論文 : [1310.4546] Distributed Representations of Words and Phrases and their Composit
はじめに 学習済みBERTを試しに触ってみたいんだけど、日本語使えるBERTの環境整えるの面倒!っていう人向けに、お試しでBERTを使える Docker Image 作ってみました。 BERT はTransformers(旧pytorch-transformers、旧pytorch-pretrained-bert) を使用。 黒橋・河原研究室のWEBサイトに掲載されている、日本語pretrainedモデルのWhole Word Masking版を使ってます。 Transformers — transformers 2.2.0 documentation BERT日本語Pretrainedモデル - KUROHASHI-KAWAHARA LAB Docker Image ここに置いてあります。 https://hub.docker.com/r/ishizakiyuko/japanese_be
はじめに なぜ疑似ラベル ( Pseudo-Label ) が効果的かを知るために、「Pseudo-Label : The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks」を読んだので、内容を記載します。 http://deeplearning.net/wp-content/uploads/2013/03/pseudo_label_final.pdf 疑似ラベル ( Pseudo-Label ) とは 疑似ラベルを使った半教師あり学習の方法 1. ラベルづけされているデータで学習済みモデルを作る 2. 1.で作成したモデルを使って、ラベルづけされていないデータで予測値を出す 3. 2.の予測値を疑似的なラベル、疑似ラベルとし、疑似ラベルづきデータをラベルづきデータに混ぜて学習する な
はじめに 基本的な推薦のアルゴリズムについて勉強しました。 「推薦システム: 統計的機械学習の理論と実践」を参考に、一部ピックアップして、要点を記載しました。 Pythonで実装する場合、使えそうなライブラリも一緒に記載しています。 www.kyoritsu-pub.co.jp はじめに 推薦のタスク 古典的手法 bag-of-words バイナリ表現 TF TF - IDF 次元削減 類義語拡張 素性選択 特異値分解 ランダム射影 トピックモデル トピック分布 潜在トピック 単語の生起確率 協調フィルタリング ユーザ間の類似度に基づいた手法 ユーザ間の類似度 アイテム間の類似度に基づいた手法 探索と活用 多腕バンディット - グリーディ SoftMax Thompson Sampling Most-Popular推薦 個別化推薦 推薦システムの評価 オフライン評価 数値予測の指標 大局的
このページを最初にブックマークしてみませんか?
『機械学習 Memo φ(・ω・ )』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く