[論文紹介] AdaLoRA
ICLR22のLoRA[1]の後続研究であるAdaLoRA[2]（ICLR23にposterで採択）の解説です． 書誌情報です． Q. Zhang, M. Chen, A. Bukharin, P. He, Y. Cheng, W. Chen, and T. Zhao, "Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning," in ICLR, 2023. 輪講スライドも公開してるので，良ければそちらも参照していただければ． 関連リンク ガチプロによる査読であるところのOpen Review Paper ICLR23版 arXiv版 PEFT v0.3.0における実装箇所 src/peft/tuners/adalora.py - class AdaLoraModel src/peft/tuners/adalora.p
![[論文紹介] AdaLoRA](https://cdn-ak-scissors.b.st-hatena.com/image/square/73b0f316366d2e2fbc80769a8de30b611146b25d/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--VvVCh99j--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520AdaLoRA%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A5ei74R0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2U3ZTY5ODlmZjkuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
小規模なLLMのMerge(圧縮・強化)、GGUF化と量子化、Ollamaの使い方の注意点 - Qiita
本記事はパラメータが3B（30億パラメータ）以下の比較的小規模なLLMのマージや量子化の効率的な処理方法と、それをローカルで動かす際の、Ollamaの使い方の注意点についてまとめたものです。実際に実行した環境は以下の通りです。 ・ローカルPC： M1 Macbook Air Ventura13.6.7 メモリ８GB CPU８コア・GPU７コア モデルのマージ 比較的簡単にモデルのマージをしたい場合には、定番のMergekitがお勧めですが、更にインストールや各種設定等の手間も省きたい人にお勧めなのはLazyMergekitです。 リンク：LazyMergekitのnotebook(Github: mlabonne/llm-course） このGithubサイトにあるLazyMergekitのnotebookリンクを開き、自分のGoogleDriveにコピーして使います。最初マージに必要な設
Item2Vecを用いて推薦システムを構築するときに気をつけること - Qiita
NTTドコモの久保田です。2度目の登場です。 みなさんItem2Vecという技術をご存じでしょうか。 Item2Vecとは、文章から単語の分散表現を獲得するWord2Vecを推薦システムに適用した技術です。具体的にECサイトでの推薦を考えたときに、Word2Vecの単語を商品に、文章をユーザが評価したアイテム集合として、アイテムの分散表現を獲得し、アイテム間の類似度などをもとに推薦していく感じです。 簡単に実装できるので、割とやってみた系の記事が多いですが、実際に推薦システムへの適用を考えたときに気を付けるところがあります。 Item2Vecの実装方針 gensimというトピック分析のライブラリがあり、このライブラリを使えば簡単にItem2Vecを実装できます。 1行をユーザが評価しているアイテム集合、各アイテムはスペースで区切られたテキストファイル(今回は、item_buskets.tx
日本語x-vectorから感情成分を分離するニューラルネットワークを構築してみた −感情分類に敵対的な損失関数の導入− - 備忘録
はじめに 本記事は前回記事の続編に相当する． 前回記事では声優統計コーパスの3話者・3感情の音声データに対してx-vector抽出器を適用し，UMAPで可視化を試みた． この可視化の実験を通じて，感情成分が分離できていない傾向が見られた．すなわち，本来は話者3クラスにも関わらず，疑似的な9クラス（= 3話者 × 3感情） が存在するように見える，というものである（x-vector抽出器の学習データを考えてみれば，それはそうなのだが）．せっかくx-vectorが手元にあるのだから，感情成分を分離/除去するフィルタの役割を果たす手法を実装してみたいと考えた．本記事はその実装の詳細と簡単な検証実験に関する報告である． 感情成分を分離するニューラルネットワーク 先行研究と論文 今回の実装にあたり下記の論文を参考にした．本論文では，音響特徴量（ベクトル系列）に含まれる話者成分とテキスト情報を表す成分
深層自己符号化器＋混合ガウスモデルによる教師なし異常検知
[DL輪読会]Understanding Black-box Predictions via Influence Functions
【論文紹介】1%の性能低下で50%のモデルサイズ削減が可能な蒸留手法 - Qiita
紹介する論文 【筆者】Kunbo Ding, Weijie Liu, Yuejian Fang, Zhe Zhao, Qi Ju, Xuefeng Yang, Rong Tian, Zhu Tao, Haoyan Liu, Han Guo, Xingyu Bai, Weiquan Mao, Yudong Li, Weigang Guo, Taiqiang Wu, and Ningyuan Sun. 【タイトル】Multi-stage Distillation Framework for Cross-Lingual Semantic Similarity Matching. 【採択会議】NAACL2022 Findings どんな論文？ 新たなモデル蒸留手法を提案した論文です． 本論文で扱うSTSタスク（後述）はモデルサイズに大きく影響されるそうで，以下の図のようにモデルサイズが大きければ大
書籍「グラフ深層学習」を参考にGNNのグラフ埋め込みをやってみた - Qiita
本記事の概要 GNNのグラフ埋め込みをpythonでの実装も含めてやってみたよ GNN のライブラリは使わずにやったよ 書籍「グラフ深層学習」の4章を参考にしているよ 簡単な理論とコードを載せているよ 僕と同じくGNNビギナーの方の参考になればうれしいよ モチベーション グラフニューラルネットワーク（GNN）について耳にする機会が増えたこと、また今年に入って書籍が続けて発行されたことから、GNN勉強してみたい！という人が増えているのではないでしょうか。 わたしもその一人で、独学ですが「グラフ深層学習（2023, ヤオ マー ＆ジリアン タン）」を読み進めています。 「グラフ深層学習」はグラフ理論の紹介から始まり、4章でグラフの特徴を抽出する グラフ埋め込み を取り上げています。 LLMなどでも使われる「埋め込み（embedding）」ですが、グラフにおいても特徴抽出の手法（教師なし学習）と
[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations - Qiita
[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations機械学習論文読み 前置き SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations 文書ベクトルをお手軽に高い精度で作れるSCDVって実際どうなのか日本語コーパスで実験した(EMNLP2017) の記事が圧倒的にわかりやすいのでそっちも見たほうがいいよ!! SCDVの概要 document embeddingの新しい手法。文書分類だけでなく情報探索等にも活用できる。数値実験では既存の方法(doc2vec, LDA, NTSG)に比べ高い精度が出た
![[論文メモ] SCDV : Sparse Composite Document Vectors using soft clustering over distributional representations - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/168473a0d93db8517b7d79463584addf37eac565/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU4JUFCJTk2JUU2JTk2JTg3JUUzJTgzJUExJUUzJTgzJUEyJTVEJTIwU0NEViUyMCUzQSUyMFNwYXJzZSUyMENvbXBvc2l0ZSUyMERvY3VtZW50JTIwVmVjdG9ycyUyMHVzaW5nJTIwc29mdCUyMGNsdXN0ZXJpbmclMjBvdmVyJTIwZGlzdHJpYnV0aW9uYWwlMjByZXByZXMlRTIlODAlQTYmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTIzODIzYTg4ZjAyOWRmNTI3Yzk1ZGM2NzcyMDdmOTI4%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbmlzaGliYSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YzQ0OWRmMDEzOWQ5NjQyMTdiMWQyZmZlMmE3ZmYyZGE%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D41310190270c0f42931c9f58fd23b1bc)
ニューラルネットワークの量子化手法の紹介
ニューラルネットワークにおける量子化とLLMや混合精度などの最近のトピックに関して紹介します。
高効率のLLM学習手法ReFTを試してみる | 株式会社AI Shift
こんにちは AIチームの戸田です 今回は先月スタンフォード大学が発表した新しいParameter-efficient fine-tuning（PEFT）のReFTを試してみたいと思います。 PEFT PEFTはLLMのような大規模な事前学習済みのニューラルネットワークのモデルを、効率的にfine-tuningする手法の総称です。モデル全体ではなく一部のパラメータだけを更新することで計算コストを大幅に削減できる上に、Full fine-tuning(モデル全体を学習)するのと同等の性能を達成することができると言われています。代表的なものにLow-Rank Adaptation（LoRA）が挙げられます。 ReFT Representation Finetuning (ReFT)は、LoRAとよく似たPEFT手法です。違いは、LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの
深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜 - Retrieva TECH BLOG
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前々回、深層学習の量子化について簡単な解説記事を公開しました。 前回はDynamic Quantizationを試した記事を公開しました。 今回はStatic Quantizationを実際に試してみようと思います。 Static Quantizationの概要 ONNX Runtimeを利用した量子化方法紹介 データの準備および単語分割を行う 量子化のConfigを作成 Calibrationを実行してscale factorを計算する 量子化適用前に除外するノードを定義 量子化の実行 量子化実験 実験設定 推論速度の比較 まとめ Static Quantizationの概要 Static Quantization（Post Tr
ポアンカレエンベッディング - にほんごのれんしゅう
ポアンカレエンベッディング Euclid空間にエンベッディングするようなword2vecは意味の上下関係が明示的に記されません。(情報としたあったとしても僅かでしょう) ポアンカレボールという双曲幾何学空間に埋め込むことで、効率的に意味(や木構造)の上位関係をとらえることができます[1] 理解 ポアンカレボールはこのような、外周部に行くほど密になる球みたいなものなのです。 図1. ハニカム構造のPoincare Ball(Wikipediaより) ポアンカレボールでは外に行くほど情報が密になり、空間が広がっているともとらえます。 数式で表現するとこのようになって、 gEというユークリッド距離がxが1に近づけば無限に大きくなることがわかります。 このポアンカレボール上にある二点間の距離はこのように表現され、単純なユークリッド距離ではないことが見て取れます。 この距離関数に基づいて損失関数L(
Poincaré Embeddings でJ1リーグのチーム・選手を可視化 - u++の備忘録
ふと「Poincaré Embeddings」*1で遊んでみたいと思い立ち、サッカーJ1リーグのデータで試してみました。 Poincaré Embeddings gensimでの実装とデータセット Poincaré Embeddingsの学習 活用方法 おわりに Poincaré Embeddings Poincaré Embeddingsに関する説明は、ABEJA*2やscouty*3のブログに譲ります。 Poincaré Embeddings は端的に言うと word2vec の埋め込み先をユークリッド空間ではなく双曲空間にするという手法で、階層構造やべき分布をもつデータを埋め込むという問題設定において、低次元でもよい表現を与えられるという特徴があります。 Poincaré Embeddings による職種の類似度計算とその利用 - LAPRAS AI LAB gensimでの実装とデ
Self Distillationって何？AlphaFold2では何をしているの？ - magattacaのブログ
先日AlphaFold2についてのPodCastを聞きました。知らないことばかりで「あーなるほどそういう話だったのかー」と興味深かったです。専門の先生方の議論を拝聴できるのはすばらしいですね。 AlphaFold2はディープランニングの専門の方から見ても、面白い技術がたくさん使われているそうですが、ど素人にはそもそもどこが生物学で、どこが深層学習的な話なのかわからないです。 というわけで、今回は深層学習の用語らしい「Self distillation」について調べてみました。ついでにAlphaFold2での使用例もちょっと見たいと思います。 www.nature.com 1. Self distillation 1-1. 知識蒸留はモデル圧縮の技術 1-2. 大事な知識はソフトな知識 1-3. 自己蒸留 ~Be Your Own Teacher~ 1-4. どうして自己蒸留で精度が上がるの
Amazon Titan Text Embedding V2 を試してみた | DevelopersIO
特にV2ではベクトルサイズ(dimensions)を柔軟に選択できるようになったため、用途に応じて適切な値を選択すると良さそうです。 使用ライブラリ 今回使用するライブラリは、boto3のみです。 boto3：1.34.61 コサイン類似度を計算する際、一般的には以下のブログのようにNumPyやSciPyという外部ライブラリを別途導入し利用する事が多いです。 今回はあえて外部ライブラリを使わず、boto3以外はPythonの標準ライブラリのみでコサイン類似度を計算します。 boto3がプリインストールされているCloudShell等の環境であれば追加の外部ライブラリなしで実行できるので、ぜひそちらでお試しください。 スクリプト内容 Pythonのスクリプトを以下に示します。 スクリプト実行時の引数に比較対象となる2つの文を指定して実行すると、コサイン類似度が出力されます。 また今回はオレゴ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
独立成分分析を用いた埋め込み表現の視覚的な理解
ゼロショット物体検出の研究動向
embeddingを用いた分析・検索・推薦の技術
Autoencoderを用いたOutfitからのスタイル抽出/style auto encoder
小規模データセットに対するニューラルネットの汎化性能の理由に迫る論文：Modern Neural Networks Generalize on Small Data Sets | 10001 ideas
