表形式データの分類（FT-Transformer）｜toshi_4886

表形式データの分類（FT-Transformer）｜toshi_4886

はじめに表形式データの分類モデルを構築します。 概要adultデータセットを用いて収入を予測するモデル...概要を表示 はじめに表形式データの分類モデルを構築します。 概要adultデータセットを用いて収入を予測するモデルを構築します。 モデルはFT-Transformerを使用します。 FT-TransformerFT-Transformerは、Transformerを表形式データに適用できるように拡張した手法で、Feature TokenizerとTransformerから構成されます。 下の図は提案論文の図です。 Feature Tokenizerでは、入力の各要素をembeddingに変換します。 それに[CLS]トークンを追加し、Transformerに入力します。 [CLS]トークンに対応するTransfomrmerの出力を予測に用います。 Feature Tokenizer連続値またはカテゴリ変数を連続値のベクトルであるembeddingに変換します（下記提案論文の図(a)）。 連続値の場合は

• 機械学習