GPTのモデル構造を可視化した｜shi3z

テクノロジーカテゴリーの変更を依頼記事元:

402 usersがブックマークコメント

規約違反を報告

GPTのモデル構造を可視化した｜shi3z

GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこう... GPTのモデル構造を目で見てみたい! そんな気持ち、わかるでしょ? 技研フリマをやりながら、どうにかこうにか出力したよご覧あれやり方メモ from transf ormers import AutoTokenizer, AutoModelForCausalLM from torchviz import make_dot tokenizer = AutoTokenizer.from_pretrained("gpt2") from transf ormers import pipeline, set_seed generator = pipeline('text-generation', model='gpt2') m= generator.model x= m.generate() y= m.forward(x) image = make_dot(y.log its, params=dict(

記事へのコメント32件

注目コメント
新着コメント

endo_5501 これが見たかった。なるほど。ちゃんと画像出力するとこんなになるか

2023/06/10 リンク

nekoline 文字読めても理解できんやろ。出来るスキルあるなら自分でPNG出力すりゃいいやん、コード出してくれてるんだし。

2023/06/11 リンク

urtz なんかDNAみたいな螺旋構造っぽい表示になってていいね

nin_nikun この内容でブクマが集まるってことは、はてな民もGPTの構造すら理解してない人がほとんどなんだな。肝となる部分はTransformer12層重ねただけで、この程度の情報はWikipediaにすら詳しく書いてある。https://ja.wikipedia.org/wiki/GPT-2