はぐれ弁理士 PA Tora-O です。前回(第1回)では、Word2Vec の概要について説明しました。改めて復習されたい方は、こちらのリンクから確認をお願いします。今回(第2回)は、Word2Vec を構成する2種類のモデルのうち、CBOW(Continuous Bag-Of-Words)の概要について一通り説明してみます。 問題の設定 CBOWモデルでは、図1に示す穴埋め問題について取り組みます。以下の説明では、「ゼロから作るDeep Learning(2) 自然言語処理編」(オライリー・ジャパン発行)の例を参考にさせて頂きます。 【図1】穴埋め問題の一例 実際の試験問題では紙面スペースなどの都合から選択肢が狭まっていますが、ここでは、データベースに登録されているすべての単語(N個)の中から選択され得ることにします。 学習モデル 続いて、上記した穴埋め問題を解くための学習モデルを図2