ファインチューニング条件の検討による、10bクラスの大規模言語モデルの理解・回答能力についての検証と考察｜Kan Hatakeyama

ファインチューニング条件の検討による、10bクラスの大規模言語モデルの理解・回答能力についての検証と考察｜Kan Hatakeyama

(以下、時間の都合上、まだきちんと校正できておりません。ご了承ください) 4/1追記: こちらの記事の方...概要を表示 (以下、時間の都合上、まだきちんと校正できておりません。ご了承ください) 4/1追記: こちらの記事の方が､きちっとした検証がなされています｡ はじめに大規模言語モデルは大きく、1)事前学習、2)ファインチューニングの二段階によって訓練されます。2)ファインチューニングは、ざっくり言えば、「人間と対話するための訓練」です。すなわち、人間の指示を理解し、期待される回答をするための練習をする作業に相当します。GPT-4やClaude 3などはモデルサイズも大きく、非常に注意深くファインチューニングされている(との噂の)ため、様々なタスクをこなすことが可能です。 これに対し、数ー数十b程度のサイズを持つオープンな「ローカルモデル」については、「どのような」データを、「どの程度」学習させることによって、対話能力を獲得できるようになるかが、十分にはわかっていない模様です※。 ※もちろん、種々の研究は

• あとで読む