[GENIAC 採択プロジェクト] 多様な日本語能力の向上を目指した公開の基盤モデル開発 | 東京大学松尾研究室 - Matsuo Lab

[GENIAC 採択プロジェクト] 多様な日本語能力の向上を目指した公開の基盤モデル開発 | 東京大学松尾研究室 - Matsuo Lab

本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京...概要を表示 本活動では、2023年8月に公開した100億パラメータサイズのLLM「Weblab-10B」の開発経験をベースに、東京大学松尾研究室が提供する大規模言語モデル講座（2023年9月開催、2000名が受講）の修了生及び松尾研究室講座修了生および一般公募によって集まった有志の開発者（⺠間企業・研究者・学⽣で構成）が、最新の研究成果や技術的な知見を取り入れ、開発を進めます。 一般的にLLMの最適なモデル構造やハイパーパラメータの詳細については十分に分かっていないため、第1フェーズにおいては8チームに分かれて複数の研究テーマを設定し探索を行い、知見を共有しながら試行錯誤することで、実用的かつ効率的な手法を採用します。その後第2フェーズでは、最優秀に選ばれた1チームが500億パラメータサイズのLLM開発に取り組むことを予定しています。 特徴 透明性の高い非営利の公開型プロジェクトを目指します。 チーム