自然言語とVision&Language
東京大学大学院の2024年度講義「知能情報論」で使用した資料です． Vision&Language関連の研究について，深層学習初期から大規模モデルにいたるまでを概観しています． なお，資料作成時期は2024年5月下旬であり，内容はその時点で発表されていた研究等に基づいています．
東京大学大学院の2024年度講義「知能情報論」で使用した資料です． Vision&Language関連の研究について，深層学習初期から大規模モデルにいたるまでを概観しています． なお，資料作成時期は2024年5月下旬であり，内容はその時点で発表されていた研究等に基づいています．
生成AI領域における言語モデルは今、いくつかの方向で開発が進められている。 その1つは「大規模言語モデル（LLM）」の開発。大規模言語モデルは、生成AIの代名詞的な存在で、文字どおりサイズ（パラメータ数）が大きなモデルを指す。最近の例でいえば、GPT-4oやClaude 3 Opusなどが代表格といえるだろう。パラメータ数は公開されていないが、非常に大規模なモデルといわれており、パフォーマンスもかなり高いものとなっている。 もう1つが、大規模言語モデルに比べ規模が小さな言語モデル（Small Language Model＝SLM）の開発だ。SLMとは、LLMよりもパラメータ数が少なく、よりコンパクトで効率的なAIモデルのことを指す。一般的にLLMが数百億から数千億のパラメータを有するのに対し、SLMは数億から数十億程度のパラメータで構成される。 LLMは、テキストや画像、音声、動画など幅広
Stockmark-100b: ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルの事前学習 - Stockmark Tech Blog
ストックマークは最近、ビジネスドメインに対応した1000億パラメータ規模の大規模言語モデルであるStockmark-100bの開発を行い、事前学習モデルと指示学習モデルをオープンソース（MITライセンス）として公開しました。この記事では事前学習における弊社の取り組みを紹介させていただきます。 プレスリリース: stockmark.co.jp 事前学習モデル： huggingface.co 指示学習モデル： huggingface.co 背景 2024年2月に国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が実施する「ポスト５Ｇ情報通信システム基盤強化研究開発事業／ポスト５Ｇ情報通信システムの開発」に採択されました。これは、経済産業省の国内の生成AIの開発力強化を目的としたGENIACプロジェクトと連携して行われており、国内事業者に対して生成AIの開発に必要な計算資源の確保と利
Home プレスリリース 外務省がＦＩＸＥＲの生成ＡＩプラットフォーム「ＧａｉＸｅｒ」を採用、高度な言語処理と効果的な情報利活用で業務改善 ■ＧＰＴ－４等の最新技術を駆使し、高度な言語処理で業務合理化を実現 ＦＩＸＥＲ＜５１２９＞（東証グロース）は６月４日、外務省から「生成ＡＩ活用のための環境構築及び運用」を受託し、２０２４年５月１５日に契約を締結したと発表。同社は、エンタープライズ向け生成ＡＩプラットフォーム「ＧａｉＸｅｒ（ガイザー）」をベースに、外務省において生成ＡＩを活用するための環境構築及び運用を行い、外務省の業務効率改善と生産性向上を図っていく。 ＧａｉＸｅｒは、ＣｈａｔＧＰＴ等に代表される生成ＡＩ技術を活用した行政・企業向けサービス。日々進化する大規模言語モデル（ＬＬＭ）をメニューから選択して実行、結果を比較することで最適なモデルを選択できることが特徴で、Ａｚｕｒｅ ＯｐｅｎＡ
海外旅行が180度激変！言語の壁ゼロに！超革命的「Vascoの翻訳機」って一体どんなもの！？ | beautyまとめ | わたしアップデート系ニュースサイト
Vascoの翻訳機をご存じでしょか？これまでの翻訳機のイメージを大きく超える名品なんです。 今回は、「Vasco Translator V4（ヴァスコ・トランスレーター・ブイフォー） 」の特徴を実際に試しながらご紹介していきます。 Vascoは、様々な地域の言語をまるでネイティブのように操ることができる最新型の翻訳機です。旅行先はもちろん、海外での商談・出張先、外国から訪問してきた友人・親族との会話もスイスイと行うことができ、多様な場面で大活躍します。 最大108言語を翻訳するため、言語が通じないなかなか訪れることのないような国でも安心して世界中旅をすることが可能ですよ♪ 翻訳の機能も高く、AIが10種類の翻訳エンジンから最適な訳を表示してくれるため、翻訳機にありがちなヘンテコな日本語に変換された…なんてことも起こりにくいです。様々な場面でストレスフリーに会話を楽しめますよ！
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
小規模言語モデル（SLM）とは？ マイクロソフトPhi-3やグーグルGammaは何を競うのか？
外務省がＦＩＸＥＲの生成ＡＩプラットフォーム「ＧａｉＸｅｒ」を採用、高度な言語処理と効果的な情報利活用で業務改善