日本語LLM の学習に関する技術記事まとめ｜npaka日本語LLM の学習に関する技術記事をまとめました。日本語LLMの開発元の技術記事およびプレゼン資料が中心になります。 2023年5月9日 wandb - LLMをゼロからトレーニングするためのベストプラクティス
ロングコンテキストLLMに対応したRAGの新アーキテクチャ｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Towards Long Context RAG - LlamaIndex 1. はじめにGoogleは、1Mコンテキストウィンドウを持つ「Gemini 1.5 Pro」をリリースしました。初期ユーザーは、数十もの研究論文や財務報告書を一度に入力した結果を共有しており、膨大な情報を理解する能力という点で印象的な結果を報告しています。 当然のことながら、ここで疑問が生じます。「RAG」は死んだのでしょうか？そう考える人もいますが、そうではない人もいます。 幸運にも「Gemini 1.5 Pro」の機能をプレビューすることができ、それを試してみることで、ロングコンテキストLLMを適切に使用するには、RAGがどのように進化するのかについてのまとめました。 2. Gemini 1.5 Pro の 初期観察「Gemini」の結果は印象的で、テクニカ
LLMエージェントのデザインパターン、Agentic Design Patternsを理解する
「Agentic Design Patterns」と呼ばれるLLMベースのAIエージェント（以下、LLMエージェント）の4つのデザインパターンについて紹介します。 まず、「Agenticワークフロー」について説明し、続いて4つのデザインパターンを説明します (Part5の前に公開してしまったので、後追いで更新予定です) Agentic Design Patterns Part 1 Agentic Design Patterns Part 2, Reflection Agentic Design Patterns Part 3, Tool Use Agentic Design Patterns Part 4, Planning Agentic Design Patterns Part 5, Multi-Agent Collaboration 動画もあります。 LLMエージェントについての説明
💻 Introduction to RAG — GenAI Systems for Knowledge
Retrieval-Augmented Generation (RAG) is reshaping how we use generative AI to work with information — as individuals and as teams. In this guide, we’ll introduce you to how RAG works, and explain its advantages and applications to keep your team informed and efficient. Read on to learn: What is RAG? It’s like ChatGPT for your dataHow can I use RAG? Working with personal and company knowledgeWhat a
「大規模言語モデルの開発」に関するまとめ資料 東工大・岡崎教授が公開 全85ページ
岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。 関連記事 生成AIを巡る日本の現状は？ 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」 内閣府は5月23日、22日に開催した「第9回 AI戦略会議」で取り扱った資料を公開した。公開したのは、AI研究の権威として知られる東京大学の松尾豊教授が作成した「生成AIの産業における可能性」と題した全33ページの資料など。 “大は小を兼ねない”生成AI 注目集める「小規模言語モデル」（SLM） そのメリットとは？ 先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」の目玉の一つだった「SLM」（Sma
RAG評価ツール「RAGAS」の論文を読む
本記事では、RAG評価ツールの「RAGAS」の論文ついてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは、生成AIやRAGシステムを活用したサービスを開発しており、その中でもRAG精度の評価は非常に重要です。 この記事は何 この記事は、「RAGAS」についての論文[1]を、日本語で簡単にまとめたものです。RAGASはツールとして有名ではあるものの、RAGASの論文を読んだことがある方は多くなさそうです。 RAGASとは、おそらく今、一番有名なRAG評価ツールです。同様のツールとして、他にはLangSmithやARESが有名かと思いますが、他の開発者と話をしていても、評価ツールとして一番に名前が上がりやすいのは、やはりRAGASです。 また、今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー R
GPT-4oとStreamlitでOpenAI Assistants APIのCode Interpreterを検証した現状と課題
はじめに OpenAIのAssistants APIをそのまま使用することで、自前でLangChainのエージェントなどを使用して同様の処理を実装する手間を省け、非常に便利です。ただ、現状（2024/05/18）ではまだβ版ということもあり、APIのインタフェースの改変も多く見られます。 Assitants APIを用いたcode-interpreterのUIをstreamlitで実装 においても、実装例が紹介されていますが、そのままでは動作しないこともあり、最新版での動作検証も兼ねてStreamlitでの実装例を紹介します。 また、本記事ではStreaming対応済みの実装を取り入れており、よりリアルタイムな対話が可能となっています。 扱っているモデルは2024/05/14に発表されたGPT-4oを用いています。 目次 はじめに 実装例 app.py openai_handler.py
複雑な表をLLMに理解させる｜ナッピー通信
はじめにGPT-4o、Gemeniのマルチモーダルが進化したとXで話題になっています、路線図が読み取れた、もえないごみはダメだとXで話題になっています GPT-4o、視覚能力すごい‥‥ 人間でも認識困難な東京の路線図を把握して最短経路を提案してくる pic.twitter.com/ONA2b24Hyb — 大佐 | AIオタク (@wasedaAI_taisa) May 25, 2024 路線図の方はLLMの学習時に情報を持っていて、与えられた画像が路線図だと認識した可能性が高そうです。もえないごみの収集のようにLLMには未学習の内容を答えさせるにはどうしたら良いかを考えてみたいと思います。 ユースケースを考える単にデーター化しますだとどのようにするのか難しいので、今回はごみの収集日をAIに答えさせるというシチュエーションで行きます。 山田さんは、諫早市西郷に住む会社員、会社にいる時にごみ
ICLR2024 LLMエージェントの研究動向
LLMエージェントの研究動向を調査しました。 国内のエージェント開発の取り組みが増え、議論が活性化すると嬉しいです。 連絡はota.m@dentsusoken.com まで
Four AI Agent Strategies That Improve GPT-4 and GPT-3.5 Performance
Agentic Design Patterns Part 1 Four AI agent strategies that improve GPT-4 and GPT-3.5 performance Dear friends, I think AI agent workflows will drive massive AI progress this year — perhaps even more than the next generation of foundation models. This is an important trend, and I urge everyone who works in AI to pay attention to it. Today, we mostly use LLMs in zero-shot mode, prompting a model t
Command R+はトークナイザーもすごかった - Qiita
はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。
完全自動運転にLLMは必要か？
この記事を3行でまとめると.. Turingでは1年以上前から完全自動運転に自然言語処理が必要と考えてきた 自動運転におけるロングテールなデータに対して、LLMの一般常識に基づく判断能力が必要 Chat-GPTをきっかけにLLMを自動運転に利用する研究が盛り上がってきている TuringのBrain Researchチームの棚橋です。Brain Researchチームでは、中長期的に自動運転においてキーとなるコア技術の開発を行っています。最近ではVision LanguageモデルのフレームワークとしてHeronをリリースしました。なぜ自動車を製造する会社が、LLMの開発を行っているのでしょうか。 Turingでは1年以上前から自動運転における複雑な文脈理解には自然言語が必要であると主張してきました。今年の7月にはLLMで実際の車を動かしてみるプロジェクトをデモとして公開しました。このデモ
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
半構造化データのためのRAGの概要
前提 多くの文書には、テキスト、表、画像など、様々な種類のコンテンツが混在 このような半構造化データの解析は従来のRAGにとって困難な場合が多い テキストを分割すると表が分断され、検索時にデータが破損する可能性がある。 表を埋め込むと、意味的類似性検索が困難になる可能性がある。 画像に含まれる情報は通常失われる。 手法 Unstructuredというlangchain,llamaindex外部のAPIを使い、ドキュメント（PDF等）から画像、テキスト、表を解析する。 multi-vector retrieverを使って、生の表、テキスト、（オプションで）画像を、検索用の要約とともに保存する。 選択肢（各選択肢が下画像のoptionに対応） 選択肢1： CLIPなどのマルチモーダルモデルを使い画像とテキストを埋め込み、類似性検索を使って両方を取得。生の画像とテキストチャンクをマルチモーダルL
Kaggleコンペ（LLM Science Exam）の振り返りと上位解法まとめ
コンペURL どんなコンペ？ LLM（ChatGPT）が作った科学・技術・工学・数学分野の問題をKaggle notebookという限られた環境下（主にメモリ13GBと9時間以内に完了）でどのくらいの精度で解けますか？という自然言語処理系のコンペ。 以下に入出力例を示しています。 ・入力 （質問）バタフライエフェクトとは何ですか？ （A）バタフライ効果とは、巨大な球体が不安定な平衡点から... （B）バタフライ効果は、古典物理学における必要条件... （C）バタフライ効果は、古典物理学における物理現象の... （D）バタフライ効果とは、巨大な球体が不安定な平衡点から.... （E）バタフライ効果は、物理学における因果関係の概念の適用と.... ・出力 E A B （解答を可能性の高い順番に出力） 評価指標はMAP@3（Mean Average Precision）でした。 ベースライン解法
LLM テクニックの習得: LLMOps
Reading Time: 3 minutes 企業は、イノベーションを起こし、顧客に価値を提供し、競争力を維持するために、これまで以上にデータと AI に依存しています。機械学習 (ML) の導入は、信頼性が高く、コスト パフォーマンスがよく、スケーラブルなコード、データ、モデルを管理するためのツールやプロセス、組織原則の必要性を生じさせました。これは MLOps として広く知られています。 世界は、特に基盤モデルと大規模言語モデル (LLM) を活用した新しい生成 AI 時代に急速に突入しています。ChatGPT のリリースにより、この変化はさらに加速されました。 GenAIOps と LLMOps の新しい専門領域は、本番環境での生成 AI および LLM を利用したアプリの開発と管理の課題に対処するための MLOps の進化として登場しました。 この投稿では、生成 AI アプリ開発
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
生成AIの進化と今後の展望 - Preferred Networks 岡野原 大輔
AIが人間の認知のゆがみを総合的に補正――マルチモーダルAIで事象全てをログ化すると何ができるか
Model Cards
Leveraging LLMs in Production: Looking Back, Going Forward | Mercari Engineering