ChatGPTにとって日本は”機械学習パラダイス”なのか ～LLM（大規模言語モデル）にとっての個人情報保護法とGDPR～｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
ChatGPTにとって日本は”機械学習パラダイス”なのか ～LLM（大規模言語モデル）にとっての個人情報保護法とGDPR～ ChatGPTを提供する米OpenAI社のCEOが来日したことが話題になっています。 「ChatGPT」CEO来日、個人データ保護「政府に協力」（日本経済新聞・20230411） 上記記事によれば、OpenAIのCEOは「自ら日本に足を運ぶことで、オープンAIへの支持を広げる狙いがあったとみられる」「日本に拠点を設ける考えも示唆した」とあり、OpenAIは日本を市場として重視しようとしていることが伺われます。 OpenAIにとって、なぜ日本の市場は魅力的なのでしょうか。その理由のひとつとして、GDPR（欧州一般データ保護規則）をはじめとする主要な海外個人データ保護法制よりも、日本の個人情報保護法が機械学習にとって対応しやすいことが挙げられます。 実は日本における著作権
Azure OpenAI Service リファレンスアーキテクチャからみる本番システムレベルの LLM アプリに必要な検討項目の解説 / From Azure OpenAI Reference Architecture to Production-Ready LLM Apps #serverlessdays #serverlesstokyo
ServerlessDays Tokyo 2023 で Azure OpenAI Service リファレンスアーキテクチャからみる、本番システムレベルの LLM アプリに必要な検討項目の解説 / From Azure OpenAI Reference Architecture to Production-Ready LLM Apps というタイトルで紹介しました HP: https://tokyo.serverlessdays.io/ Ticket: https://serverless.connpass.com/event/290640/ #serverlessdays #serverlesstokyo
LoRAは画像生成モデルや大規模言語モデル(LLM)に追加の情報を学習させてモデルを微調整できる仕組みです。LoRAを用いてLLMを強化する際に役立つ情報をAI研究者のセバスチャン・ラシュカ氏が解説しています。 Practical Tips for Finetuning LLMs Using LoRA (Low-Rank Adaptation) https://magazine.sebastianraschka.com/p/practical-tips-for-finetuning-llms ◆LoRAの効果には一貫性がある Metaが開発したLLM「Llama 2」をLoRAで強化した際のベンチマーク結果を示した表が以下。「LoRA defaul 1」「LoRA defaul 2」「LoRA defaul 3」はそれぞれ異なるタイミングで作成されたLoRAモデルですが、ベンチマークスコア
Generative Agents論文を参考にした長期記憶機構をもつLLMエージェント×非同期コミュニケーションの実装 - Gaudiy Tech Blog
こんにちは！ファンと共に時代を進める、Web3スタートアップのGaudiyでエンジニアをしている椿（@mikr29028944）です。 今年の8月にお台場で行われた世界最大級のアイドルフェスにて、ユーザーの投稿に反応する「バーチャルAI-DOL（バーチャルアイドル、以下 AI-DOL）」のサービスを同コミュニティアプリ内で提供しました。 このサービスには「ファンが育てるAIアイドル」というコンセプトのもと、次の機能を搭載しました。 ユーザーが投稿すると、AI-DOLが返答する。 ユーザーの投稿を記憶し、それに基づいて会話内容が進化する。 AI-DOLが記憶に基づいて2023のアワード選出をする。 たとえば「今年の初出演アイドルで最も輝いていたのは誰？」と聞くと、それに合致したアイドルを選出理由とともに答えてくれる。 GPT-4登場以降、LLMを使ったAIサービスがたくさん出ていますが、基本
はじめにこんにちは、Lightblueの園田です。 四畳半のオフィスで70億パラメータのLLMを事前学習した話ではエンジニアの樋口さんがlightblue/japanese-mpt-7bの開発・性能評価について報告しました。 本記事では、四畳半のオフィスで70億パラメータのLLMを事前学習した話で語りきれなかったしくじりも含めた開発裏話について紹介します。 LLM開発に必要なリソース一般的に、LLMの開発にはA100やH100といった最新の高性能のGPUが使われます。 本日公開されたLlama2の70Bモデルでは、A100を1,720,320時間分利用し学習されています。 このようなリソースはGPUボードの費用だけでなく、電気代も高額になることから、LLMの開発には資本力が必要とされています。 H100はパブリッククラウドでほとんど提供されていないことから、LightblueでもA100を
小規模LLMの利点 LLMにおいて、学習パラメータ数は性能に直結する。パラメータ数を上げれば性能が向上するというのは「最近においては研究者の間でのコンセンサス」（企業向けのAIソリューション開発を行うLaboro.AIの藤原弘将COO兼CTO）だ。 一方で、注目を集めつつあるのがLLaMAのような小規模なモデルだ。 LLaMAはパラメータ数の異なる4つのサイズ（7B、13B、33B、65B）で提供されている。これは175B規模のGPT-3や、それを遥かに上回るといわれるGPT-4に比べると非常に小さいが、13BサイズでもGPT-3よりも性能が上だという。 モデルを大規模化すれば性能が上がることが分かっていても、小規模でも高性能なモデルの開発が注目されている理由の1つは、ビッグテックによるLLM独占への警戒感だ。大規模モデルの学習は規模が大きくなるほど必要な演算量も増える。「例えばAWSを使
AIによる著作権侵害を調べるPatronus AIの「CopyrightCatcher」によるとGPT-4の出力の44％が著作権で保護されたコンテンツで他の大規模言語モデル(LLM)と比べて最悪であることが判明
元Metaの研究者たちが設立した、企業による生成AI活用を支援するための業界初の大規模言語モデル(LLM)自動評価プラットフォーム「Patronus AI」が、主要なLLMが著作権で保護されたコンテンツを生成する頻度を調査しました。このテストにより、OpenAIの開発するGPT-4は競合LLMと比べて圧倒的に著作権で保護されたコンテンツを出力することが明らかになっています。 Patronus AI | Introducing CopyrightCatcher, the first Copyright Detection API for LLMs https://www.patronus.ai/blog/introducing-copyright-catcher GPT-4: Researchers tested leading AI models for copyright infring
★AIDB会員限定Discordを開設いたしました！ 会員登録／ログインの上、マイページをご覧ください。 Googleは、非構造化文書（例えばレシートなど）から高精度にテキストを抽出するOCR（Optical Character Recognition）技術『LMDX（Language Model-based Document Information Extraction and Localization）』を発表しました。この技術は、特にGoogleの大規模な言語モデル「Bard」と、Google DriveやGmailなどのサービスとの連携をさらに強化する可能性もあります。 参照論文情報 タイトル：LMDX: Language Model-based Document Information Extraction and Localization 著者：Vincent Perot, K
こんにちは、LayerX CTOの@y_matsuwitterです。最近はパン作りにハマっています。無心に小麦と酵母の声を聞くことで精神の安寧を求めています。 この記事は LayerXテックアドカレ2023 19日目の記事です。前回は @shota_tech が「Go の linter 雰囲気で使っていたから調べ直した #LayerXテックアドカレ」を書いてくれました。次回はEMオフィスの@serimaより「Engineering Officeの話」がポストされる予定なのでご期待ください。 ISUCON13 昨日開催のISUCONに参加してきました。とても楽しい問題ですし、これだけの人数での開催を支えている運営の皆さんには頭が上がりません。個人でもLayerXとしてもスポンサーさせていただきました。ありがとうございます！ 10年近く一緒に出場している.datというチームで、私はプロンプトを
登壇者の自己紹介 蒲生弘郷氏：「ChatGPTの10ヶ月と開発トレンドの現在地」というタイトルで、蒲生から発表します。よろしくお願いいたします。 ちょっと私の自己紹介です。Azure OpenAI Champという立場で、外部発信などをやっています。いっぱい自己紹介をしていきたいところですが、本日はあまり時間もないので省略して、次にいきたいと思います。 今回は、けっこう開発者向けの発展的な内容を扱っていきますが、もし基本的な内容から確認していきたいという場合には、「Azure OpenAI 大全」というものを公開していて、リンクを貼っておくので、そちらの資料を併せてご確認いただければと思います。 「ChatGPT」の登場から今までを振り返る では、本日のテーマとして「ChatGPT」の登場から10ヶ月（※登壇当時）ということで、2022年11月から登場したChatGPTに関する技術について
最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法（Chat Vector+MoEマージ）を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日本語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日本語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日本語7Bモデルより大幅に高いスコア（3.42）を示すことが確認できました。単純に
LLM のデータセットまとめ｜npaka
LLMのデータセットをまとめました。 1. 事前学習データセット1-1. Text・Wikipedia (ja) ・fujiki/wiki40b_ja ・shisa-pretrain-en-ja-v1 (ja) ・augmxnt/shisa-pretrain-en-ja-v1 ・Wikipedia (en) ・Wiki Demo (en) ・RefinedWeb (en) ・RedPajama V2 (en) ・Pile (en) ・SkyPile (zh) ・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 1-2. Code・The Stack 2 (en) ・The Stack (en) ・StarCoder (en) 2. SFTデータセット2-1. Instruction・ichikara-instruction (ja) ・ich
継続事前学習による金融ドメイン特化LLMの構築の検証 - Preferred Networks Research & Development
この記事は、金融チームエンジニアの今城(@imos)と金融チームリサーチャーの平野(@_mhirano)による寄稿です。 概要 本稿では、ドメインに特化したLLMの構築の一環として、金融ドメイン特化のLLMの構築の検証を行いました。継続事前学習によるドメイン知識の獲得を模索し、特定のドメイン向けに専用のパラメータ数が多い高性能なLLMを提供を可能にすることを目指します。 実験では、nekomata-14bとPFNで構築した金融に特化したデータセットを用いて、継続事前学習を実施しました。 継続事前学習の結果として、金融ベンチマーク性能が向上することが確認できました。 出力の差としては、Instruction Tuningを施していないため、大きな差は見られないものの、一定の差が見られるケースもありました。 継続事前学習後のモデルは、https://huggingface.co/pfnet/n
LLM時代におけるAI-OCR機能の開発戦略 / layerx-bakuraku-ocr-llm-lt-2024
2024年1月24日 【オフライン限定開催】注目AIテックカンパニー4社が集うLT新年会〜LLM活用のリアルを語る〜(https://lapras.connpass.com/event/305577/) における発表資料です。
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。1回目に登壇したのは、株式会社フィードフォースの八百俊哉氏。ベクトルデータベース「Pinecone」の概要とプラクティスについて発表しました。 自己紹介とアジェンダ紹介 八百俊哉氏：では、最後の発表です。「Pineconeの重要性とプラクティス」というところでお話をしようと思います。よろしくお願いします。 まず自己紹介です。名前は、「やお」と読みます。八百俊哉です。大学で機械学習を専攻しており、画像処理や自然言語処理の概要はそこで学びました。 2020年に新卒で株式会社フィードフォースに入社して、入社時からデータサイエンティストとして、社内のデータ分析を中心に業務を担っています。
ELYZA-Japanese-Llama-2-7b ELYZA-Japanese-Llama-2-7bは、ELYZAが公開した日本語に特化したLLMです。 公開されたのは以下のモデルです。 ELYZA-japanese-Llama-2-7bELYZA-japanese-Llama-2-7b-fastELYZA-japanese-Llama-2-7b-instructELYZA-japanese-Llama-2-7b-fast-instruct instruct：instruction tuningによって追加学習されたモデル。 fast：日本語の語彙の追加によって処理を高速化したモデル。 モデルの概要 ELYZA-japanese-Llama-2-7bはLlama2をベースとして日本語処理の性能を向上させるために追加学習したモデルです。英語で学習済みのLLMの言語能力を引き継ぐことで、少な
登壇者の自己紹介とアジェンダ紹介 金岡亮氏：みなさんこんばんは。「LLMからはじめる、プロダクトへのAI導入」というタイトルで発表いたします。私たちSmartHRは「従業員サーベイ」というプロダクトを提供しており、その中で「要約AI」というLLMを使ったサービスをプロダクトとして出しています。これをリリースするまでにどんなことをやってきたのかというお話ができればと思っています。 私は金岡と申します。私はふだん、プロダクトマネージャーをしており、弊社のタレントマネジメント系のプロダクトを複数見ています。今年に入ってからLLM利用のタスクフォースや、AI活用のR&Dの組織を立ち上げています。前職では、AIの受託系の会社でプロジェクトマネージャーをしたり、データアナリストをしていました。 今日のアジェンダですが、機能リリース前のお話と機能リリース後のお話。あとは4つ学びと今後の展望というかたちで
LLMエージェントの設計16パターン | AIDB
LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定するか、計画をどう作るかについての情報が記載されています。 参照論文情報 タイトル：Agent Design Pattern Catalogue: A Collection of Architectural Patterns for Foundation Model based Agents 著者：Yue Liu, Sin Kit Lo, Qinghua Lu, Liming Zhu, Dehai Zhao, Xiwei Xu, Stefan Harrer, Jon Whittle 所属：Dat
Free Dolly: Introducing the World's First Truly Open Instruction-Tuned LLM
Unified governance for all data, analytics and AI assets
音声・テキスト・画像・音楽など複数の種類のデータを一度に処理できるマルチモーダルな大規模言語モデル(LLM)の「AnyGPT」が発表されました。 AnyGPT https://junzhan2000.github.io/AnyGPT.github.io/ 既存の大規模言語モデル(LLM)のアーキテクチャやトレーニングパラダイムを変更することなく、安定してトレーニングすることができるという新しいマルチモーダルLLMがAnyGPTです。AnyGPTはデータレベルの前処理のみに依存しており、新しい言語を組み込むのと同様に、新しいモダリティのLLMへのシームレスな統合を促進することが可能。マルチモーダルアライメントの事前トレーニング用に、マルチモーダルテキスト中心のデータセットを構築することで、生成モデルを利用して大規模な「Any-to-Any」(任意のデータ形式から任意のデータ形式に出力できる)
LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。ここからは、LangChainのモジュールである「Indexes」「Memory」について解説します。前回はこちらから。 LangChainのモジュール「Indexes」 大嶋勇樹氏：次はIndexesとMemoryを見ていきます。質問をもらっていますが、続きを見てから回答できればと思います。 Indexesですが、まずモチベーションとして、GPT-4やGPT-3.5は、2021年9月までの公になっているパブリックな情報しか持っていません。 よくある例として、もっと新しい情報を知りたい。例えばLangChainの情報もそうだし、プライベートな情報を使わせたいということは多いと思います。 そ
自社における日本語LLMの開発について発表したのは、株式会社サイバーエージェントの石上亮介氏。Weights & Biasesのユーザーカンファレンス「W＆Bカンファレンス」で、開発において得た知見や課題、Weights & Biasesの活用法について話しました。 登壇者の自己紹介とアジェンダの紹介 石上亮介氏：それではサイバーエージェントの石上から、「CyberAgentにおける日本語LLMの開発」というタイトルで発表いたします。 あらためまして自己紹介ですが、私は石上と申します。現在は、サイバーエージェントの基盤モデルプロジェクトのリードを担当しています。 基盤モデルというのは、大規模なAIでさまざまなタスクがこなせるという、いわゆるすごいAIなんですね。今日は特にLLMですね。大規模言語モデルについて、どういう取り組みをしているかをお話しいたします。 サイバーエージェントのLLMの
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、日本マイクロソフト株式会社の坂部氏。LLMアプリ開発における、「Azure OpenAI Serviceリファレンスアーキテクチャ」の活用について発表しました。 登壇者の自己紹介とアジェンダ紹介 坂部広大氏：「Azure OpenAI Serviceリファレンスアーキテクチャからみる、本番システムレベルのLLMアプリに必要な検討項目の解説」というテーマで、日本マイクロソフトの坂部と申します。時間としては25分、お付き合いいただければと思います。それではよろしくお願いします。 （会場拍手） 「このセッションでわかることと、話さないこと」ですね。今回の
Anthropic「Claude 3 Opus」がLLM評価指標「Chatbot Arena」で初めてOpenAI「GPT-4」のパフォーマンスを上回る快挙を達成
2024年3月に発表されたAnthropicの大規模言語モデル(LLM)「Claude 3」は、20万トークンまでのコンテキスト長に対応しているほか、わずか2つのプロンプトから量子アルゴリズムを設計可能との報告も挙がっています。今回、AI研究者が大規模言語モデルの相対的な能力を測定するために使用する「Chatbot Arena」において、Claude 3の上位モデル「Claude 3 Opus」がOpenAIの大規模言語モデル「GPT-4」の性能を初めて上回ったことが報告されました。 Anthropic's Claude 3 replaces OpenAI's GPT-4 as most popular user-rated LLM https://the-decoder.com/anthropics-claude-3-replaces-openais-gpt-4-as-most-popu
ローカルでLLMの推論を実行するのにOllamaがかわいい
ローカルでLLMを動かそうとなったら transformers ライブラリ、llama.cpp、text generation webuiなどいくつかの選択肢があると思いますが、どれもめちゃくちゃハードルが高いというほどではないですが、動かすまでの手続が若干いかつい印象があります。 そんな中で Ollama というツールを試してみたところインターフェイスがシンプル、ついでにキャラクターのラマが可愛いのでご紹介していこうと思います。 ちなみにですが、日本語での言及はあまり見かけなかったですが、LangChain が出してるレポートでは OSS モデルを動かすのに使われているものとしては3番目に多く使われており、 出典: LangChain State of AI 2023 GitHub のスター数も現在約33700とかなり人気を集めていそうです。 Ollama で CLI から推論 では早速
LLMに狙いどおりの動きをさせるために内部で使われているプロンプトエンジニアリングから、LangChainに入門する「プロンプトエンジニアリングから始めるLangChain入門」。ここで大嶋勇樹氏が登壇。最後に、LangChainのモジュールである「Agents」について解説します。前回はこちらから。 LangChainのモジュール「Agents」 大嶋勇樹氏：最後に、一番おもしろいモジュールであるAgentsを見ていこうと思います。質問をまあまあもらっていますが、最後までいってから回答できればと思います。最後に、一番おもしろいのがこのAgentsです。 まずAgentsのモチベーションですが、Indexesを使ってVector Storeを検索する以外にも、LLMが必要に応じていろいろなことをしてくれたら夢が広がると思います。 例えば、必要に応じて知らない知識だったらGoogleで検索し
Transformerという手法は必ずしも万能でも効率的でもない。 むしろTransformerは非効率的だというのが一般的な見解だ。しかし、Transformerには実績があり、実績という壁の前には多少(かどうかわからないが)の非効率は無視される。 他にもHyenaなどもっと効率的と思われる手法が提案されているが、そうした提案の一つがRWKVである。 そもそもなぜTransformerが必要になったかというと、それまで言語モデルに用いられていたRNN(Recurrent Neural Network)は並列処理が難しかったからだ。並列処理が難しい理由は簡単で、言葉というのは過去から未来へ向かって一方向に進むからである。 言語モデルは全て「この文章に続く単語は何か」を予測し、それを連鎖的に繰り返していくが、RNNは単語をひとつひとつ選んでいかないと次の単語を原理的に予測できない。 これを並
地域の病院がオンプレミス環境で大規模言語モデル（LLM）を稼働させ、医療現場の業務で生成AI（人工知能）を利用する――。佐賀県の祐愛会織田病院は2024年4月、これまで利用してきた電子カルテシステムにオプティムが提供する生成AI「OPTiM AI」を組み合わせ、看護師の業務効率を高める実証に乗り出した。織田病院は病床数111床、職員数305人（うち看護師118人）規模の総合病院だ。 織田病院は実証にあたり、米NVIDIAのRTX A2000を搭載したGPU（画像処理半導体）サーバー1台を新たに院内に用意した。LLMの学習や推論に用いるためだ。LLMの稼働状況によって、GPUサーバーの台数やスペックなどを変更する可能性があるという。 オンプレミスでLLMを利用するのはセキュリティーを担保するためだ。電子カルテに記載された個人情報などを病院外に出さないようにする。OPTiM AIのパラメーター
AI同士が教え合い質を高めるMicrosoft開発オープンLLM「WizardLM-2」、外で撮影した動画→実世界3Dゲームに変換するAI「Video2Game」など重要論文5本を解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第43回目は、生成AI最新論文の概要5つを紹介します。 生成AI論文ピックアップ 画像の衣服をキャラクターに着せる生成モデル「Magic Clothing」 撮影した動画を操作可能な実世界3Dゲームに変換するAIモデル「Video2Game」 Metaなど、数百万トークンを入力しても効果的に処理できるAIモデル「Megalodon」開発 Adobeなど、画像4枚から高品質な3Dモデルを1秒以内に生成するAI「MeshLRM」を開発 AI同士が教え合い質を高める、Microsoftの新型オープンソース大規模言語モデル「WizardLM-2」 画像の衣服をキャラクターに着
PyTorchやPythonなしの純粋なC言語を使用した大規模言語モデルトレーニングツール「llm.c」がリリースされる
AIの本体と言える大規模言語モデル(LLM)のトレーニングはほとんどの場合PyTorchやPythonを使用して行われていますが、そうしたトレーニングを純粋なC言語のみで実装したツール「llm.c」が登場しました。まだ最適化が行われておらず従来の手法に速度面では敗北していますが、GPT-2のトレーニングを行う実装を約1000行のクリーンなコードで行えています。 GitHub - karpathy/llm.c: LLM training in simple, raw C/CUDA https://github.com/karpathy/llm.c 作者のアンドレイ・カルパシー氏はOpenAIの創設グループの一員で、テスラのAIディレクターだった事もある人物です。 llm.cを使用することで、245MBの容量を持つPyTorchや107MBの容量を持つcPythonを使用せずに大規模言語モデル
運用保守 ログの保存と活用 API監視 ライブラリ管理 速度性能 GPT-3.5, GPT-4の速度性能の例(Azure) イベントストリームでの対処 可用性 APIの稼働率 クォータ制限 APIの負荷分散による対処 セキュリティ Azure OpenAIのネットワーク構成 コンテンツフィルタリングのアイディア Azure AD認証の実装方法 個人情報関係 個人情報を意識したプロンプト管理 Azure OpenAI Service のデータ保存ポリシー
GitHub - ggerganov/llama.cpp: LLM inference in C/C++
The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide variety of hardware - locally and in the cloud. Plain C/C++ implementation without any dependencies Apple silicon is a first-class citizen - optimized via ARM NEON, Accelerate and Metal frameworks AVX, AVX2 and AVX512 support for x86 architectures 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit,
ユーザープロンプトをLLMが言い換えて、LLM自身が理解しやすくする手法『RaR』 2023/11/13 AI論文解説 LLM プロンプト AIDB Research 本記事では、大規模言語モデル（LLM）に対するユーザーの質問・指示に対する応答の質を向上させる新しい手法「RaR（Rephrase and Respond）」について、論文をもとに紹介します。本研究はカリフォルニア大学ロサンゼルス校（UCLA）の研究者によって発表されています。 「RaR」は、LLMがユーザーの質問を自身が理解しやすい形に自ら言い換える手法で、GPTシリーズ（GPT-4、GPT-3.5）など複数のLLMで効果が確認されています。 RaRの実行プロンプトは比較的シンプルであり、LLMに質問の言い換えと回答を一度に行わせることが可能です。 以下ではRaRの研究背景、理論、実行プロンプト例、実験の内容と結果、デモン
sponsored イラスト感覚で光が“描ける” パナソニックのマイクロLEDを活用した次世代照明がすごい sponsored Core i7-14700KF搭載「LEVEL-R779-LC147KF-TTX」をチェック 性能・コスパで考える、超快適ゲーミングに最適なRTX 4070 SUPERのBTOゲーミングPCがコチラ！ sponsored 大きくて組みやすい、自作erのかゆいところに手が届く細かな配慮にも注目 PC自作慣れしてなくても組みやすいピラーレスケース「CORSAIR 6500X」、iCUE LINKでより簡単に！ sponsored JN-PCY238FHDR180-Hシリーズをレビュー 色鮮やかな180Hz駆動ディスプレーが約2万円台！ゲーム環境にパステルカラーはいかが？ sponsored アプリの乱立、情報システム部の負荷増、セキュリティインシデントを防ぐ kint
インストール不要でLlama 3やMistralなどオープンソースLLMをブラウザで動かせるチャットボット「Secret Llama」が登場
Llama 3やMistral-7Bといったオープンソースの大規模言語モデル(LLM)をサポートし、WebGPUを使ってブラウザ上で完全に動作するチャットボット「Secret Llama」が公開されています。 Secret Llama https://secretllama.com/ GitHub - abi/secret-llama: Fully private LLM chatbot that runs entirely with a browser with no server needed. Supports Mistral and LLama 3. https://github.com/abi/secret-llama 実際にSecret LlamaのデモサイトでLlama 3を動作させて会話してみたところが以下のムービー。 大規模言語モデルを完全にブラウザで動作できる「Secr
Studio Ousiaと理化学研究所に所属している山田育矢です。 この記事では、大規模言語モデル（LLM）の性能を向上させる新しい方法であるLEIA（Lightweight Entity-based Inter-language Adaptation）を紹介します。 LLMは言語によって性能に顕著な差があり、訓練に使われるテキストが最も多い英語において特に性能が高い傾向があることが知られています。LEIAは、LLMが蓄えている英語の知識を他の言語から使えるようにする訓練を施すことで、英語以外の言語でのLLMの性能を向上させる新しい手法です。 この度、英語・日本語の2言語LLMであるSwallowの7Bと13Bのモデルに対してLEIAによる訓練を施して性能向上を行ったモデルを公開します。 ライセンスは、Swallowと同様のLlama 2 Community Licenseです。これらのモ
LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)
LLMの開発は難しい？簡単？Stability AIの現場から (2023/10/11, W&B Fully Connected)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模言語モデル(LLM)をLoRAで強化する際に役立つ情報を研究者が公開
LLM開発のために200万円以上無駄にしたエンジニアの話｜sonodaatom
機械に話しかけて設定できる時代が来る？ なぜ“小規模”なLLMが求められるのか
GoogleがLLMで「非構造化文書」高精度テキスト抽出するOCR『LMDX』発表 | AIDB
ISUCON13にLLM活用担当で参戦しました - LayerX エンジニアブログ
Microsoft社のアーキテクトが説く、LLM実装の最前線 登場から今までを振り返って、予想する未来像
饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました｜Baku
ローコードLLMアプリ開発環境「Dify」を使って、SynologyのNAS上で動くAIチャットを作る【イニシャルB】
LLMの普及で、ますます重要となるベクトルデータの活用 シチュエーション別「Pinecone」の3つのプラクティス
日本語LLMにおけるトークナイザーの重要性 | データアナリティクスラボ
AIエンジニアがいない中でLLMとどう向き合ったか 自社プロダクトへのAI導入で得た、4つの学び
音声・テキスト・画像・音楽の入出力に対応したマルチモーダル大規模言語モデル(LLM)「AnyGPT」が登場
保存した文章を利用する「Indexes」、過去のやりとりを記憶する「Memory」 LLMにできることを拡張する2つのLangChainモジュール
【西川和久の不定期コラム】 日本語にも対応したLLM「Cohere Command R(+)」の実力は？
サイバーエージェントが手がける日本語LLM開発 MLエンジニアが語る「Weights & Biases」の活用
「Azure OpenAI Serviceリファレンスアーキテクチャ」活用の最初の一歩 リリースレベルのLLMアプリに必要な検討項目とは
まるで“LLMがツールを使う”かのように動作する デモから見るLangChainのモジュール「Agents」の使い方
これは衝撃!1.5Bで超高性能LLM!RWKV-5-World-v2｜shi3z
佐賀の織田病院がオンプレGPUサーバーでLLM稼働、電子カルテ情報を生成AIが要約
「富岳」で学習した日本語向け国産AI「Fugaku-LLM」公開
0518LLMmeetup_LLMシステムの非機能要件対応_現場レポート.pdf
ユーザープロンプトをLLMが言い換えて、LLM自身が理解しやすくする手法『RaR』 | AIDB
東大発スタートアップ、67億パラメーターの日本語LLMをOSSで公開
LEIA: 言語間転移学習でLLMを賢くする新しい方法