最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公
Zodスキーマでプロンプト生成を行い構造化データを自由自在に扱えて、LLMプロダクト開発が圧倒的に効率化した話 - Algomatic Tech Blog
最近はAIエンジニアを名乗ってるerukitiです。フロントエンドもバックエンドも、LLMを触るあれこれもやってるので、「AIエンジニア」くらいを名乗るとちょうどよさそうだなと思ってます。いずれLLM自体の開発なんかもやってるかもしれません。 LLMプロダクトを開発していると、構造化データを作りたいのに、Anthropic ClaudeのAPIにはJSONモードが無いことや、なんならJSONモードやfunction callingを使っても、データが正しい形式に従ってることは保証しがたい、みたいな自体に遭遇することがあります。 JSONが出力できたとしても、構造化データをうまく吐き出させるのは難しいものです。文字列を出力させたいけど、複数あるときは、配列なのか、それともカンマ区切りなのか？項目がオプショナルの場合はどうするか？項目が存在しない、空文字や 0 や undefined や nu
はじめに 「ゼロからLLMつくりたいなー」と思っていますが、なかなか時間がとれないので、いざというとき（？）のために、参考になりそうなサイトをまとめておきます。 個人的な備忘録です。まだ全然作れていないので、どれが良いという評価もできません。 NLP2024チュートリアル 良さそう。 NLP2024-チュートリアル３-作って学ぶ 日本語大規模言語モデル Neural Networks: Zero to Hero Andrej Karpathyさんの動画。英語ですが、すごい良さそう Llama Llamaの情報 GENIAC その他 LLaVA(画像系） 環境構築 モデルマージ まとめ LLMに限らず、何かをゼロから小さく作ってみるのは、回り道のようで理解を深める最短経路と思っています。すぐ効果があるようなものではないですが、こういうのはまとめて取り組んでいきたいですね。 日本語の良い書籍が
これは2018年発売の私の本「エンジニアの知的生産術」の序文と目次です。LLM技術が発展して文章の理解や生成が機械によって強力に加速している2024年現代の視点で見返してコメントしてください。
あれから進化的マージの試行錯誤を繰り返していたが、ついに相当性能が高そうなモデルが生まれた。 Umievo-itr012-Gleipnir-7Bである。 umiyuki/Umievo-itr012-Gleipnir-7B · Hugging Face ElyzaTasks100の平均スコアは3.91に達して、ついにGPT-3.5Turboのスコア（3.88）を上回ってしまった。 ただし、スコアが上回ってるからと言って性能が勝ってるというわけではない事に注意して欲しい。例えるなら、身長が高いからと言って強いわけではないみたいな話である。 前回の記事では少し誤解を招く書き方だったかもしれないが、そもそも7Bの小型日本語LLMなんてのは基本的にドアホである。間違ってもChatGPTの代わりに使えるなんて考えてはいけない。 とは言うものの、単なるドアホではスコア3.91なんて取れないという事もまた
AIの仕組みであるLLMの「ブラックボックス」の内部を見てどのニューラルネットワークが特定の概念を呼び起こすかを知る試みをAnthropicが解説
チャットAI「Claude」などを開発するAI企業「Anthropic」がAIモデルの内部動作について、何百万もの概念がどのように表現されているかという研究結果を報告しました。 Mapping the Mind of a Large Language Model \ Anthropic https://www.anthropic.com/research/mapping-mind-language-model AIモデルの本体である大規模言語モデル(LLM)の出力はブラックボックスとして扱われており、入力に対応して出力が行われた時になぜその特定の応答が出力されたのかは不明となっています。そのため、モデルが有害・偏見・ウソなどの危険な出力をしないことを信頼するのは難しいものです。 Anthropicは以前よりLLMの内部についての研究を行っており、2023年10月には「特徴」単位でまとめるこ
LLMエージェントの設計16パターン | AIDB
LLMエージェントの設計は課題が多い上に分類が整理されていません。なお課題としてはハルシネーション（誤った情報の生成）の存在や推論の道筋が不明瞭な点などが挙げられています。 今回研究者らは、基盤モデルを使ったエージェントの設計パターン16種類をまとめました。例えば、エージェントが目標をどうやって設定するか、計画をどう作るかについての情報が記載されています。 参照論文情報 タイトル：Agent Design Pattern Catalogue: A Collection of Architectural Patterns for Foundation Model based Agents 著者：Yue Liu, Sin Kit Lo, Qinghua Lu, Liming Zhu, Dehai Zhao, Xiwei Xu, Stefan Harrer, Jon Whittle 所属：Dat
既存の LLM コード生成の問題 LLM は行カウントやワードカウントが苦手。 例えば自分は SourceMap を扱うコードのテストを書かせようとしたが、モックデータの line:column がガバガバな位置を指してまともにテストにならない。行カウント/ワードカウントができないのはつまり diff がうまく生成できない。 これらの問題があって、コードを生成するパイプラインを組む場合、 全文出力が主流になっている。 ここで何が問題になるかというと、コードが膨らんで来た時に、(書き変える対象が一部だとしても)生成が顕著に遅くなる。うまく生成できなかった時にリトライを繰り返すと、問題がさらに悪化する。 改善手法の提案: 明示的な Line Number の付与 最近の LLM は入力ウィンドウがある程度大きくても、そこそこの速度で応答する。(お金はかかるが...) 問題は生成速度にある。特に
はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
LLMにまつわる"評価"を整理する
「LLMの評価」というフレーズを見て、どんなことを思い浮かべるでしょうか？ おそらく大半はLLMモデル自体の評価のことを思い浮かべると思います。新しいモデルが出てきた時に𝕏で見かける「GPT-4o のMMLUベンチマークは89%!」みたいなアレ。 ですが、プロダクト開発にLLMを使っている人の間では、プロンプト等が十分な品質を出しているかの確認などにも評価という言葉を使っていることは多いのではないかと思います。 うまい具合に後者を区別するためにいい感じの呼び名を付与したい気持ちがあるのですが、英語圏での例を見てみるとシンプルに"Evals"と呼んでることもあれば Evaluating LLM System Evaluating LLM-based Applications などなど表現の仕方は様々になっています。 そしてそのプロダクト開発文脈での評価も、実態としてはオフライン評価やオンラ
注意: Modelfile の構文は開発中です。モデルファイルは、Ollamaでモデルを作成・共有するための設計図です。おススメ記事フォーマットModelfile のフォーマット:# コメントINSTRUCTION 引数インストラクション説... モデルプロバイダーの追加 モデルタイプを選択: 「ollama」を選択します。 必要な情報を入力: モデル名: llm-jp-13b-v2 Base URL: http://host.docker.internal:11434 Completion Mode: 「Chat」 モデルコンテキストサイズ: 4096 最大トークン数の上限: 4096 Vision Support: 「No」を選択 ワークフローの作成 4人のエージェントのシステムプロンプトを設定: 楽観的AI研究者、慎重派経済学者、AIジャーナリスト、倫理学者の4人のエージェントを作成
中国製GPUで学習した純中国製LLM「MT-infini-3B」が「Llama3-8B」を超える性能を示し中国単独で高性能AIを開発できることが明らかに
中国に拠点を置くGPUメーカーの「摩爾線程(Moore Threads)」が、自社製GPUを用いて大規模言語モデル「MT-infini-3B」を開発したことを発表しました。MT-infini-3BはNVIDIA製GPUを用いて学習した大規模言語モデルと同等以上の性能を備えているそうです。 摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成 | 摩尔线程 https://www.mthreads.com/news/171 アメリカ政府は中国によるAI研究を軍事上の脅威と捉えており、中国に対して高性能半導体の禁輸措置を実施しています。このため中国ではNVIDIAやAMD、Intelなどが開発しているAI研究用チップの開発が困難となっています。 そんな中、Moore Threadsは2023年12月に独自開発のAI研究用GPU「MTT S4000」を発表しま
「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？ 日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま
「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入すると失敗に？ 日本語特化のELYZA・曽根岡CEOに聞く、LLM開発＆活用のいま（1/2 ページ） GPT-3.5 Turboと同水準の日本語特化型LLMを開発したELYZA。4月にはKDDIグループの傘下となり、注目を集めている。日本語性能トップクラスのLLMをどう作っているのか。KDDI傘下になったのはどんな狙いが？ LLM活用でいま注目のポイントは？ 気になることを、曽根岡侑也CEOにインタビューした。 「ChatGPTがやってることを全部やりきった」 3月に発表した700億パラメータモデル「ELYZA-japanese-Llama-2-70b」は、OpenAIの「GPT-3.5 Turbo」やGoogleの「Gemini 1.0 Pro」に匹敵する日本語タスク処理性能を備える。性能向上をどのように実現したのか。
こんにちは AIチームの戸田です 今回は先月スタンフォード大学が発表した新しいParameter-efficient fine-tuning（PEFT）のReFTを試してみたいと思います。 PEFT PEFTはLLMのような大規模な事前学習済みのニューラルネットワークのモデルを、効率的にfine-tuningする手法の総称です。モデル全体ではなく一部のパラメータだけを更新することで計算コストを大幅に削減できる上に、Full fine-tuning(モデル全体を学習)するのと同等の性能を達成することができると言われています。代表的なものにLow-Rank Adaptation（LoRA）が挙げられます。 ReFT Representation Finetuning (ReFT)は、LoRAとよく似たPEFT手法です。違いは、LoRAがモデルの重みを部分的に更新するのに対し、ReFTはモデルの
AIスタートアップ企業のストックマーク（東京都港区）は5月16日、1000億パラメータ規模の大規模言語モデル（LLM）を開発したと発表した。「Stockmark-LLM-100b」と名付けられたこのLMは、同社がフルスクラッチで開発したものでハルシネーション（AIがもっともらしいうそをつく現象）を大幅に抑えているのが特徴という。 同社は「公開されている既存のLLMモデルを用いずに、当社がフルスクラッチで開発した独自のLLM」と説明。独自に収集したビジネスドメインの日本語データを中心に事前学習させているため、日本語やビジネスドメイン、最新の時事話題に精通しているとしている。 ハルシネーションを抑えるため、答えられない質問には無理に回答せず「分からない」と答えるという。同社は「厳密さが求められるビジネスシーンにおいても信頼して活用できるモデルの開発に成功した」とし、独自LLMの性能をアピールし
スーパーコンピューター「富岳」を用いて学習した130億パラメータの大規模言語モデル「Fugaku-LLM」が2024年5月10日(金)に公開されました。Fugaku-LLMは既存の大規模言語モデルに頼らず独自の学習データを用いて学習しており、既存の日本語特化大規模言語モデルと比べて高い性能を発揮することがアピールされています。 スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待 | 東工大ニュース | 東京工業大学 https://www.titech.ac.jp/news/2024/069217 スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 : 富士通 https://pr.fujitsu.com/jp/news/2024/05/10.html Fugaku-LLMは2
NTT東日本のデータサイエンティストがKaggleコンペティション「LLM Prompt Recovery」で金メダルを獲得し、Kaggle Masterへ昇格 | NTT東日本
News Release東日本電信電話株式会社 2024年5月17日 NTT東日本のデータサイエンティストがKaggleコンペティション「LLM Prompt Recovery」で金メダルを獲得し、Kaggle Masterへ昇格 NTT東日本のデータサイエンティスト森田 大貴（もりた だいき）を含むチームが、世界的なAIのデータ分析コンペティションプラットフォーム「Kaggle（カグル）」※1で開催された「LLM Prompt Recovery」※2（以下、本コンペティション）において、全2,175チーム中12位に入賞し、金メダルを獲得しました。 これにより、森田社員は「Kaggle」コンペティションに参加している約20万人のユーザーの中で上位約1％に相当する「Kaggle Master」※3の称号を獲得しました。 1. 本コンペティションについて 「Kaggle」は、世界中のAIエンジ
『OpenAI GPT-4V／ChatGPT／GPTs 人工知能プログラミング実践入門』著者の布留川氏は、登壇時点までのOpenAIの最新情報と、最新技術情報のキャッチアップ術について話しました。全4回。前回はこちらから。 「LangChain」と「LlamaIndex」の違い 布留川英一氏：OpenAIの新機能を話したので、次にLangChain 0.1とLlamaIndex 0.10について話そうかと思います。今回のOpenAI本にはこのLangChainとLlamaIndex（の話題）は入れませんでした。その1個前の本にはLangChainとLlamaIndexは入っていたんですが、今回の本には入れられませんでした。 年末ぐらいにLangChainとLlamaIndexの大規模アップデートがありました。より実用的なLLMアプリケーションを作るために大規模アップデートがあったので、本に
LLM-as-a-Judgeとは LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出力をエンドユーザーに提示してしまうかもしれません。 LLMの出力を評価して、出力が適切でないことを判定できれば、ユーザーには表示しない、出力を再度行わせる（出力をLLMに修正させるのもよいでしょう）というようなことができるようになります。 ただし、LLMのすべての出力を人が評価していたのでは、手が回りません。 そこで、注目されているのが、LLM-as-a-Judgeと呼ばれるLLMにLLMの出力を評価させる手法（以後、単に評価と呼ぶ）です。 評価にLLMを使えば、出力をすぐに評価し、評価結果をアプリケー
複雑な表をLLMに理解させる｜ナッピー通信
はじめにGPT-4o、Gemeniのマルチモーダルが進化したとXで話題になっています、路線図が読み取れた、もえないごみはダメだとXで話題になっています GPT-4o、視覚能力すごい‥‥ 人間でも認識困難な東京の路線図を把握して最短経路を提案してくる pic.twitter.com/ONA2b24Hyb — 大佐 | AIオタク (@wasedaAI_taisa) May 25, 2024 路線図の方はLLMの学習時に情報を持っていて、与えられた画像が路線図だと認識した可能性が高そうです。もえないごみの収集のようにLLMには未学習の内容を答えさせるにはどうしたら良いかを考えてみたいと思います。 ユースケースを考える単にデーター化しますだとどのようにするのか難しいので、今回はごみの収集日をAIに答えさせるというシチュエーションで行きます。 山田さんは、諫早市西郷に住む会社員、会社にいる時にごみ
概要 背景・目的 関連研究 事後学習を通じた知識の獲得 未知の知識をどう定義するか 実験 ある情報がLLMにとって新知識であるかの確認 QAデータセット 実験の設定 結果 自作したQAデータセットでの結果 相対的な汎化性能（定量） 相対的な汎化性能（定性） 考察 未知の知識の定義の難しさ ハルシネーションの対策の難しさ 今後の発展 DROBEで機械学習エンジニアをしております、藤崎です。 概要 大規模言語モデル(LLM)に未知の知識を獲得させることができるかを検証しました。 LLMにとっての未知の知識はモデルの重みがリリースされた日付以降に公開された、ファッションドメインにおける商品の価格や規格の詳細情報としています。 その結果、ドメインの難易度が低く、使用者の専門性が高いようなユースケースにおいて、LLMを活用することは可能だと判断できました。 ただし、未知の知識の定義の難しさやハルシネ
中国AIが加速。Soraに匹敵する中国の動画生成AI「KLING」、中国アリババの最新オープンLLM「Qwen 2」登場など生成AI関連技術5つを紹介（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間分の生成AI関連論文の中から重要なものをピックアップし、解説をする連載です。第50回目は、生成AI最新技術の概要5つを紹介します。 生成AI論文ピックアップ Soraに匹敵する動画生成AI「KLING」登場。中国のショート動画アプリ開発チーム「快手」が手がける アリババグルーブが開発するオープンソースな大規模言語モデルの新バージョン「Qwen 2」登場 ラベルなし静止画の学習だけ、ビデオ内の動く物体を検出・追跡できるモデル「MASA」 相手が話している適切なタイミングで同時翻訳するAIモデル「StreamSpeech」 OpenAIが大規模言語モデルの中身を理解するモデルを発表。GPT-4の中身は1600万の特徴を持つ Soraに匹敵する動画
エンジニアゼロの組織から内製開発の DX をどう実現したのか / How did we achieve DX in in-house development in an organization with zero engineers?
2024年5月8日のHPC研究会で使用したスライドです。 https://www.ipsj.or.jp/kenkyukai/event/hpc194.html
東京工業大学、東北大学、名古屋大学、理化学研究所、富士通、サイバーエージェントおよびKotoba Technologiesからなる共同研究チームは、2024年5月10日、スーパーコンピューター「富岳」を用いて学習した、日本語能力に優れた大規模言語モデル（LLM）「Fugaku-LLM」を公開した。 Fugaku-LLMは、富岳で効率的にLLM学習するための研究成果として開発され、日本語を中心とした独自データで学習させた、130億パラメーターのLLM。開発者・研究者向けにGitHubでソースコードが、Hugging Faceでモデルが公開され、ライセンス内においては、商業および研究目的でも利用できる。 共同研究の全体統括を担った東京工業大学の学術国際情報センター 教授である横田理央氏は「海外製のGPUに頼らずに、国産のハードウェアで、さらに国産のモデルを一から開発した、純粋な国産LLMはFu
LLM に表データを読み解かせたかったので、ちょっと試してみた | CyberAgent Developers Blog
AI事業本部 協業リテールメディア Div. の青見 (@nersonu) です。2023年11月に中途で入社したため、5月でようやく入社半年を迎えました。社内 Slack の times で有給休暇が付与されて喜んでいる(？)様子を御覧ください。 有給休暇に喜ぶ筆者 そんな社歴半年のペーペーですが、普段は機械学習エンジニアと強い気持ちで名乗ってお仕事をしています。特にうまい繋ぎも思いつかないので、記事の本題に入りましょう。 近年、 LLM に関する話題は尽きることはありません。研究領域やビジネス領域といった概念にとらわれず、わたしたちの生活のすぐそばで、今まさに違和感が少しずつ取り除かれながら社会に溶け込んでいっていると感じます。そんな LLM ですが、自然言語というデータの枠に収まらず、様々なタスクへの適用の試みが日夜行われています。そんな挑戦的な数多あるトピックの中から「表形式データ
はじめに こんにちは。ELYZA のML Engineeringチームの堀江 (@eemon18)、村山 (@zakktakk)です。 本記事では、弊社が2024/03/11にリリースした下記のデモについて、どのように70Bという巨大なモデルをホスティングしているのかを解説します。 まだデモを直接触れたことがないという方はぜひ一度以下のURLからアクセスし、140GBを超えるバイナリファイルからなるモデルがどのくらい高速に動作するのかを確かめてみてください。 本記事ではまず弊社推論アーキテクチャについて説明し、その後70Bを運用する際の技術選定や高速化の工夫について解説します。 推論アーキテクチャ 弊社のLLMアプリケーションのアーキテクチャは、平易に表すと以下の図のように構成されています。LLMの推論処理には時間がかかるため、アプリケーションと推論インスタンスはメッセージキューを介して非
対話型の生成AI（人工知能）「ChatGPT」の登場から早1年半が経過した。生成AIブームともいえる状況はいまなお続いているが、そうした中で競争優位性を確保しようとビジネスでの活用に取り組む企業が着実に増えている。特徴的なのが社内データとの連携などにより、業種や自社の業務に合わせて生成AIを活用する「特化型」の動きだ。「素」のAIモデルを利用するのではなく、企業の「身の丈」に合うような工夫を施したうえで活用する方向に進み始めているのだ。 「銀行の基幹業務に生成AIを活用するうえで、出力の精度を高めるために社内データが役立った」。こう語るのは、ふくおかフィナンシャルグループ（FFG）の武重太郎DX推進本部副本部長だ。FFGは2024年5月に、銀行の基幹業務の1つである融資支援で、生成AIの活用を一部店舗で開始した。 「AI＋人力」の方が「早くて、ウマい」 生成AIを活用するのは融資案件の決裁
PDFをLLMで解析する前処理のパーサーは何が良いのか？（pdfminer, PyMuPDF, pypdf, Unstructured） - Qiita
PDFをLLMで解析する前処理のパーサーは何が良いのか？（pdfminer, PyMuPDF, pypdf, Unstructured）PythonpdfminerPyMuPDFpyPDFUnstructured 現状の LLM は PDF ファイルを直接処理出来ない為、予めなんらかのプレーンテキスト形式に変換する必要があります。 （PDFを読める各チャットアプリも内部的には何らかの手段でプレーンテキスト形式に変換しているはずです） 変換を行ってくれるライブラリは複数存在する為、動作の違いを確認します。 抽出プログラム 抽出する対象のPDFファイルはBedrockユーザーガイドの日本語版を使います。
LLMでSnowflakeのSQLを最適化、クラウド費用を最大8割削減するEspresso AIが登場——シードで1,100万米ドル調達も - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Image credit: Espresso AI シリコンバレーの AI スタートアップ Espresso AI は、現在企業コンピューティングにおけるおそらく最大の課題であるクラウドコストの高騰抑制に AI の力を導入するため、1,100万米ドル以上のシード資金を調達した。この資金調達には、Daniel Gross（ダニエル・グロス）氏と Nat Friedman（ナット・フリードマン）氏がリードしたシードラウンドと、FirstMark の Matt Turck 氏がリードしたプレシードラウンドがあり、業界のリーダーたちも参加している。 7日にステルス状態から抜け出した同社は、高度な言語モデルと機械学習を使ってコードを自動的に最適化し、クラウドの計算コストを最大80％削減する技術を開発した。最初の製品は、人気のクラウド・データウェアハウス・プラットフォーム「Snowflake」の SQ
GitHub - XiongjieDai/GPU-Benchmarks-on-LLM-Inference: Multiple NVIDIA GPUs or Apple Silicon for Large Language Model Inference?
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
大規模言語モデル（LLM）において、メモリ使用量の効率化は非常に重要です。特に長文処理を行う場合です。モデルに入力するコンテクストが長くなるほど、メモリ消費量も増加します。 プロンプトに入力する文字数（Token数）と必要メモリについて計算したメモ📝 精度との兼ね合いですが、長文扱うときは、mistral-v0.1圧倒的にコスパ良い pic.twitter.com/Nqn5SXDZ9u — AI𝕏サトシ⏩ (@AiXsatoshi) May 27, 2024 Mistral-7Bは、v0.1では、約4K tokensのSliding window attention(SWA)にて、コンテクスト長に消費されるメモリを低減しました。しかし、性能への影響からと考えますが、v0.2以降のアップデートで、SWAは排除されています。入力トークンを絞ることでメモリ容量を低減すれば、当然複雑性や表現力
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 米OpenAIが「ChatGPT」の投入で口火を切った生成AIによる新時代の開拓競争は、Googleによる「Bard」投入などで市場がさらに激化している。蚊帳の外にいるのが日本のIT企業だ。さしたる対抗策を打ち出せない中、NTTやNECが異なる切り口から取り組みを進めている。 それが、小規模な大規模言語モデル（LLM）の開発だ。「GPT-3」は1750億とされるパラメーター数を持つところで、NECやNTTはかなり小さい規模のLLMを開発している。NECの「cotomi」は130億パラメーター、NTTの「tsuzumi」は70億パラメーターおよび6億パラメーターの2種類を提供している。 日本企業が提供するLLMは、企業のオンプレミス環境と
はじめに Chrome 126からローカルで使えるLLM Gemini Nanoが使えるようになりました。 本記事では実際に使ってみようと思います。 前準備 まずはChrome Release ChannelsにてDev channelのChromeをインストールします。 インストールできたら下記機能を有効にします。 Enables optimization guide on device: Enabled BypassPerfRequirement Prompt API for Gemini Nano: Enabled 次に、LLMのダウンロードが必要のため、 chrome://components/にアクセスし、Optimization Guide On Device Modelのアップデート状況を確認します。 まだダウンロードされていない場合は、アップデートを確認ボタンでダウンロード
LLM でブラウザを操作する WEB エージェントと周辺技術のざっくり紹介 - Algomatic Tech Blog
こんにちは。Algomatic NEO(x) カンパニー機械学習エンジニアの宮脇（@catshun_）です。 本記事ではブラウザやモバイル画面を操作する LLM エージェントとその周辺技術について超ざっくりと紹介します。 社内に向けたキャッチアップ資料として作成しており、加筆修正する可能性がありますが、本記事を読んだ方の議論のネタ程度になってくれれば幸いです。 以前 AI ソフトウェアエンジニアについて紹介しているので、こちらもご覧いただけたら幸いです。 おことわり 本記事では対象とする研究棟の 詳細な解説は含みません。詳細は元の論文を参照ください。 不十分また不適切な言及内容がありましたらご指摘いただけますと幸いです。 プロダクト等の利用時は 必ずライセンスや利用規約を参照して下さい。 本記事の目次 Google I/O '24 での Gemini Nano × Android の発表
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【西川和久の不定期コラム】 初心者も簡単！ついにPCで104BのLLMも動かせるようになった！そして巷を騒がせるマルチモーダルも試した
話題のLLMローコード構築ツールDifyをAWSのマネージドサービスで構築してみた - エムスリーテックブログ
ゼロからLLMつくりたくなったときに参考になりそうなサイト
)
LLMを使いこなすエンジニアの知的生産術(講演資料) - 西尾泰和のScrapbox
最近の7B小型日本語LLMはエージェントになれるのか？
ローコードLLMアプリ開発環境「Dify」を使って、SynologyのNAS上で動くAIチャットを作る【イニシャルB】
LLM にコードを「差分」で書き換えさせるためのアイデア
GPT-4oとPhi-3でLLMとSLMの双方を取り込むMicrosoftのAI戦略
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
DifyとローカルLLMを使用して複数のエージェントを設定して議論する方法 - Sun wood AI labs.2
高効率のLLM学習手法ReFTを試してみる | 株式会社AI Shift
1000億パラメータのLLM、AIスタートアップが公開 フルスクラッチで開発 「ハルシネーションを大幅抑止」
スパコン「富岳」で学習した日本語特化大規模言語モデル「Fugaku-LLM」が公開される
実用的なLLMアプリケーションを作るための大規模アップデート 「LangChain 0.1」「LlamaIndex 0.10」になって変わったこと
LLMによるLLMの評価（LLM as a judge）の精度改善のための試行錯誤〜評価分割・モデル間比較
ファッションドメインにおけるLLMの未知の知識獲得可能性 - DROBEプロダクト開発ブログ
LLM評価の落とし穴~開発者目線で気をつけるポイント~
大規模言語モデル (LLM)における低精度数値表現
富岳で学習した“純”国産LLMが、GitHub・Hugging Faceで無償公開
ELYZA LLM for JP (デモ版)についての解説: (1) 70Bモデルの推論基盤
ふくおかFGが融資業務向け生成AIで3割超の時間削減、独自LLM構想も
Kenn Ejima on X: "LLMはチャットUIの誕生でブレイクスルーを起こしたが、今はチャットUIに呪われている。 2022年末にChatGPTが誕生し、史上最速で10億人が使うサービスになったことは記憶に新しい。 しかし、その後は急速に飽和し、GPT-4ローンチ後はずっと15億前後で停滞している。 https://t.co/N7mDwzbwyb" / X
ローカルLLMの長文推論、メモリ使用量を節約する方法:KVキャッシュの量子化｜AIサトシ
NECやNTTが取り組む小規模LLMの開発--見いだした勝機の内容
Chrome内蔵LLM Gemini Nanoを使ってみた