NEC、130億パラメータで世界トップクラスの日本語性能を有する軽量なLLMを開発
NECは、Generative AI(生成AI)における日本語大規模言語モデル(Large Language Model、以下LLM)を開発しました。 本LLMは独自に収集・加工した多言語データを利用し、NECが開発した汎用的なモデル、いわゆるファウンデーションモデル(注1)です。独自の工夫により高い性能を実現しつつパラメータ数を130億に抑えた本LLMは、消費電力を抑制するだけでなく、軽量・高速のためクラウド／オンプレミス環境での運用が可能となります。性能面では、日本語の知識量や文書読解力を計測する日本語の一般的なベンチマーク(注2)で、世界トップクラスの日本語能力を実現しています。 NECでは本LLMをすでに社内業務で活用を始めており、文書作成や社内システム開発におけるソースコード作成業務など、様々な作業の効率化にも応用しています。 昨今、「ChatGPT」を始めとする生成AIが世界的
ＡＩに炭素排出の死角、開発に大量電力消費－透明性拡大が課題に
人工知能（ＡＩ）はテクノロジー業界で今最も注目を集めている最先端分野であり、小売りから医薬品までさまざまな業界に革命的変化をもたらすと予想されている。しかし新たなチャットボットや画像生成ＡＩの開発には多くの電力が必要であり、このためＡＩは温暖化ガスの大量排出と増加の責任の一端を問われる可能性がある。 チャットボット「ChatGPT」を開発したオープンＡＩやアルファベット傘下のグーグル、マイクロソフトはいずれもＡＩアルゴリズムのトレーニングやタスク実行の学習を支援するためのデータ分析でクラウドコンピューティングを活用しているが、このクラウドコンピューティングは大型データセンターのサーバー内にある多数の半導体に頼っている。 ChatGPTの成功を受け、他社も競って自社製ＡＩシステムやチャットボットを発表したり、大型ＡＩモデルを用いてインスタカートやスナップチャートのユーザーなどに機能を追加する
Falcon LLM
Falcon was built using custom tooling and leverages a unique data pipeline that can extract high-quality content out of web data and use it for training a custom codebase, independent from the works of NVIDIA, Microsoft, or HuggingFace. A particular focus was put on data quality at scale. LLMs are notoriously sensitive to the quality of their training data, so significant care was taken in buildin
GitHub - guidance-ai/guidance: A guidance language for controlling large language models.
Note that v0.1 is a dramatically new version developed while releases had to be paused over the summer. If you are looking for the old version based on handlebars, you can use v0.0.64, but you should instead try porting over to the much better new version :) guidance is a programming paradigm that offers superior control and efficiency compared to conventional prompting and chaining. It allows use
GB Tech Trend #089: 自分の記憶をチャットで聞ける「Rewind AI」ChatGPT連携で急成長中
GB Tech Trend #089: 自分の記憶をチャットで聞ける「Rewind AI」ChatGPT連携で急成長中2C向けAIスタートアップとして一抜けしそうな可能性を見せてくれます。 執筆: Universe編集部 今週の注目テックトレンド GB Tech Trendでは、毎週、世界で話題になったテック・スタートアップへの投資事例を紹介します。 誰もが望む「記憶のライブラリー化」を実現するスタートアップに注目が集まっています。 Rewind AIは、ユーザーのPC検索情報と音声マイクから録音された情報を蓄積・分析をした上で、ユーザーが過去にどんなことを調べて、どんなことにインスピレーションを得たのかを後で検索できるサービスです。GPTと連携した「Ask Rewind」が特徴的で、チャット形式で尋ねることで自分が行ったことについて記憶を呼び起こしたり、正確なキーワードを覚えていなくても
GitHub - zylon-ai/private-gpt: Interact with your documents using the power of GPT, 100% privately, no data leaks
Install & usage docs: https://docs.privategpt.dev/ Join the community: Twitter & Discord PrivateGPT is a production-ready AI project that allows you to ask questions about your documents using the power of Large Language Models (LLMs), even in scenarios without an Internet connection. 100% private, no data leaves your execution environment at any point. The project provides an API offering all the
GitHub - eosphoros-ai/DB-GPT: AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents
The architecture of DB-GPT is shown in the following figure: The core capabilities include the following parts: RAG (Retrieval Augmented Generation): RAG is currently the most practically implemented and urgently needed domain. DB-GPT has already implemented a framework based on RAG, allowing users to build knowledge-based applications using the RAG capabilities of DB-GPT. GBI (Generative Business
rinna、日本語に特化した36億パラメータのGPT言語モデルを公開
rinna株式会社（本社：東京都渋谷区、代表取締役：ジャン“クリフ”チェン、以下rinna）は、日本語に特化した36億パラメータを持つ汎用言語モデルと対話言語モデルの2種類のGPT言語モデルをオープンソースで公開したことを発表いたします。 ■ 背景 rinnaは「人とAIの共創世界」をビジョンに掲げ、人と人との間にAIが介在することによる豊かなコミュニケーションを通して、すべての人が自分らしい創造性を発揮できる社会の実現を目指しています。このビジョンの実現に向けて、AIりんなをはじめとしたAIキャラクターと人のテキスト・音声・画像を介した新しいコミュニケーションの形を提供してきました。また、誰もが気軽にAIを使える世界を目指す「AIの民主化」という考え方に共感し、研究成果を積極的に発表・公開してきました。これまでに日本語に特化したGPT・BERT・HuBERT・CLIP・Stable Di
オープンなLLMをDockerで動かす
次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容
サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―
株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので
LLM 4bit 量子化ライブラリ(CPU, GPU)のメモ(2023/05 時点)
LLM モデルを 3090(24GB) ちゃん x 1 でファインチューンしたい... iPhone とかで動かしたい... 8bit ではまだまだ大きい... 4bit(or 3bit とかも!)で処理したい. LLM では, outlier(外れ値)考慮し適切に量子化したほうが性能が出る場合もありますので, 4bit にしたら必ずしも精度が減るわけではないのです! 2023/05 時点で使える 4bit 量子化ライブラリを調べました. bitsandbytes(4bit 対応 2023/05/22 時点で開発中) 古参(?)の LLM 向け 8bit 量子化ライブラリです. CUDA only です(ROCm 対応も始まっているようであるが) huggingface transformers に組み込まれていますが, コードが汚すぎ + 実行時 .so ロードという仕組みなので運用がめ
Google Colab で MPT-7B を試す｜npaka
「Google Colab」で「MPT-7B」を試したので、まとめました。 【注意】「MPT-7B」を実行するには、「Google Colab Pro/Pro+」のプレミアムが必要です。 1. MPT-7B「MPT-7B」は、「MosaicML」が開発した、テキストとコードの1Tトークンでゼロから学習したLLMです。オープンソースで、商用利用可能で、LLAMA-7Bと同等の品質を持ちます。約20万ドル、人間介入なし、9.5日間、MosaicMLプラットフォームで学習しています。 現在、以下のモデルが提供されています。 ・MPT-7B (ベースモデル) ・MPT-7B-StoryWriter-65k+ ・MPT-7B-Instruct ・MPT-7B-Chat 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) メニュー「編集→ノートブックの設定」で、「ハードウェアア
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
blueqatでは、量子技術をGPUに応用した独自生成AIのLLM(大規模言語モデル)の開発を行います。 by Yuichiro Minato | blueqat
InfraCopilot, a Conversational Infrastructure-as-Code Editor
GitHub - keyvank/femtoGPT: Pure Rust implementation of a minimal Generative Pretrained Transformer
GitHub - zjunlp/KnowLM: An Open-sourced Knowledgable Large Language Model Framework.
GitHub - kuleshov-group/llmtools: Finetuning Large Language Models on One Consumer GPU in Under 4 Bits
GitHub - IBM/Dromedary: Dromedary: towards helpful, ethical and reliable LLMs.
GitHub - glgh/awesome-llm-human-preference-datasets: A curated list of Human Preference Datasets for LLM fine-tuning, RLHF, and eval.
GitHub - FlowiseAI/Flowise: Drag & drop UI to build your customized LLM flow
