第288回 人工知能時代には必須か？ 最近、プロセッサに搭載されている「NPU」って何
最近、プロセッサに「NPU」と呼ばれる人工知能（AI）処理に特化したユニットが搭載されるのがちょっとしたブーム（？）になっている。このNPUって、GPUなどと何が違うのか、なぜプロセッサに搭載されるようになってきたのか解説しよう。 プロセッサに搭載されている「NPU」って何？ Intelの最新プロセッサ「Core Ultra」には、人工知能（AI）処理に特化した「NPU」が搭載されている。NPUは、スマートフォン向けのプロセッサにも搭載が進んでいる。ところで、このNPUはCPUやGPUと何が違うのだろうか？ 写真は、Intelのプレスリリース「AI PCの新時代の到来を告げるインテル Core Ultra プロセッサー」のCore Ultraプロセッサーの写真を使って、「CPU」「GPU」「NPU」の文字を載せたもの。 今回のお題は「NPU」である。出だしから注釈になってしまうが、NPUと
1つの大きなLLM（大規模言語モデル）を複数のGPUで力を合わせて動かそう | IIJ Engineers Blog
地方拠点の一つ、九州支社に所属しています。サーバ・ストレージを中心としたSI業務に携わってましたが、現在は技術探索・深堀業務を中心に対応しています。 2018年に難病を患ったことにより、定期的に入退院を繰り返しつつ、2023年には男性更年期障害の発症をきっかけに、トランスジェンダーとしての道を歩み始めてます。 LLM群雄割拠の時代 昨今、ローカルGPUで駆動できるようなLLM（大規模言語モデル）もかなり増えてきて、キャッチコピー的に「ついに我が家にもGPT-4が！」とか言われるようになってまいりました。パラメータ規模で言えば70億～130億(7B-13B)パラメータ、700億(70B)パラメータ、1400億(140B)パラメータあたりのモデルが活発にリリースされているように見受けられます。 大きなモデルをGPU寄せ集めしつつ遊びたい！ しかしながら、コンシュマー向けのGPUにおいては、7B
LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由｜erukiti
もしあなたがLLMを使ったプロダクトを何かしら開発している、もしくは興味があるのなら、メモリを大量に積んだMac Studioの購入を検討すべきです。 対象読者NVIDIAが絶対にいいという人はこの記事の対象読者ではありません。また、用途によって、ローカルマシンによるローカルLLMが向いてる・向いてないは明確にあるので、向いてない用途にしか使わない人も対象読者ではありません。あしからず。 また、この記事は別にNVIDIAをdisる意図はありません。みんな違っていい。NVIDIAもいい選択肢ですが、Mac Studioも悪くないですよ、と言いたい。 結論LLMプロダクト開発において、今年はもはやローカルLLMを無視できない、してはいけない状況です。 LLMプロダクト開発をする会社の視点でいえば、是非とも80GB以上の十分なGPUメモリを積んだマシンを用意できるようなアジリティを持つのが望まし
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場
WebAssemblyとWebGPUを用い、Webブラウザ上でStable Diffusion Turbo全体を高速実行可能な推論エンジン「ONNX Runtime Web 1.17」マイクロソフトから登場 ONNX Runtime WebがWebGPUに対応。Webブラウザ上でさらに高速な推論処理が可能になった。Stable Diffusion Turbo全体をWebブラウザ上で高速に実行可能で、RTX4090を用いた場合1秒以内で結果が出力される。 ONNX Runtime Webの基になっている「ONNX Runtime」はクロスプラットフォーム対応の推論エンジンです。TensorFlow、PyTorch、SciKit Learnなどをはじめとするさまざまな機械学習のモデルに対応し、これらで生成されたモデルによる推論処理をプラットフォームに依存せず実行するランタイムの役割を果たします
inline CUDA - Qiita
目的 HaskellでGPUを扱う場合にはaccelerateなどがありますが、既存のGPUを扱えるC/C++のコードを使ってGPUとやり取りする場合に、直接CUDAのコードを扱いたい場合があります。 現状では、CUDAのファイルを使うワークフローが煩雑です。 cabalファイルはCUDAをサポートしてないので、CUDAのコードをあらかじめMakefileなどを使って事前にビルドし、cabalファイルにそのライブラリのファイルを追加するという流れになるかと思います。つまりcabalだけでビルドできません。 こちらの例ではMakefileでnvccを使ってCUDAのファイルをビルドしてghcでそのファイルにリンクしていると思います。 今回HaskellのコードにCUDAのコードを埋め込み、cabalファイルに特別な変更を入れないでCUDAのコードを扱えるようにし、cabalだけでビルドできる
【令和最新版】対話型AI、ローカル支部最前線レポート - Qiita
こんにちは。LLM転職者のサルドラです。今はPictoriaという会社でAIキャラクターを作っています。 さて、皆さんはChatGPT、使っているでしょうか。 調べものに使ったり、後輩役にしてラバーダック・デバッグに用いたり、ラーメン屋の親父にしたりしていますよね。 ラーメン屋の親父GPT、「命令リセットしろ」も通用しないし、 記憶失いがちな無関係な英語・長文アタックも全く効かん なんやこいつ、化け物か pic.twitter.com/4gYg7zymXB — 刈宮 宥 (@Callimiya) March 8, 2023 今回はChatGPTではなく舞台を移してローカル、つまり自分のパソコンで動かす文章生成AIについて、AIキャラクターを作るという側面からとても浅く話そうと思います。ローカルAIは精度は勿論OpenAIのAPIより低いです。文字通り桁違いの性能の差がありますが、やはり自分
IntelのCPUとNVIDIAのGPUが同一チップに？
現在、最先端の半導体チップを開発・製造・販売するバリューチェーンに大変革が起こりつつあることをご存じだろうか。これまでは異なるメーカーから個別供給されていた半導体チップが、1つのパッケージの中に統合されて供給される時代が到来しようとしているのだ。その背景にあるのが「チップレット」と呼ばれる技術であり、半導体業界の関連企業がこぞって注目している。チップレット技術の概要とその技術的なインパクト、それによってもたらされる近未来を解説する。 米Intel（インテル）のCPU（中央演算処理装置）と米NVIDIA（エヌビディア）のGPU（画像処理半導体）、場合によっては米Qualcomm（クアルコム）の移動通信用ベースバンドチップや韓国Samsung Electronics（サムスン電子）のDRAM（一時記憶向けメモリー）まで――。これまで個別供給されていた別メーカー製の半導体チップが、1つのパッケー
GitHub - mlc-ai/web-llm: Bringing large-language models and chat to web browsers. Everything runs inside the browser with no server support.
| NPM Package | Get Started | Examples | Documentation | MLC LLM | Discord | WebLLM is a modular and customizable javascript package that directly brings language model chats directly onto web browsers with hardware acceleration. Everything runs inside the browser with no server support and is accelerated with WebGPU. WebLLM is fully compatible with OpenAI API. That is, you can use the same OpenAI
待ってました CUDA on WSL 2 - Qiita
最新情報 (2022-06-15 時点) エヌビディアの佐々木です。 2020 年 6 月にこの記事を書いて以来、Windows Insider Preview や NVIDIA ドライバの新しいビルドが出たタイミングなどで記事を更新してきましたが、あちこちに注釈が増えて読みづらくなってきたので、今後はこの「最新情報」セクションに新しい情報を集約しようと思います。あと、更新履歴は記事末尾へ送りました。 私が動作を確認したバージョン Windows のビルド: 22621.1 (Windows 11 バージョン 22H2) NVIDIA ドライバ: 512.95 nvidia-smi コマンドの GPU-Util 欄が "N/A" になってしまう問題は解決！ 実行した NGC コンテナイメージ nvcr.io/nvidia/tensorflow:22.05-tf2-py3 Docker De
GitHub - Idein/py-videocore: Python library for GPGPU on Raspberry Pi
This is work in progress project. Backward compatibility is not guaranteed. PyVideoCore is a Python library for GPGPU on Raspberry Pi boards. The Raspberry Pi SoC integrates Broadcom VideoCore IV graphics core. It has 12 quad processor units (QPU) which is a dual-issue 16 way (4 way pipelined and 4 way true) SIMD processor. Read the following guide thoroughly to study its architecture. VideoCore(R
Accel: GPGPU framework for Rust - Qiita
これはRust Advent Calendar 2017 3日目の記事です 今回は現在開発中であるRustによるGPGPUプログラミングのためのフレームワークAccelを紹介します。 GPUを使った汎用計算の技術(GPGPU)は伝統的なHigh Performance Computing (HPC)業界だけでなく、機械学習等への応用も広がり現代では欠かせない技術です。GPUの利用には大きく分けて３つの段階があります： 高速化されたライブラリを使用する(cuBLAS, cuDNN等) CPU用のコードに僅かな変更を加えてGPUで動くようにする(OpenACC) GPU用のコードを設計・開発する(CUDA) 下に行くほど開発難度が増大します。 最近はOpenACCに力を入ているようで、ごく僅かな変更で大幅な高速化が期待できると宣伝しているのをよく見ます 1。 高速化されたライブラリの使用は基本
GPUでディープラーニングやるならAWSよりFloydHub - Qiita
UdacityのDeep Learning Nanodegree Foundation のコースでFloydHubという便利なサービスが紹介されていました。ディープラーニングのHerokuだそうです。 GPUが使えるプランも月額14ドルからなので、手軽にGPUでディープラーニングを始めることができます。 TensorFlowとKerasがデフォルトですが、他にもPyTorchやChainerなどメジャーなフレームワークはだいたい使えるようになっています。 2017/10/18 追記 この記事を書いた直後に、KaggleのKernelについての記事が投稿されています。Kaggleのデータセットに限って言えば、Kernelを使う方が簡単そうです。 パワーアップしたKernelでKaggleに飛び込もう - Qiita FloydHubのいいところ 起動が簡単 floyd-cliというコマンドラ
OpenACC ディレクティブによるプログラミング by PGI Compilers
コンピューティング環境が、従来の CPU だけで処理される時代から変化しようとしています。電力効率の問題を内在しメモリ帯域幅の制約から「CPU 自体の性能向上」が期待できない中で、GPU や DSP と言った、今まで特殊用途のプロセッサを利用し、汎用的な処理を行うソフトウェア環境が整備されつつあります。ここでは、こうした異種プロセッサを活用する「ハイブリッド・コンピューティング」のソフトウェア環境の一つである、OpenACC (Open Accelerator) の使用法に関して纏めます。OpenACCは、2008 年から PGI が取り組んだ PGI Accelerator Programming Model の考え方を踏襲し、2011 年に新しく標準規格化されたものです。OpenMP のようなディレクティブ・ベース（ソース上に指示行を挿入する形態）のプログラミング手法を採用し、GPU
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
富士通、プログラム処理中でもCPUとGPUを切り替える世界初の技術。GPU不足に対応
GitHub - SamGinzburg/VectorVisor: VectorVisor is a vectorizing binary translator for GPUs, designed to make it easy to run many copies of a single-threaded WebAssembly program in parallel using GPUs
blueqatでは、量子技術をGPUに応用した独自生成AIのLLM(大規模言語モデル)の開発を行います。 by Yuichiro Minato | blueqat
GitHub - arrayfire/arrayfire: ArrayFire: a general purpose GPU library.
GitHub - gpuweb/gpuweb: Where the GPU for the Web work happens!
GitHub - diku-dk/futhark: :boom::computer::boom: A data-parallel functional programming language
Intel、AMD GPUを1パッケージに統合した新CPUを正式発表 ～Core i7-7700HQ+GeForce GTX 1060を上回る性能を実現 - PC Watch
