はじめに GMO NIKKOの吉岡です。 みなさん、生成AIは活用してますか？ ChatGPTに始まり、Claude3やGeminiなど、実用的なAIがどんどん出てきてますね。 自分も使ってはきましたが、課金が気になってしまいます。 これではサービスに組み込むことは難しいですよね。 そのためローカルで動くLLMを追ってきましたが、今年に入って実用的な日本語を返すことができるモデルがいくつか出てきているので、サーバー構成からインストール方法、LLMの起動まで紹介しようと思います。 ローカルLLMを動かす上で一番重要なのはGPUのVRAMです。 LLMは7B、13B、70Bモデルが多いですが、量子化しない場合、必要なVRAM容量は動かすモデルの大体2倍なので、13Bモデルでは26GのVRAMが必要です。 NVIDIAのGPUを使ったCUDAが前提になっているのですが、一般向けでは24Gモデルが
アメリカは中国に対して半導体の輸出制限をかけているため、中国企業はAIの開発に不可欠な高性能GPUを直接入手することが困難です。TikTokの中国親会社であるByteDanceが、この制裁を回避するためにクラウドを通じてNVIDIAのAIチップにアクセスしていると、海外メディアのThe Informationが報じました。 China’s Nvidia Loophole: How ByteDance Got the Best AI Chips Despite U.S. Restrictions — The Information https://www.theinformation.com/articles/chinas-nvidia-loophole-how-bytedance-got-the-best-ai-chips-despite-u-s-restrictions Sino fir
快進撃を続ける米NVIDIA（エヌビディア）。AI（人工知能）半導体であるGPU（画像処理半導体）の行方を占う連載の3回目は、「ポストGPU」と呼ばれる新型のAI向け半導体を取り上げる。この領域はスタートアップを中心に様々な技術が登場している。GPUのボトルネックを狙う最終兵器とは。 ポストGPUの特徴に、今後のニーズを見据えてAIの学習ではなく推論を専用とするスタートアップが多いことが挙げられる。例えば米d-Matrix（dマトリックス）は異なるチップを組み合わせる「チップレット」技術を採用し、最先端GPUの40倍のメモリー帯域幅を実現した。 米ハーバード大学を中退した21歳のコンビが起業した米Etched.ai（エッチドAI）や、米Google（グーグル）で機械学習向けチップ「TPU（Tensor Processing Unit）」を担当していたエンジニアが創業した米Groq（グロック
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Phi-3-Medium】GPU2台構成でローカルLLMを動かす【Ubuntu24】
TikTokはNVIDIAのGPUをクラウドでレンタルして制裁を回避している、中国企業の常とう手段か
新旧34種類のGPU(グラフィックボード)性能を一気に比較!! 気になるベンチマーク結果は？ 【新装第1回/通算第13回】現行世代はこれで一段落。今の勢力図を総まとめ text by 加藤 勝明
胎動する「ポストGPU」、NVIDIAのボトルネック狙う米スタートアップの最終兵器
AMD製GPUでも超解像に対応した「VLC media player 3.0.21」が公開【6月11日追記】／古い動画もAIがキレイに。脆弱性の修正も
「Gaudi 3はNVIDIA GPUを超えるAI性能」とインテル鈴木会長。インテルAI Summit Japanレポート
産業用PCでもNVIDIA GPUやSnapdragon Xがトレンドに
