アメリカ商務省が、早ければ2023年7月中にも、NVIDIAを始めとする半導体メーカーによる中国へのチップ輸出を停止する予定であると、Wall Street Journalが報じました。 U.S. Considers New Curbs on AI Chip Exports to China - WSJ https://www.wsj.com/articles/u-s-considers-new-curbs-on-ai-chip-exports-to-china-56b17feb 事情に詳しい関係者がWall Street Journalに話したところによると、今回の輸出規制は2022年10月に発表された輸出規制措置を成文化し、対象を拡大する最終規則の一部になるとのこと。この規則は、NVIDIAとAMDの最先端チップの供給が遮断されたことに引き続き、中国のAI構築能力をさらに低下させること
「Llama.cpp」のHTTPサーバー機能を試したのでまとめました。 ・Mac M1 1. モデルの準備今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。 ・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-16K-GGML ・TheBloke/vicuna-13B-v1.5-GGML ・TheBloke/vicuna-13B-v1.5-16K-GGML 2. ローカルPCでの実行ローカルPCでの実行手順は、次のとおりです。 (1) Llama.cppのインストールとビルド。 $ git clone https://github.com/ggerganov/llama.cpp $ cd llama.cpp $ make(2) modelsフォルダにモデルを配置。 今回は、「vicuna-7b-
「CPUボトルネック」について調べてみると、「ボトルネックチェッカー」なるサイトが表示されます。 残念ながらボトルネックチェッカーは誤解を招く素人騙しの温床で、正直それほど参考にならないです。筆者やかもちも当然ながらボトルネックチェッカーでCPUとグラボを選ばないです。 本記事では、初心者向けにCPUボトルネックの仕組みと、グラフィックボード別におすすめなCPUを解説します。 やかもち自信を持ってボトルネックチェッカーは不要だと言い切れます。 (公開:2017/8/22 | 更新:2024/2/15) Sponsored Link この記事の目次 Toggle 「CPUボトルネック」のかんたんな仕組み ゲームの描画処理は以下の順番で進みます。 ゲーム(プログラム)がCPUに命令を出す CPUが命令を受け取り、グラフィックボードに命令を出す グラフィックボードの命令を受け取り、描画処理を開始
米Advanced Micro Devices(AMD) Chair and CEOのLisa Su氏は、データセンターやAI(人工知能)に焦点を合わせたプライベートイベント「Data Center and AI Technology Premiere」(2023年6月13日に米国で開催)の基調講演において、GPGPU(General Purpose Graphics Processing Unit)「Instinct」の新製品「AMD Instinct MI300X」(以下、MI300X)を発表した。「MI300Xは生成AI向けに開発した」(同氏)という(図1)。 同じイベントでAMDはサーバー用マイクロプロセッサー(MPU)「EPYC」の新製品も発表しており、その際は競合製品として米Intel(インテル)の「Xeon Scalable Processor(SP)」を挙げていた。今回のG
Magnificent Seven(マグニフィセント・セブン)、これは映画「荒野の七人」の原題である。従来のGAFAM(Google、Amazon、Facebook(現Meta)、Apple、Microsoft)にエヌビディアと電気自動車のテスラを入れて、アメリカにおける「偉大な7社(マグニフィセント・セブン)」と呼ばれるようになった。 エヌビディアは、1993年設立の半導体メーカー。コンピュータ上に絵を描くためのグラフィックスプロセッサ(GPU:Graphics Processor Unit)を得意とし、コンピュータゲーム用のGPUを中心にビジネスを続けてきた。 数年前から業績を様変わりさせたのは、次々と投入するAI(人工知能)やHPC(スーパーコンピュータなどの高性能コンピューティング)向けの製品だ。 時価総額1兆ドル超え 8月23日に発表した2023年5~7月期決算では、売上高が前年
x86初のAIプロセッサ「Ryzen AI」は何がスゴイのかAMDが説明 市場投入第1弾は「Razer Blade 14」:搭載モデルはまもなく登場 AMDの最新モバイル向けAPU(GPU統合型CPU)「Ryzen 7040シリーズ」は、エントリーモデルを除いてCPUコア/GPUコアから独立した「Ryzen AI」というAIプロセッサを備えている。 →AI処理パフォーマンスを大きく改善 4nmプロセスのモバイルAPU「Ryzen 7040シリーズ」登場 搭載製品は3月以降に登場 →Zen 4アーキテクチャの「Ryzen PROプロセッサ」登場 モバイル向けは一部を除きAIプロセッサを搭載 同社はこのほど、Ryzen 7040シリーズの上位モデル「Ryzen 7040HSシリーズ」の説明会においてRyzen AIの概略を説明した。このプロセッサは、どのような特徴を持っているのだろうか。 Ry
The Advanced Micro Devices headquarters in Santa Clara, California. Photographer: David Paul Morris/Bloomberg 半導体メーカーの米アドバンスト・マイクロ・デバイセズ(AMD)は4-6月(第2四半期)について、さえない売上高見通しを示した。ゲーム用ハードウエア向け半導体の需要不振が重しとなった。 4月30日の発表資料によると、4-6月期売上高は約57億ドル(約9000億円)の見通し。アナリスト予想平均は57億2000万ドルだった。 1-3月(第1四半期)のゲーム部門売上高は市場予想を大きく下回ったが、同社は人工知能(AI)向けアクセラレーター分野参入による押し上げ効果を期待している。AIアクセラレーターはチャットボットなどAIツール開発を支援するエヌビディア型の半導体。AMDは新製品の
7月6日〜14日の9日間、ABCIの主催で 第1回大規模言語モデル分散学習ハッカソン が開催されました。自分はいいだしっぺ 兼 チューターとして参加したのですが、今回のイベントは個人的な学びも多かったし、なにより楽しかったので、忘れないうちに振り返っておこうと思います。 いいだしっぺというのは、3月に上記の tweet をしたら NVIDIA の @sfuruyaz さんが拾って諸々進めてくれた、という話です。自分はイベント内容の案をだしたり、技術検証やサンプルプログラムを作成したりしました。 イベント概要 イベント概要は以下の通りです 期間: 2023/07/06 - 2023/07/14 (9日間) 場所: オンライン(初日・最終日はオフラインとのハイブリッド開催) 参加数: 20チーム 提供リソース: Vノード(1000 ABCIポイント) サポート: チューター(言語モデルや機械学
OpenInterpreter はデフォルトだと GPT-4 が使われるが、ローカルの Code Llama を使うこともできるということで、 試しに設定して使ってみました。 設定をする上で何点かつまづいたので、解決に繋がったものをメモします。 今回使ったハードウェア環境は、M1 Macbook Pro 16GB です。 ローカルの Code Llama を使うにはOpenInterpreter は、ローカルの Code Llama を使うことができます。 ローカルの Code Llama を使うには、以下のようにします。 interpreter --local使いたいモデルのパラーメータを聞かれるので、今回は「7B」「Medium」「GPU あり」を選択しました。 Open Interpreter will use Code Llama for local execution. Use
NVIDIA GeForce RTX 4070 Superは2024年1月17日発売、続いてRTX 4070 Ti Superが1月24日、RTX 4080 Superが1月30日発売と毎週新モデル投入へ NVIDIAでは2024年1月はじめに開催されるCES2024近辺でGeForce RTX 4000 Superシリーズの発表を行うと見られていますが、中国で半導体系情報のやり取りが行われる掲示板『博板堂』にてGeForce RTX 4000 Superシリーズとして投入される3モデルそれぞれの発売日が明らかになりました。 まずGeForce RTX 4000 Superシリーズ(RTX 4070 Super / RTX 4070 Ti Super / RTX 4080 Super)として投入される3モデルについては2024年1月8日に正式発表が行われます。 その次の週に当たる2024年
2023年の年初から3倍になった時価総額は、日本の上場企業でトップに君臨するトヨタ自動車の約4倍。アメリカの上場企業の中ではアップル、マイクロソフト、アルファベット(グーグル)、アマゾンなど名だたる巨大IT企業に次ぐ5位に位置する――。 5月末に時価総額が一時1兆ドルの大台に乗ったことで話題になったのが、アメリカの半導体メーカー・エヌビディアだ。 同社はGPU(Graphics Processing Unit)と呼ばれる画像や映像の処理を専門に行う半導体を手がける。ゲーミングPCなどで映像をなめらかに表示するために用いられてきたGPUは近年、自動運転技術や暗号資産の採掘作業(マイニング)で高度な演算処理の担い手として脚光を浴びた。 そして今、GPU需要拡大の新たな起爆剤となっているのが、「データセンター」とChatGPTに代表される「生成AI(用語解説)」だ。 ※用語解説は外部配信先では閲
関連キーワード Linux | OS | 運用管理 | セキュリティ OS「Linux」は、複数のセキュリティモジュールを組み込んでいる。アクセス制御を実現するための代表的なセキュリティモジュールが「SELinux」(Security-Enhanced Linux)「AppArmor」だ。「Red Hat Enterprise Linux」(RHEL)およびその派生ディストリビューション(配布パッケージ)はSELinuxを、「Debian」およびその派生ディストリビューションはAppArmorを主に標準セキュリティモジュールとして採用している。両者には、それぞれどのような利点と欠点があるのか。 SELinuxの利点と欠点 併せて読みたいお薦め記事 連載:Linuxのセキュリティを比較 前編:Linuxを守る「SELinux」と「AppArmor」は何が違うのか? Linuxの運用管理 いま
主にAI処理用途での先行者利益と性能の良さで採用が拡大している。2006年からGP(汎用)GPU開発環境「CUDA」を展開する。TransformerはNVIDIAのGPUを前提に設計した。 先行者利益─。米NVIDIAがAI半導体市場で独走する大きな理由の1つである。同社は2006年からCUDA(Compute Unified Device Architecture)を公開し、いち早くGPUを科学計算用途に広げた。これが深層学習の研究開発でも活用されるようになった。2022年には大規模言語モデル(LLM)向けに「H100 Tensor Core GPU」を出荷開始し、世界中でH100不足を起こすまでになっている(図1)。 2006年時点で他社に先んじてGP(汎用)GPUの開発環境「CUDA」を提供し、GPUの用途を画像処理から並列演算処理全般に広げた。その後、並列演算の応用先としてニュー
NVIDIAの2024年第3四半期における収益が前年比206%増となり、過去最高を記録しました。生成AIの普及により機械学習に求められるGPUの需要が格段に増し、データセンターを運営する企業との取引が好調であるとの分析が行われています。 NVIDIA Announces Financial Results for Third Quarter Fiscal 2024 | NVIDIA Newsroom https://nvidianews.nvidia.com/news/nvidia-announces-financial-results-for-third-quarter-fiscal-2024 Nvidia sold half a million H100 AI GPUs in Q3 thanks to Meta, Facebook — lead times stretch up to
2024年2月26日からスペインのバルセロナで開催されているテクノロジー見本市・MWC Barcelona 2024で、NVIDIAが「Ada Lovelace」アーキテクチャを採用したモバイルGPUである「RTX 500 Ada Generation」と「RTX 1000 Ada Generation」を発表しました。 NVIDIA RTX 500 and 1000 Professional Ada Generation Laptop GPUs Drive AI-Enhanced Workflows From Anywhere | NVIDIA Blog https://blogs.nvidia.com/blog/rtx-ada-ai-workflows/ Nvidia talks up local AI with RTX 500, 1000 Ada launch • The Regis
CTranslate2はTransformerモデルをCPUやGPUで効率的に動かすライブラリです。 https://github.com/OpenNMT/CTranslate2 CTranslate2の機能のひとつにモデルの量子化があります。INT8で量子化すると雑に必要メモリが半分に。そしてCPUでも動かしやすくなるので、GPUなくてもLLMが試しやすくなります。 まあ、INT8を使うだけだと、モデルの読み込み時のfrom_pretrainedにload_in_8bit=Trueをつければいいのだけど、これがbitsandbytesというライブラリを使ってて、そしてbitsandbytesがWindowsに対応していない。*1 一応、有志がビルドしたDLLを使えば動くのだけど、めんどい。 https://qiita.com/selllous/items/fbaa2c3d2d504e43
Intelが2023年12月に正式発表した第14世代CoreプラットフォームのノートPC向けプロセッサ「Core Ultra」は、2023年9月に発表されたMeteor Lakeアーキテクチャがベースになっています。そんなCore UltraにはAI処理に特化したニューラルプロセッシングユニット(NPU)が搭載されており、このNPUについて海外メディアのChips and Cheeseが解説しています。 Intel Meteor Lake’s NPU – Chips and Cheese https://chipsandcheese.com/2024/04/22/intel-meteor-lakes-npu/ Core Ultraに搭載されたNPUは「NPU 3720」と呼ばれています。そんなNPU 3720には2つのニューラルコンピューティングエンジン(NCE)タイルが搭載されており、こ
NVIDIAとAMDがArmベースのWindows PC向けプロセッサを、早ければ2025年にも販売する可能性があるとReutersが報じた。このレポートが公開された直後にIntel株が約3%下落した。 ReutersはArmベースのPC用チップの製造計画に詳しい2人の情報提供者から得た情報を基に、23日に「NVIDIA to make Arm-based PC chips in major new challenge to Intel」という記事を公開した。この動きの背景には、ArmベースのPC市場の拡大を狙うMicrosoftの意向がある。AppleがApple Silicon搭載Macの提供を開始してから3年未満でシェアを倍増近くに伸ばしており、Microsoftはその成長を強く意識しているという。 ユーザーの需要も増しており、Counterpointによると、ArmベースのPCの市
米NVIDIAは6月27日(現地時間)、SaaS型データウェアハウスを手掛ける米Snowflakeとの提携を発表した。顧客企業が独自のデータを使ってカスタマイズした生成AIアプリを開発するための環境の提供を目指す。 この提携により、Snowflakeの顧客は、NVIDIAの自動音声認識、自然言語処理、テキスト読み上げのAIモデルを構築・展開する、LLM(大規模言語モデル)開発プラットフォーム「NVIDIA NeMo」とNVIDIA GPUと、Snowflakeアカウント内の自社データを使って、チャットボット、検索、要約などの生成AIサービス用のカスタムLLMを作成できるようになる。 両社のAI技術を統合することで、「ビジネスのあらゆる部分に生成AIの力をもたらすアプリを迅速かつ簡単に構築、展開、管理できる」という。顧客企業は、管理対象データが既に存在する場所に生成AIアプリを構築できるので
超小型のデスクトップPCを続々と発表し続けているMINISFORUM(ミニスフォーラム)から、Ryzen 7を搭載した「EM680」が登場した。まず驚くのはそのサイズ感だ。 ボディーサイズが約80(幅)×80(奥行き)×43(高さ)mm、重さ約445gという、同社の製品ラインアップの中でもトップレベルに小さくて軽い。さらにデスクのどこに置いても使えるボディーでありながら、中身はパワフルというユニークなギャップも持ち合わせているという。 価格はMINISFORUM日本公式ストアで6万1580円(税込み、以下同。記事下部にクーポンコードあり)からとなっている。今回はこのEM680について紹介していきたい。 最新のZen 3+コアアーキテクチャを採用 EM680に搭載されているCPUは、ポータブルタイプのゲーミングPCなどに採用されているRyzen 7 6800Uだ。8コア16スレッドでベースク
IT Leaders トップ > テクノロジー一覧 > AI > 新製品・サービス > IBM、大規模言語モデル「Granite」日本語版を2024年第1四半期に提供、シングルGPUで動作 AI AI記事一覧へ [新製品・サービス] IBM、大規模言語モデル「Granite」日本語版を2024年第1四半期に提供、シングルGPUで動作 2023年9月20日(水)日川 佳三(IT Leaders編集部) リスト 日本IBMは2023年9月20日、米IBM開発の大規模言語モデル「Granite(グラナイト)」の日本語版を2024年第1四半期(1~3月)に提供開始すると発表した。2023年12月に先行リリース版を提供する。AIモデル作成・運用ツール「watsonx.ai」で利用できる。現在、watsonx.aiではIBM独自の基盤モデルとして情報抽出や分類などを実行する「Slate」を利用可能だが
米NVIDIAは8月8日(現地時間)、生成AIモデル構築のための新たな統合ツールキット「AI Workbench」を発表した。生成AIモデルをPCやワークステーション上で構築、テスト、カスタマイズできるように設計されている。必要であればそれをデータセンターやクラウドに拡張可能だ。 現在、多数の事前トレーニング済みモデルが利用可能になっているが、それを複数のオンラインリポジトリを横断して探し回り、適切なフレームワークやツールを探すのが大きな負担になっているとNVIDIAは説明する。 AI Workbenchはローカルシステム上で実行できる簡素化されたツールを介してモデルにアクセスできるため、こうした負担を軽減できるとしている。 開発者は、Hugging Face、GitHub、NVIDIA NGCなどの一般的なリポジトリのモデルをカスタマイズでき、モデルは複数のプラットフォーム間で共有できる
米半導体大手エヌビディアの時価総額が2月12日、米グーグル親会社のアルファベットやアマゾンを上回った。人工知能(AI)分野で市場をリードしていることからエヌビディア株は投資家の関心を集めており、株価は過去15カ月で4倍以上に高騰している。 エヌビディアの株価は同日、前週末比で一時3%近く上昇し、740ドル(約11万円)を超える最高値をつけた。時価総額は1兆8300億ドル(約273兆円)に達し、アルファベットの1兆8200億ドル(約272兆円)、アマゾンの1兆8000億ドル(約269兆円)をわずかに上回った。 AIブームで投資家らがエヌビディア株に殺到する中、時価総額順位の入れ替えはエヌビディアの驚くべき成長を象徴している。 エヌビディアの時価総額は、AIブーム直前の2022年10月には3000億ドルを下回っており、当時1兆ドルを超えていたアマゾンやアルファベットと大きく離れていた。 エヌビ
神様。ちょい古なノートPCでゲーミング&生成AIの夢を見たいのですが2024.03.30 18:0023,795 武者良太 そのお願い。叶えてくれるのですか神様。 写真だけ見ると、ちょっと?いやかなり大きな多機能USBハブ。しかしこのハコのなかには、Radeon RX 7600M XTが入ってる。 AMD入ってる! つまるところこの「GPD G1 2024」はeGPUこと外付けGPUボックスです。モバイル用GPUを使うことで、レンガみたいなデカさの外付けGPUボックスからSwitchサイズにまでダイエットできたんですね。 Image: リンクスインターナショナル計測の仕方によっても変わるけど、Radeon RX 7600M XTはRTX 3060 Mobile~RTX 4060 Mobileくらいのパワーを持ってるGPU。そいつをこーしてこーやって小さめのハコに入れちゃった。使い勝手、よさ
NVIDIAは8月8日、CG技術に関する学会「SIGGRAPH 2023」にて、ワークステーション向けの新型GPU「RTX 5000」「RTX4500」「RTX4000」を発表した。 「RTX 5000」の価格は4000ドルで8月8日より発売を開始。「RTX4500」の価格は2250ドル「RTX4000」は1250ドルでそれぞれ2023年秋に発売される予定だ。 (画像はNVIDIA, Global Workstation Manufacturers to Launch Powerful Systems for Generative AI and LLM Development, Content Creation, Data Science | NVIDIA Newsroomより) この度発表された「RTX 5000」「RTX4500」「RTX4000」は、2023年の1月に発表された「RT
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く