なぜ日本はGPUのない「富岳」でLLMを研究するのか 外国に後れを取らないための“現実的な理由”
米OpenAIの大規模言語モデル（LLM）・GPT-4は今、世界を大きく塗り替え続けている技術の一つだ。世界各国の企業がこぞってLLMの開発を進めている。特にGAFAなどの巨大企業は、その膨大な資源を使ってすでにいくつものLLMを世に放っている。 そんな中、日本では理化学研究所と富士通、東京工業大学、東北大学が、スーパーコンピュータ「富岳」を使ったLLMの研究を今まさに進めている。学習手法の研究からデータの法的な扱いまで幅広く検討し、日本のLLM開発の基盤を作るのが目的だ。 深層学習といえば、今ではGPUを使うのが一般的になっている。しかし富岳はそのGPUを搭載していない。日本にはGPU搭載スパコンも存在するのに、なぜ富岳を使ってLLMを研究するのか。 今回は富士通研究所・コンピューティング研究所の中島耕太所長と白幡晃一さんに、富岳を使ったLLM研究について、その意義を聞いた。富岳は確かに
ASCII.jp：
アクセスランキング スマホ やっぱり出てきた「折りたたみスマホ」風の折りたたみケータイ スマホ 低価格スマホのRAMは4GBと8GBで差があるのか？ Redmi 12 5Gを両方買って試した トピックス JR東日本のネット銀行「JRE BANK」特典ガチ解説 お得な使い方、おすすめカード教えます！ 自動車 今買うならMAZDA2の前モデルがお買い得な5つの理由 AI 画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも Apple 【レビュー】これ以上待つ理由がない完成形 M3搭載MacBook Air PC Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ 自動車 電動コンポとガーミンを接続して自転車電装系を快適化した結果 トピックス 激安！ 青春18きっぷ＋フェリーで韓国・釜山へ行ってみた 自作PC 工具も材料
40GFlops/Wに迫る高電力効率を出したPFNのMN-3スパコン - SC21
2021年11月のGreen500で、39.38GFlops/Wというスコアを出し、プリファードネットワークス(Preferred Networks:PFN)は業界を驚かせた。 次の表はGreen500の上位10システムをリストしたもので、1位はPFNのMN-3スパコンで電力効率は39.38GFlops/Wである。そして、2位はSamsungのSSC-21 Scalable Moduleで33.98GFlops/Wである。2位以下のシステムが2.5GFlops/W未満の僅差で並んでいるところで、1位と2位がその2倍の5.0GFlops/Wの差は驚異的である。 PFNのMN-3スパコン (出典:PFN資料) また、MN-3は前回のGreen500の時と同じハードウェアでありながら、ソフトウェアだけの改善で29.7GFlops/Wから39.38GFlops/Wまでエネルギー効率を改善したのも驚
量子コンピューティングに対するMicrosoftのアプローチ - ISC 2021
ISC 2021において、MicrosoftのMatthias Troyer博士が「Quantum Computing: From Academic Research to Real-World Applications」と題する基調講演を行った。 Troyer博士は 約20年間スイスのETH ZurichのComputational Physicsの教授を務めていたが、Leave of Absenceで休暇を取り、2017年にDistinguished Scientistという肩書でMicrosoftに移っている。 なお、ETH Zurichは2021年のTimes Higher Educationでは世界で14位にランキングされている名門大学である。ちなみに、東大は36位である。 図1 ISC 2021において“Quantum Computing: From Academic Rese
コンピュータアーキテクチャの話(429) 日本の傑作スパコン「NWT」用に開発された命令セット「TaChyon」
TaChyonアーキテクチャのプロセサ VP400スパコンの100倍以上の性能を出すには、多数のベクトル演算器が必要であり、膨大な物量になる。しかし、寸法がVP400の100倍になってしまうと、配線遅延などが多くなり、性能が出せない。富士通のVP100/200/400スパコンは汎用機のMシリーズのプロセサをベースにしており、IBM 360アーキテクチャの命令セットを使っていた。しかしIBM 360命令セットは複雑で、多くのハードウェアを必要とするので、スパコン用に「TaChyon」という新規な命令セットを考案して、使用することにした。 TaChyonアーキテクチャの命令は64bit長で、この中に通常命令なら3命令を詰め込んでいる。IBM 360アーキテクチャと比較すると1.5倍の命令密度となっている。 TaChyonアーキテクチャとすることにより、命令実行ユニットが簡素になるだけでなく、命
スーパーコンピューティングの将来
Previous ToC Next PDF 版はこちら 高橋メソッド版(2006/1/13 天文台でのプレゼンテーション)はこちら Contents 0. 初めに 1. IBM BG/L の方向 (2005/12/5) 2. Cray XT3 --- MPPは復活するか？(2005/12/6) 3. NEC SX-8 --- ベクトルのたそがれ (2005/12/7) 4. 富士通 NWT/VPP-500 --- 日本発の「革命」 (2005/12/8) 5. 何故スーパーコンピューターは売れなくなったか (2005/12/13) 6. x86 以外のプロセッサになにが起こったのか？ (2005/12/14) 7. SSE の限界(2005/12/23) 8. 専用計算機は？(2005/12/25) 9. 他の可能性は？ --- I. FPGA と再構成可能計算 (2005/12/28)
スーパーコンピューティングの将来 牧野淳一郎
Previous ToC Next PDF 版はこちら 高橋メソッド版(2006/1/13 天文台でのプレゼンテーション)はこちら Contents 0. 初めに 1. IBM BG/L の方向 (2005/12/5) 2. Cray XT3 --- MPPは復活するか？(2005/12/6) 3. NEC SX-8 --- ベクトルのたそがれ (2005/12/7) 4. 富士通 NWT/VPP-500 --- 日本発の「革命」 (2005/12/8) 5. 何故スーパーコンピューターは売れなくなったか (2005/12/13) 6. x86 以外のプロセッサになにが起こったのか？ (2005/12/14) 7. SSE の限界(2005/12/23) 8. 専用計算機は？(2005/12/25) 9. 他の可能性は？ --- I. FPGA と再構成可能計算 (2005/12/28)
SC17 - Xeon Phiに中性子ビームを当ててエラー率を実測
1つの中性子ヒットで、どのようにエラーが起こるかを見ると、長方形の領域でエラーが起こっているRectangular、直線状にエラーが起こっているLine、ばらばらに起こるRadom、1bitだけがエラーするSingleなどがある。なお、この図には描かれていないが、マトリクスの3次元の隣接領域にエラーが集中しているケースをCubicと分類している。 1個の中性子ヒットで1bitのエラーとなるケースは少なく、大部分は複数ビットのエラーとなる。どのような位置のビットがエラーになるかで、Rectangular、Line、Random、SingleとCubicに分類する そして、各ベンチマークのエラーをこの5種のエラーパターンごとに分類したのが次の図である。色分けは上からCubic、Rectangular、Line、Single、Randomとなっている。ただし、各棒グラフにすべての分類が含まれてい
Intelビビってる 世界最速スパコン神威太湖之光 - Qiita
2016年6月 スパコンの世界ランキングTOP500で 突如No.1に躍り出た神威 太湖之光(Sunway Tianhu Light) 中国勢を除けばトップとなる Titan - Cray XK7 , Opteron 6274 16C 2.200GHz, Cray Gemini interconnect, NVIDIA K20x に対して４倍の絶対性能を示した。 絶対性能計測を指標とするTOP500ベンチに対する批判の声を反映して、電力効率ランキング Green500 がある。 しかし、その地球に優しいスパコン・ランキングGreen500でも第3位。 本当に驚異的なのはスパコンとしての性能ではなく、枯れたテクノロジーの水平思考とその組み合わせだけで構築した独自アーキテクチャだった。 枯れたCPU単品のスペックから見ていこう クロックは1.45GHzと、スマホ未満の低クロック。 プロセスも4
GTC 2015 - DDNのバーストバッファテクノロジ
GTC 2015においてDDN(Data Direct Networks)のJeff Sissili氏が同社のバーストバッファテクノロジについて発表を行った。Data Direct Networksという社名になじみのない読者も多いかと思うが、同社はスパコン用の並列ファイルシステムのトップメーカーであり、独特の赤い筐体は多くのスパコンセンターで目に付く存在である。 従来のスパコンは多くの計算ノードを持ち、それらの計算ノードの必要とするディスクI/Oに耐えるR/Wバンド幅を持つディスクを設置している。京コンピュータで言えば、3階は計算ノードの筐体で埋まっているが、1階はディスク筐体で占められており、1TB/sを超えるR/Wバンド幅を持っている。 DDNの次世代ストレージのアプローチは、計算ノードと物理的なストレージを切り離して、少ない数のストレージで必要な性能を実現するというものである。 D
スパコン性能、2020年以降は伸びずに頭打ち!? ――これから何をするべきか
2014年10月9～10日に東京都港区で開催されたヴァイナスのユーザーカンファレンスにおいて、東京大学生産技術研究所の加藤千幸教授が登壇し、「大規模流体解析の産業応用～現状と今後の展望～」のタイトルで講演した。 スーパーコンピュータ（スパコン）の性能向上が限界を迎えることを指摘した上で、この先、産業界で使えるスパコンの規模や、それをCFDでどのように活用するか例を示した。 CFDの発達は、コンピュータが順調に進化してきたことによるところが大きい。スパコンが本格的に使われだして以来、その性能は、1990年代にGFLOPS（ギガフロップス）、2000年代にTFLOPS（テラフロップス）、2010年代にPFLOPS（ペタフロップス）と、「10年に1000倍」（または「3年に10倍」）のペースで着々と向上してきた。だが「このまま増えればハッピーだが、実はそうではない」と加藤氏は言う。 2012年に
最新のハイパフォーマンスチップの話題が集う「Hot Chips 25」(14) HaswellのTSXはHPCにも有効(2)
このキャッシュを使うことにより、ゲームなどのグラフィックス性能が20～75%向上するという。また、このキャッシュは汎用のL4キャッシュで、GPUだけでなく、CPUやメディアエンジンも利用できるとのことで、これらの処理でも性能向上が期待できる。 そして、Haswellでは、トランザクショナルメモリをサポートするTSX命令が追加された。トランザクショナルメモリでは、ロックによる排他制御を行わないで、共用のメモリ資源を使ってしまう。しかし、トランザクショナルメモリ機構が、他のプロセサからのメモリアクセスが干渉しているかどうかを監視しており、干渉がなければ処理は成功、干渉があった場合は処理を取り消して再度やり直すというやり方で、共通資源のアクセスの干渉が起こらないようにしている。 このように、トランザクショナルメモリはトランザクション処理に威力を発揮する機構であると思い込んでいたのであるが、今回の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
よくわかるNVIDIAネットワーキング InfiniBand編
./note016.html
idest.club
純中国産スパコン「神威太湖之光」が世界スパコンランキングで1位 ～DEC Alphaの流れを汲む260コアの独自RISCプロセッサ。天河二号の2.75倍の性能
日本のスパコン「菖蒲」と「皐月」が省エネ性能ランクで世界1位2位の快挙
ムーアの法則が終わった後のスーパーコンピューターの姿
2Uきょう体で「京」1ラック分、富士通がスパコン次世代機の詳細を公表
【特別企画】コンピュータシミュレーションをフル活用するダンロップのタイヤ開発/大規模分子シミュレーションによって高性能タイヤを製品化