1bit LLM の時代は来るのか，来ないのか，どっちなんだい？｜情報処理学会・学会誌「情報処理」
徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？ 2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ
Microsoft、Windows AI PCに向けCopilotの必須メモリ要件を16GBに設定か
Microsoftや各PCメーカー、そしてIntelやAMD、Qualcommといったプロセッサメーカーは、「AI PC」（AIを内蔵して強化されたPC）を2024年のテーマとして掲げている。Windows PCをAI PC化する上で核となるのはもちろんAIアシスタント機能のCopilotである。TrendForceが、「Market research, price trend of DRAM, NAND Flash, LEDs, TFT-LCD and green energy, PV」において、MicrosoftがWindows AI PCの実現に向けて最小メモリ要件を16GBに設定したと報じている。 Press Center｜TrendForce - Market research, price trend of DRAM, NAND Flash, LEDs, TFT-LCD and
AIロボットのマッサージがびっくりするほど良かった話
マッサージベッドに横たわって、2本のロボットアームにもみほぐしてもらう経験は、そうできるものではない。しかし先日、筆者は身体にフィットするグレーの専用ウエアを着てベッドに横たわり、ドーナツ型のヘッドレストに顔を沈めて、人工知能（AI）を搭載したロボットに30分間マッサージしてもらう機会を得た。妙な気分だったが、意外なほどリラックスできた。 筆者をマッサージしてくれたのは、Aescapeのニューヨークオフィスにあるロボットだ。同社はこの「AIマッサージロボット」の可能性に賭けており、この春からニューヨークの高級ジム「Equinox」にロボットマッサージベッドを10台配置し、30分間のセッションを提供する。 Aescapeの創業者で最高経営責任者（CEO）を務めるEric Litman氏は、椎間板の膨張から来る慢性的な痛みと長年闘っていた。首も回せないほどの痛みを何とかしようと必死にマッサージ
GPTsで恋愛ゲーム作ってみたらすぐ作れた割に時間がトロトロに溶けました｜花笠万夜
花笠監督の「私立GPT北高校」でグランシュライデ２週目キャラ演じてみたんだけど、面白すぎるｗ いかん、これはハマるｗ https://t.co/jNaQSFjJoZ pic.twitter.com/dGsmjfYCdr — らけしで (@lakeside529) November 10, 2023 実際に100人ぐらいの人が現時点でプレイしてくれてますね。 ありがたいですね。 GPTsの実際の作り方まずGPT Builderを立ち上げましょう。よくわからん場所にあります。 PCで立ち上げて左上を見ましょう。 Exploreってあるよね。そこ。 そこを押すと、よくわかんないリストの一番上に「+」マークが出るじゃない。それを押すのです。 そうするとこういう画面に来ますわね。 ここで画面左側、Createのタブで普段通りつくりたいGPTをテキストで打っていってもいいんですが。。。これって結局ここ
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
AI/ML基盤の400G DCネットワークを構築した話 - JANOG52 Meeting in Nagasaki
JANOGプログラム内田 泰広(株式会社サイバーエージェント) 小障子 尚太朗(株式会社サイバーエージェント) |10:15|10:45 English information here 概要 サイバーエージェントではCycloudという社内向けのプライベートクラウドを構築・運用しています。 ML Platformとして独自の機械学習基盤を提供しており、今回初めてGPU間を高速接続するためのロスレス・低遅延な400Gインターコネクトを構築しました。 本発表では、国内外で事例の少ない400G DCネットワークを導入するにあたって工夫したことと苦労したことを共有し、 これからのネットワークとコンピューティングに求められる技術や課題などについて議論できればと思っています。 場所 2F コンベンションホール 日時 Day3 2023年7月7日(金) 10:15～10:45(30分) 発表者
ディープマインドがAIで高速アルゴリズムを発見、C++に採用
ディープマインドはAI「アルファデブ」を使って、人間が考案したアルゴリズムよりも高速にソートを実行するアルゴリズムを発見した。アルゴリズムはすでにC++に取り入れられ、使用されているという。 by Will Douglas Heaven2023.06.13 16 12 ディープマインド（DeepMind）は、基礎コンピューター科学における発見を続けている。昨年、同社はゲームをプレイする人工知能（AI）「アルファゼロ（AlphaZero）」を使って、さまざまなコードの核となる重要な数式の計算を高速化する新たな手法を発見し、50年前の記録を更新した。 そして今、同社（2023年4月に姉妹会社のAI研究所と統合し、グーグル・ディープマインドと改名）は同じ偉業を再度達成した。それも二度もだ。英国を拠点とする同社はアルファゼロの新バージョンである「アルファデブ（AlphaDev）」を使用し、それまで
オープンAIが巨大言語モデルGPT-4の重要情報を公開せず、AIの性能向上に深まる謎
米OpenAI（オープンAI）が2023年3月中旬にリリースした最新の巨大言語モデルGPT-4については、大きな「謎」がある。機械学習モデルの規模（パラメーター数）や学習させたデータ量が明らかにされていないのだ。 2020年発表の「スケーリング則」がここにきて話題に オープンAIが2022年11月にリリースしたAI（人工知能）チャットボットChatGPTの能力があまりに高いことから、日本でもここにきて巨大言語モデルのスケーリング則（Scaling Law）が改めて注目されている。 スケーリング則とは、オープンAIが2020年10月に発表した論文「Scaling Laws for Autoregressive Generative Modeling」で示した法則だ。オープンAIは2020年6月に発表した巨大言語モデルGPT-3の経験に基づき、自己注意機構（SA、Self Attention）
大規模言語モデルの驚異と脅威
2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/
LLMがなぜ大事なのか?経営者の視点で考える波の待ち受け方｜福島良典 | LayerX
はじめにLayerXの代表をしています福島と申します。本日はLLM(Large Language Model, 大規模言語モデル)について、なぜ大事なのか?経営者の視点でどうこの波を考えればいいのかについてです。 LLMが今非常に話題になっています。ChatGPTの裏側もこのLLMからできていると言えばわかりやすいでしょうか。 私は現在、LayerXという会社を経営しております。LayerXでも多分に漏れず、LLMに対するものすごいワクワクと、この波に対応しないと会社が消えてなくなるという強い危機感を抱いています。 私自身が元機械学習エンジニア、現在現役の経営者というキャリアを歩んできました。その立場から、なるべくわかりやすく、LLMの波というものを経営者がどう捉えるべきか、どう波を乗りこなすべきかの一助となればと思い筆を取っています。(機械学習のプロの方からすると、おいおいそれは単純化し
「みんな、ChatGPTの扱いがもったいない…」ほとんどの日本人がチャットAIを使いこなせていない“決定的要因” | 文春オンライン
◆◆◆ 「確率的に確からしい」という言葉を続けるロボット ――最近、ChatGPTという言葉をよくインターネットで目にします。なんとなく「こんなことができるのかな……？」というイメージは湧いているのですが、具体的なサービス内容を簡単に教えてもらえるでしょうか。 深津貴之氏（以下、深津） 一言で言えば「人間の言葉で質問すると、人間の言葉で答えてくれるロボット」です。 例えば、質問に答えてくれたり、相談に乗ってくれたり、長文を要約してくれたり……。これまでの“検索”とは違って、人間的な知性があるかのように“文章で返答をしてくれる”のが大きな特徴というサービスですね。 お昼ごはんについて質問したときの回答。これまでの“検索”とは良くも悪くも勝手が違うことがよくわかる これはAIに大量の単語を学習させることで、「直前の単語に対して、最も可能性が高い次の単語を予測している」んです。例えば「むかしむか
｢ChatGPT｣に浮かれる人が知らない恐ろしい未来
2022年11月の公開から瞬く間に大旋風を巻き起こしたAIチャットボット「ChatGPT」。その技術を自社の検索エンジン「Bing」に取り入れたマイクロソフトと、生成AIの進化に貢献した深層学習の手法「Transformer」を生んだグーグルによるAI競争も、熾烈さを増している。 一方で、こうした生成AIの回答には誤りも多く、社会にもたらす悪影響への懸念がくすぶる。このテクノロジーとどう向き合うべきなのか。国立情報学研究所 社会共有知研究センター長で、2011年にスタートした人工知能プロジェクト「ロボットは東大に入れるか」のプロジェクトディレクタを務めた新井紀子氏に聞いた。 ――ChatGPTやBingchatが続々と公開され、自然な受け答えを評価される一方、誤りの多さについて懸念も上がっています。 Transformerの登場以降、書き手が人か機械かの見分けがつかないほど、AIの生成する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【福田昭のセミコン業界最前線】 地球温暖化対策としての半導体とコンピューティング
自宅PCで「rinna」の日本語言語モデルを試用、メモリ32GBあればCPUだけでも動くぞ！【イニシャルB】
【2023年】美少女AIコスプレイヤーをStable Diffusionで生成する方法についてまとめていく！【ChilloutMix】
Stable Diffusionの呪文のコツ総まとめ！神絵師のような美少女イラストを生成しよう