“1ビット、つまり行列の中身が0か1しかないのであれば全ての計算を加算演算のみにできる。加算と乗算では計算速度も負荷も段違いに異なるためこれだけのスピードの差が出ている。また、当然ながらメモリ効率も高い

zoidstown のブックマーク 2024/02/29 08:22

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4749931919022301728/comment/zoidstown" data-user-id="zoidstown" data-entry-url="https://b.hatena.ne.jp/entry/s/wirelesswire.jp/2024/02/86094/" data-original-href="https://wirelesswire.jp/2024/02/86094/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fwirelesswire.jp%2F2024%2F02%2F86094%2F" data-user-icon="/users/zoidstown/profile.png">1ビットLLMの衝撃! 70Bで8.9倍高速　全ての推論を加算のみで!GPU不要になる可能性も</a><br><p style="clear: left">“1ビット、つまり行列の中身が0か1しかないのであれば全ての計算を加算演算のみにできる。 加算と乗算では計算速度も負荷も段違いに異なるためこれだけのスピードの差が出ている。また、当然ながらメモリ効率も高い</p><a class="datetime" href="https://b.hatena.ne.jp/zoidstown/20240229#bookmark-4749931919022301728"><span class="datetime-body">2024/02/29 08:22</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！