最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
SQL実行の流れ まずはSQLがどのような流れで実行されるのかを見ていきます。 SQL実行の流れは大まかに捉えると以下のようになります。 パーサ パーサでは、ユーザーから送信されたクエリを受け取り、その文法的な正確さを検証します。SQLクエリが正しくフォーマットされているか、必要な構文要素が全て含まれているかをチェックし、例えばFROM句で指定されたテーブルが存在するかどうかも確認します。 文法的なエラーがある場合、例えばカンマの欠落や存在しないテーブルの参照など、クエリはエラーとして返されます。 エラーがない場合は、クエリは「抽象構文木」というデータ構造に変換されます。これにより、データベースはクエリをより効率的に解析し、次の処理ステップに進めることができます。 オプティマイザ SQLクエリがパーサを通過した後、次にクエリの最適化を行うのが「オプティマイザ」です。オプティマイザの主な役割
SaaSを作るという仕事について
The rollercoaster of releasing an Android, iOS, and macOS app with Kotlin Multiplatform | KotlinConf
2024/05/11に行われたTSKaigiで発表したLTの資料です！ ◎概要 TypeScriptはJavaScriptのスーパーセットとして、静的型付けと高度な型システムを提供し、大規模なプロジェクトの開発を助けています。しかし、これらの利点を最大限に活用するためには、コンパイルパフォーマンスの最適化が不可欠です。コンパイル速度を上げることでビルド時間やテスト実行時間の削減を行うことができます。今回の発表では、TypeScriptのコンパイルパフォーマンスを改善するための具体的な手法とその背後にある理論をいくつか紹介します。 ◎内容 1. TypeScriptのパフォーマンスとは何か、そしてなぜそれが重要なのか 2. コンパイル速度を改善するための具体的な手法とその背後にある理論 本資料で紹介している内容については以下の記事で詳しく記載していますので合わせて参照していただければと思いま
この記事は、『Software Design 2024年6月号』（2024年5月17日発売）の第1特集「SQLチューニングする前に知っておきたい 実行計画＆インデックスのしくみ」の連動企画です。ぜひ本誌特集1もお読みください。 適切なインデックスを設計する インデックスの調整によるクエリの高速化は、RDBMSを使用する際の数あるチューニングテクニックの中でも最もお手軽なものです。テーブルのカラムの定義を変えるわけではないので、クエリの結果に違いが生じず、アプリケーションを変更する必要性がないからです。適切なインデックスを付与するだけでチューニングが済むというのは極めて効率的です。それでは適切なインデックスとはどのようなものでしょうか。本記事では、まずインデックスを設計する際に重要なポイントを解説します。 インデックスとSQL構文 「どのカラムの組み合わせに対してインデックスを作成すべきか」
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと
新型「iPad Pro」がM3チップをスキップした理由 現地でM4チップ搭載モデルと「iPad Air」に触れて驚いたこと：本田雅一のクロスオーバーデジタル（1/6 ページ） Appleが行った新しいiPadシリーズの発表は、実に多くの情報を含んだものだった。その全体像は、発表された製品のレポート記事にある通りだ。 →iPadに“史上最大”の変化 「Appleスペシャルイベント」発表内容まとめ 発表に伴うスペシャルイベントは米国のニューヨーク、イギリスのロンドン、そして中国の上海（翌日開催）の世界3拠点で行われる大規模なものになった。事前のうわさ通り「iPad Pro」が刷新された他、M2チップを搭載した上で13インチモデルも追加された「iPad Air」、そして日本では1万円値下げされた「iPad（第10世代）」など、iPadに焦点を絞ったとは思えないほどに“盛りだくさん”だったといえる
A 100x speedup with unsafe Python
We're going to speed up some numpy code by 100x using "unsafe Python." Which is not quite the same as unsafe Rust, but it's a bit similar, and I'm not sure what else to call it... you'll see. It's not something you'd use in most Python code, but it's handy on occasion, and I think it shows "the nature of Python” from an interesting angle. So let's say you use pygame to write a simple game in Pytho
大規模言語モデル（LLM）において、メモリ使用量の効率化は非常に重要です。特に長文処理を行う場合です。モデルに入力するコンテクストが長くなるほど、メモリ消費量も増加します。 プロンプトに入力する文字数（Token数）と必要メモリについて計算したメモ📝 精度との兼ね合いですが、長文扱うときは、mistral-v0.1圧倒的にコスパ良い pic.twitter.com/Nqn5SXDZ9u — AI𝕏サトシ⏩ (@AiXsatoshi) May 27, 2024 Mistral-7Bは、v0.1では、約4K tokensのSliding window attention(SWA)にて、コンテクスト長に消費されるメモリを低減しました。しかし、性能への影響からと考えますが、v0.2以降のアップデートで、SWAは排除されています。入力トークンを絞ることでメモリ容量を低減すれば、当然複雑性や表現力
F# developer stories: how we've finally fixed a 9-year-old performance issue - .NET Blog
Programming language authors have to think about many things at once: overall language design, runtime dangers, possible feature misuse, backward compatibility, forward compatibility, and so on. All these aspects, together with communication hiccups and time constraints, might get in the way of some seemingly clear and manageable problems. The Bug The story began in the summer of 2015 with this is
Reproは5月22日、ウェブサイト表示高速化ツール「Repro Booster」の正式版をリリースした。独自のタグ（JavaScriptファイル）を挿入した当日から、ウェブサイト全体の表示速度を高速化できるという。 Googleは2021年に発表した検索エンジンのアップデートで、検索ランキングの決定要素に「ウェブサイトの表示速度」が関わる指標を追加した。また、ECサイトでは表示速度がコンバージョンレートに関連することが知られている。このため、サイト運営者にとってはサイトの表示速度が重要な関心事となっている。 一方、ウェブサイトの高速化手法としては「ソースコード最適化」「サイトリニューアル」「CDN」があるが、いずれも工数や多くの費用がかかったり、実装には技術的な知識が必要だった。 一方のRepro Boosterは、サイトに独自のタグを埋め込むだけで、サイトの表示速度を高速化できる。技術
Go1.13以後のエラーハンドリングについて語ろう / Let's talk about error handling after Go 1 13
#RubyKaigi 2024 LTで「Improved REXML XML parsing performance using StringScanner 」というタイトルで発表しました。 - @naitohの日記
RubyKaigi 2024 LT で 6年振り にLT発表させて頂きました。 今回の内容は、おおよそ naitoh.hatenablog.com を5分に縮めた内容になります。 具体的には、下記になります。 自分が作成している RBPDF gem で SVG 画像(XMLで記述されています。)を処理したいので、XML処理ライブラリの中でインストールの容易な REXML を使いたい。 REXML は C拡張の gem の libxml-ruby と比較して dom で65倍、sax でも 21倍遅いので、速くしたい。 Ruby 3.3 で YJIT を有効にするだけで dom で65倍→44倍、sax で 21倍→14倍の性能差まで改善されるが、まだ遅いのでさらに改善したい。 RubyKaigi 2019 の Better CSV processing with Ruby 2.6 で、St
Blazingly Fast Linked Lists
© Tomas Castelazo, www.tomascastelazo.com / Wikimedia Commons / CC BY-SA 4.0 Linked lists are taught as fundamental data structures in programming courses, but they are more commonly encountered in tech interviews than in real-world projects. In this post, I'll demonstrate a practical use case where a linked list significantly outperforms Vec. We will build a simple data validation library that sh
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クエリのパフォーマンスチューニングの第一歩。実行計画や統計情報について入門する
「Copilot+ PC」とはなにか マイクロソフトが狙うUX変化とWindowsの再設計
TypeScriptのパフォーマンス改善
【笠原一輝のユビキタス情報局】 「Copilot+ PC」のローンチパートナーがQualcommになった背景
［Software Design連動企画］ 実践クエリチューニング | gihyo.jp
【山口真弘の電子書籍タッチアンドトライ】 13型にして超軽量579gのフラグシップモデル！「13インチiPad Pro」
【特集】 100%の性能、本当に必要？CPU/GPUに電力リミットを設定してみよう！
Microsoft、「Copilot+ PC」対応のSnapdragon X Elite搭載「Surface Pro/Laptop」
ローカルLLMの長文推論、メモリ使用量を節約する方法:KVキャッシュの量子化｜AIサトシ
タグ挿入でサイト表示を高速化、どう実現？--「Repro Booster」正式版が公開
PGOによるコンパイラ最適化 / Compiler Optimization with PGO