2024年3月5日に開催されたイベントで発表した内容です。 スライドはこちら： またLTで全然時間が足りなかったので、イベント終了後にひとりで撮ったプレゼン動画がこちら： 以下、発表資料を記事として再構成したものになります。登壇後に調査した内容も追記しています。 「ローカルLLM on iOS」のデモ オンデバイスで [1]処理してます APIは叩いていません 倍速再生していません 8.6 tokens/sec iOSローカルでLLMを動かすメリット オフラインでも動く プライバシーが守られる（データがどこにもアップされない） どれだけ使っても無料 モバイル端末スタンドアローンで最先端の機能が動作することには常にロマンがある iOSでローカルLLMを動かす方法 大きく分けて2つ llama.cpp Core ML llama.cpp LLMが高速に動くランタイム C/C++製 Georgi

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 米Appleに所属する研究者らが発表した論文「Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs」は、iPhoneやAndroidなどのモバイルUI画面をより深く理解し、インタラクションできるように設計されたマルチモーダル大規模言語モデル（MLLM）を提案した研究報告である。 Ferret-UIは、モバイルUIの画面上で、多様な入力形式（点、ボックス、スケッチ）を用いて参照タスク（ウィジェット分類、アイコン認識、OCRなど）を実行し、グラウンディングタスク（ウィジェット検索、

2月に、グーグルは生成AIのブランドを「Gemini」に統一した。2023年から提供を開始していたチャットボットの「Bard」も、現在はGeminiという名称に変更されている。ブランド変更を機に、グーグルはスマホ用アプリを投入。ユーザー全員に行き渡ったわけではないが、Androidの共通機能として搭載されていた「Googleアシスタント」の代わりに、スマホの音声アシスタントとしてGeminiを利用できるようになった。 Googleアシスタントと同じように音声や画面タッチ、ボタン操作で起動できるAndroidのGeminiだが、スマホに統合されたことで、ブラウザー版にはなかった使い勝手も実現している。閲覧中のページを要約したり、メールに沿った返信を書いてもらったりといった操作が、スムーズにできるのはスマホ版ならではと言えるだろう。生成AIを活用しているだけに、Googleアシスタントよりも返

ITジャーナリスト／Publickeyブロガー。IT系の雑誌編集者、オンラインメディア発行人を経て独立。2009年にPublickeyを開始しました。 Googleは1月17日付でリリースしたChrome 121のAndroid版で、QualcommとArmのGPUを搭載したデバイスではWebGPUがデフォルトで有効になったことを明らかにしました。 下記はGoogle ChromeエバンジェリストFrançois Beaufort氏のポストです。 WebGPUは、これまでWebブラウザ上でJavaScriptを用いた2次元や3次元の高速なグラフィックスの描画を行うWeb標準として使われてきたWebGLの後継となるWeb標準です。 WindowsのDirect 3D 12やmacOSのMetal、LinuxのVulkanのような、ローカルマシンに搭載されているGPUの能力を最大限に発揮できる

米Googleは、Androidの標準推論エンジンを「TensorFlow Lite」にすると10月18日（現地時間）に発表した。9月にはGoogle Play開発者サービス（Google Play services）にTensorFlow Liteを組み込んで提供を始めていたが、TensorFlow LiteがAndroidの標準推論エンジンとなった。 TensorFlow Liteの下層には、「TensorFlow Lite Delegates」が存在する。これは、GPUやDSPなどといった推論処理を高速化するハードウェアを抽象化する層だ。Appleだけが製造販売しているiPhoneやiPadは、SoCやGPU、Neural EngineもAppleが開発したものを使用している。ハードウェアの機能を抽象化する上で問題になるのは、それぞれのハードウェアの世代だけだ。 一方でAndroid

TensorFlow Lite is available in Google Play services runtime for all Android devices running the current version of Play services. This runtime allows you to run machine learning (ML) models without statically bundling TensorFlow Lite libraries into your app. With the Google Play services API, you can reduce the size of your apps and gain improved performance from the latest stable version of the

米グーグルでハードウエアを担当するリック・オステロー上級副社長が日本経済新聞などの取材に応じた。ソフトウエアを主力とする同社がハード部門を強化する理由や半導体開発の背景について聞いた。主なやり取りは以下の通り。――ソフトを事業の主軸とするグーグルがハードを強化するのはなぜですか。「私たちの部門の使命は利用者に最上の『グーグル体験』を提供することだ。また、当社はどこでも、いつでも必要なときに利

Apple is launching new iPads May 7: Here's what to expect from the 'Let Loose' event

Apple is launching new iPads May 7: Here's what to expect from the 'Let Loose' event

Googleは2016年に機械学習向けプロセッサ「Tensor Processing Unit（TPU）」を発表しており、主にデータセンターのサーバで採用してきた。Google Tensorには、モバイル向けに最適化したTPUが搭載されるようだ。スンダー・ピチャイCEOは自身のTwitterアカウントで「Tensorチップをクリップサイズまで小型化するのに4年かかった！（中略）TensorはPixel史上最大のイノベーションだ」とツイートした。 オステルロー氏は米The Vergeに対し、「他のSoCと同様に、多くの技術はライセンスしている（サードパーティー製のCPUやGPUを採用しているという意味）が、設計はオリジナルであり、機械学習とAI強化を目的として特別に設計した」と語った。TPUにより、例えばカメラ関連の新機能が追加され、従来の機能がより高性能になるという。 また、Google

Googleは現地時間8月2日、自社開発のSoC「Google Tensor」を搭載した新型スマートフォン「Pixel 6」「Pixel 6 Pro」を正式に発表しました。 今秋以降に発売され、新機能、技術仕様、価格、購入方法など詳細は後日発表されます。 Google Pixel 6/Pixel 6 Pro 新モデルは「Pixel」であることの意味を再定義し、ソフトウェアとハードウェアの両方で美しさを兼ね備えた新しいデザイン、そして新しいTensor SoCなど、Pixelを使う上でのすべてが向上しています。 リアカメラシステムもアップグレードされています。改良されたセンサーとレンズは、従来の正方形に収まらないほど大きくなり、新しいデザインでは、カメラシステム全体をカメラバーに収めたものを採用しています。 Pixel 6とPixel 6 Proには、新しい素材と仕上げが採用されています。P

At Google I/O this year, we are excited to announce several product updates that simplify training and deployment of object detection models on mobile devices: On-device ML learning pathway: a step-by-step tutorial on how to train and deploy a custom object detection model on mobile devices with no machine learning expertise required. EfficientDet-Lite: a state-of-the-art object detection model ar

Announcing Android’s updateable, fully integrated ML inference stack Posted by Oli Gaymond, Product Manager, Android ML On-Device Machine Learning provides lower latency, more efficient battery usage, and features that do not require network connectivity. We have found that development teams deploying on-device ML on Android today encounter these common challenges: Many apps are size constrained,