NII、130億パラメータのLLM構築 コーパスなども全公開 「今後の研究に資するため」
国立情報学研究所（NII）は10月20日、パラメータ数130億の大規模言語モデル（LLM）「LLM-jp-13B」を公開した。初期段階のモデルだが、アカデミアや産業界の研究開発に資するため、コーパスやツールなどを含めてすべてオープンにする。 公開したLLMの学習データ量は合計約3000億トークン。うち日本語は約1450億トークン（mC4／Wikipedia）、英語は約1450億トークン（The Pile／Wikipedia）、プログラムコード約100億トークン。 計算資源としては、大学や研究機関が共同運営する仮想化環境・データ活用社会創成プラットフォーム「mdx」を12ノード活用。モデル構築にはMicrosoftのDeepSpeedを、モデル構築時の監視やログの保存には、モデル開発プラットフォームのWeights＆Biasesを利用した。 NIIが主宰するLLM勉強会（LLM-jp）で7月
CTC、rinnaと協業 企業専用生成AIの構築支援を拡充
伊藤忠テクノソリューションズ（CTC）は10月13日、コミュニケーションAI「りんな」を提供するrinnaと協業すると発表した。rinnaが開発した日本語特化の大規模言語モデル（LLM）や周辺技術をベースに、共同で各企業の専用生成AIのサービス開発に着手する。 rinnaではこれまで、日本語に特化した13億パラメータの生成AIを開発し、5月には36 億パラメータのLLMをオープンソースで公開していた。CTCでは8月から、企業向け生成AIの環境構築支援サービス「AOAI 環境構築サービス」を提供している。 CTCは「rinnaのLLMと組み合わせることで、より企業ごとのドメインや業務に適した形で生成AIを活用できる」と説明。rinnaのLLMは日本語環境での活用に適している他、オンプレミスで構築可能なため、セキュリティ面で安全な環境を構築できると利点を挙げている。 関連記事 「りんな」開発元
PFNが生成AI新会社「Preferred Elements」設立へ 130億パラメータの和製LLMもオープンソースで公開
AIベンチャーのPreferred Networks（PFN）は9月28日、生成AI事業に関する新子会社「Preferred Elements」を11月1日に設立すると発表した。マルチモーダル（画像や言語など複数の入力ソースを扱えること）な基盤モデル（大量のデータでトレーニングし、さまざまなタスクに適応可能な大規模モデル）の開発強化が目的。 Preferred ElementsはPFNの共同創業者で最高研究責任者を務める岡野原大輔さんが取締役社長を務める。本社はPFNと同じ東京都千代田区に構え、2024年中に基盤モデルの開発と、商用サービス提供を目指す。「LLMの課題である偽情報（ハルシネーション）やバイアス、悪用リスクへの対策、事前学習用データの作成・収集に関して、国・大学・企業とも連携を深め、社会インフラとして活用するための安全性を備えた基盤モデルの開発につなげる」（PFN） 併せて、
「今後はシミュレーションが重要に」PFN岡野原氏が話す深層学習の展望 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
Kubernetesにおけるコンテナ起動時間高速化に向けた検討 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された江平智之さんによる寄稿です。 はじめに PFN2022 夏季国内インターンシップに参加していた江平智之です。現在修士１年で、大学では分散システムやクラウド技術について研究しています。 今回のインターンシップでは、「JP04. Kubernetesにおけるコンテナ実行環境の改善」というテーマでコンテナ起動時間の高速化に取り組みました。 背景 PFNでは機械学習基盤としてKubernetesクラスタを使用しており、リサーチャやエンジニアはKubernetesクラスタ上のPod内で機械学習やシミュレーションなどの計算を行っています。スケジューラによってノードにアサインされた後にPod内にコンテナが起動されますが、ノード上にコンテナイメージのキャッシュがない場合にコンテナ起動が遅いという問題がありました。計算はPFNの研究開発における主要
PFN製の最適化ツール「Optuna」で富士山を登頂する - sw1227’s diary
1. 背景 2. 方法 2.1. 標高タイル 2.2. Optuna 3. 結果 3.1. 実行例 3.2. 登山経路 4. まとめ 1. 背景 Optunaとは、Preferred Networks（以下PFN）の秋葉氏らが開発したハイパーパラメータ自動最適化ツールです。 ハイパーパラメータ自動最適化ツール「Optuna」公開 | Preferred Research これは勾配法の適用できない（しない）ハイパーパラメータをベイズ最適化アルゴリズムの一種を使って自動で最適化してくれるものですが、Chainerと密結合しているわけではありません。何らかのObjective functionを与えることで簡単に最適化を行ってくれるようになっています*1。 ★★★ Objective...? 登山にとってそれは標高だ、と多くの人は考えるのではないでしょうか？ 標高が唯一の目的ではないにせよ、世
転職について - 兼雑記
6月14日がグーグル最終日でした。8月からPFNに混ぜてもらう予定です。退職や入社も重要イベントなんでしょうけど、転職活動それ自体が大変に楽しい体験だったので、入社したからって突然次の会社についての知見にあふれているわけでもなし、このタイミングでなんか書こうと思いました。どうせ暇だし。 前回との差分 http://shinh.hatenablog.com/entry/2016/03/11/142748 が前回までのあらすじ。このちょっと後で、「ニューラルトランスレートすげー」とか思って Google Translate のチームに入れてもらって、自然言語/機械学習研究入門+プロダクショナイズ+TensorFlowまわりのあれこれおもしれーとか、その他いろいろをやってた、というのが現在との差分です。 機械翻訳というのは、他の機械学習応用分野と同じく、ニューラルさんによってすさまじく簡略化され
Preferred Networks における研究活動 - Preferred Networks Research & Development
こんにちは、新しく執行役員兼 Chief Research Strategist に就任した秋葉です。就任の挨拶を兼ねて、PFN における研究活動に関する考えを共有したいと思います。 PFN における研究とは何か？ 何が研究であり何が研究でないかという境界を引くのは非常に難しく、またそれを積極的に行う意味もありません。研究とは「研ぎ澄まし究めること」を語義とし、一般に、物事について深く調査・考察を行い事実を解明したり発明を行ったりすることを指します。 PFN では挑戦的であり不確実性の高いプロジェクトが大部分を占めており、ほぼ全てのプロジェクトが少なからず研究的側面を伴います。深層学習関連のコア技術の研究開発は勿論、その応用に関してもデータやタスクに応じた適切な手法の選択や非自明な工夫がなければ上手くいかないことが殆どです。また、ロボティクス、コンピュータビジョン、自然言語処理等のような多
This Startup Just Built Japan’s Most Powerful Supercomputer - Disrupting Japan: Startups and Innovation in Japan
Preferred Networks is making changes in Japan. Over the past few years, this AI startup has raised more than $130M in venture funding and grown to more than 130 people. If you live outside of Japan, you might not have heard of this team, but they are working with Toyota to create the next generation of driverless cars. They are working with Japan’s most advanced industrial robot manufacturers to i
Chainerは数多くの企業に支えられている！Preferred Networksこれまでの歴史 | AI専門ニュースメディア AINOW
最終更新日： 2019年7月10日 こんにちは。AINOWのなっぴです。 機械学習ライブラリは何を使っていますか？ ライブラリの中でも代表的なものが“Chainer”ですね。 Chainerはオープンソースの深層学習プラットフォームで、国内でAI業界を牽引するPreferred Networksが中心となって開発しています。 今回は、Preferred Networksのこれまでの歴史を追いました。 どのような企業がどんな形でPFNに関わっているのか。一目でわかるようにPFNの沿革を画像でまとめました。 Preferred Networks これまでの歴史 編集後記 PFNがChainerを作っている会社、ということしか知らなかった人も多いのではないでしょうか？ 大会で優秀な成績を残していたり、DeNAと会社を設立していたりなど、意外なPFNの沿革がわかりました。 IT企業だけでなく、大手
「コンピューターサイエンスのすべての分野に精通していること」という応募資格に込めた想い | Preferred Research
※PFNの募集要項は、本ブログの内容をふまえ、適切に意図が伝わるよう一部更新しました PFN代表の西川です。 今回は、SNS上でもたびたび話題（炎上？）になっているPFNの応募資格について、改めてご紹介したいと思います。 PFNの採用募集ページに書かれたリサーチャーの条件には、「コンピュータサイエンスのすべての分野に精通していること」という一文があります。この条件は、PFIの時から、リサーチャーの応募資格として常に掲げてきました。 その背景にある想いは、コンピュータサイエンスの研究をする上では、一つの分野だけでなく、幅広い分野について深い知見を有することが極めて重要である、ということです。たとえば、データベースの研究をする上では、トランザクション処理の理論や関係代数について詳しく知っているだけではなく、データベースを動かすコンピュータアーキテクチャ、ストレージ、また、今では分散データベース
AI技術×生活者発想で、コミュニケーションは進化する！＜前編＞ | “生活者データ・ドリブン”マーケティング通信
博報堂ＤＹホールディングスは、2017年12月、IoTにフォーカスした深層学習技術のビジネス活用を進めてきたPreferred Networksとの資本業務提携に合意しました。トヨタ自動車、ファナック、国立がん研究センターなどとの協業によって先進的な取組みを推進してきたPreferred Networksと、生活者発想をフィロソフィーに広告・マーケティングビジネスに取り組んできた博報堂ＤＹグループ。そのコラボレーションはどのような新しい価値を生み出すのでしょうか。Preferred Networks代表取締役社長の西川徹氏と博報堂ＤＹホールディングス取締役常務執行役員の中谷吉孝が、AI技術（Artificial Intelligence Technology、以下AI）のこれからの可能性について語り合いました。 IoTとAIは人間理解を深めるためのツール 中谷 今回改めて対談という形でお話
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
3千CPUで数カ月かかる計算が0.1秒で完了。汎用原子レベルシミュレータ「Matlantis」 ～PFNとENEOSがクラウドサービスで提供開始
巨人が群がるAI集団 プリファード・ネットワークス 15日からコンフィデンシャル連載 - 日本経済新聞
【森山和道の「ヒトと機械の境界面」】 破壊的な深層学習強化を進めるPreferred Networks ～変革の波をまとめてさらに大きな波を作り出す