こんにちは。NEO(x) 機械学習エンジニアの宮脇（@catshun_）です。 RAG システムの開発、いざ業務に統合するとなると結構大変ですよね。 構築してみたがユーザ数が伸びず、、なんてことはよくあると思います。 実際こんな記事も話題になりましたね。 本記事では、コラムとして RAG システムの設計で考慮したい点を自戒を込めて記述したいと思います。 誤っている記述等もあると思いますが、本記事を読んだ方の議論のネタになってくれれば幸いです。 また Retrieval-based LM の技術的な話は、以下で触れておりますので併せてご覧ください。 RAG とは RAG (Retrieval-Augmented Generation) とは、社内文書・長期記憶に該当する対話履歴・API 仕様書などの 外部知識資源 を、言語モデルが扱えるよう入力系列に挿入する手法です。もともと Lewis+'

先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」。AI系技術を中心にさまざまな発表があったが、目玉の一つだったのが、SLM（Small Language Model）関連の新製品だ。ITmediaでも紹介記事が公開されているので、具体的な情報は以下を参照してほしい。この記事では、そもそもSLMとは何か、何が期待されているのかを整理してみよう。 （関連記事：Microsoft、Windowsローカルで実行可能なSLM「Phi Silica」を全「Copilot+ PC」に搭載へ） （関連記事：Microsoft、マルチモーダルなSLM「Phi-3-vision」をプレビュー） “大は小を兼ねない”「小規模言語モデル」（SLM）とは？ SLMは日本語で「小規模言語モデル」と訳されている。名前から分かるように、ChatGPTを始めとした生成AIア

Amazon Web Services（AWS）は2023年4月に、大規模言語モデル（LLM）のフルマネージドサービス「Amazon Bedrock」のプレビュー版を公開した。プレビュー版の公開時点で導入を決め、1年にわたって同サービスを活用してきた企業の担当者らが、アプリケーション開発に生成AI（人工知能）を利用する際のポイントを語った。 語ったのは、カナダのトロントを拠点とする顧客調査プラットフォームプロバイダーAlidaでチーフアーキテクトを務めるシャーウィン・チュー氏と、米国ニューヨーク州メルビルのContact center as a ServiceプロバイダーVerint Systemsでチーフサイエンティストを務めるイアン・ビーバー氏だ。 AlidaはなぜAmazon Bedrockを選んだのか 関連記事 最適な学習方法は？　安全にデータを使うには？　AWSが解説する「生成A

テキスト生成AIのリスクを利用形態、想定ユースケースごとに解説　デジタル庁がガイドブックを公開：テキスト生成AIのサービス開発者が対象 デジタル庁は、「テキスト生成AI利活用におけるリスクへの対策ガイドブック（α版）」を公開した。政府情報システムを対象に、テキスト生成AI固有と思われるリスクに焦点を当て、留意点を紹介している。

米Microsoftが支援する仏Mistral AIは5月29日（現地時間）、同社としては初のコーディング向け生成AIモデル「Codestral」を発表した。 コード生成タスクを明示的に設計されたオープンウェイト（モデルの重みを公開している）の生成AIモデルで、HuggingFaceからダウンロードし、MistralのAPIプラットフォームを通じて利用できる。 Python、Java、C、C++、JavaScript、Bashを含む80以上のプログラミング言語の多様なデータセットでトレーニングされている。また、SwiftやFortranでも「優れた性能を発揮する」という。 3万2000トークンのコンテキストウィンドウを持つ220億パラメータモデル。コード生成の長期評価のRepoBenchでは、競合する米MetaのCode Llama（4000／700億）や中国DeepSeekのDeepSe

多忙であればあるほど猛烈にやる気が出て、驚くほどの集中力を発揮できるのに、納期や締め切りに余裕があるとついついだらけてしまう私。 オフィスでほかの人ががんばっている姿を見れば、影響されて集中できるのに、在宅ワーカーということもあってそれも叶わず困っていました。 友人とオンライン上で仮想のワーキングスペースをつくり、黙々と作業してみたりもしましたが、生活スタイルが合わない日もあります。 そこで頼ったのがChatGPT-4oの音声機能でした。

生成AI、ChatGPTを手がけるアメリカの企業オープンAIは、ロシアや中国などを拠点とする5つのグループが自社の生成AIを世論の操作に利用していたと発表しました。日本に関する情報の拡散にも利用されたとされ、アメリカ大統領選挙などを前に生成AIによる世論操作の危険性を示しています。 オープンAIは30日、AIによる世論操作をめぐる最新の傾向についての報告書を発表しました。 それによりますと、ロシアや中国、イラン、それにイスラエルを拠点とする合わせて5つのグループが、秘密裏に自社の生成AIを世論操作に利用していたということです。 生成AIは、SNSのアカウントや投稿する文章の作成、外国語への翻訳などに利用され、投稿の内容は、 ▽ロシアによるウクライナへの軍事侵攻や、 ▽ガザ地区でのイスラエルとイスラム組織ハマスの戦闘のほか、 ▽アメリカの政治情勢など、 多岐にわたっていたとしています。 この

米OpenAIは5月30日（現地時間）、「AI and Covert Influence Operations:Latest Trends」（AIと隠された影響工作:最新動向）と題した報告書（PDF）を公開した。この報告書によると、ロシア、中国、イラン、イスラエルを拠点とする複数の組織が、国民を操作するために同社のAIを利用している。 同社は、こうしたオンラインキャンペーンを5件特定し、阻止したという。 これらの組織は、ChatGPTを含むOpenAIのツールを使用して、複数の言語でSNSのコメントを生成したり、偽のアカウントの名前や経歴をでっち上げたり、画像を作成したり、コードをデバッグしたりしていたという。 たとえばロシアのDoppelgangerは、OpenAIのツールを使ってロシア語の投稿を英語やフランスなどに翻訳し、SNSに投稿していた。OpenAIはその例として、コメントはウク

LINEヤフーは5月30日、知恵共有サービス「Yahoo!知恵袋」の「AI回答機能」に米Anthropicの大規模言語モデル「Claude 3」を追加すると発表した。Web版では5月29日から、iOSアプリ版とAnadroidアプリ版は6月4日から提供する。 AI回答機能は、OpenAIの生成AIを使って2023年11月に提供を始めたサービス。現在は457カテゴリーの質問に対応し、これまでに75万件を超える質問に回答したという。 新たにClaude 3にも対応したことで、1回の質問で複数のAIから回答がもらえるようになった。LINEヤフーは、「ユーザーの回答と2種類の生成AIによる回答がつくようになり、回答のバリエーションがさらに広がる」としている。 ヤフー知恵袋は、参加者同士が知識を教えあうナレッジ共有・検索サービス。04年にβ版としてサービスを始め、翌05年から正式サービスになった。

タイトルの結論は、「役に立つ」です。 役に立つか立たないかの議論は一切せず、本記事では、如何に統計や数学が実社会で役に立つかを紹介します。 はじめに こんにちは。ZENKIGENデータサイエンスチーム所属の廣田です。原籍はオムロンソーシアルソリューションズ株式会社 技術創造センタですが、社外出向でZENKIGENに所属しており、数理最適化や機械学習を用いたデータの分析業務、それらの結果に基づいた顧客への提案をしております[1]。 出向先であるZENKIGENの同僚にも、原籍のオムロンの同僚にも、統計検定®の準1級や1級を持っている方がいて、私も負けじと準1級を受験しました。結果、統計検定®準1級に合格し、優秀成績賞までいただくことができました。 統計検定®合格証と優秀成績賞 試験対策を通じて、改めて統計学の考え方は有用と感じました。この手の検定試験は物事を体系的に学ぶきっかけになるため、私

こんにちは。エムスリーエンジニアリンググループのコンシューマチームに所属している園田です。 普段の業務では AWS やサーバーサイド、フロントエンドで遊んでいるのですが、最近はもっぱら OpenAI や Claude3 で遊んでます。 今回は、最近巷で話題の LLM ローコード構築ツールである Dify の OSS 版を AWS のマネージドサービスのみを使って構築してみました。 DifyとはオープンソースのLLMアプリ開発プラットフォームで、様々なLLMを使用してChatGPTのGPTsのようなものがノーコードで簡単に作れます。 引用元: DifyでSEO記事作成を試してみる｜掛谷知秀 試しにAskDoctorsのガイドラインHTMLをナレッジ登録してみた ローカル環境で Dify を構築する記事はたくさん見かけますが、AWS のマネージドサービスで構築する内容は見かけなかった*1ので公

社内の技術共有会での発表資料です。 AI搭載エディタCursorの機能の紹介とKaggle等の機械学習コンペで使ってみて役立った点などを共有します

2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎研究室と横田研究室、産業技術総合研究所の研究チームで開発された大規模言語モデルSwallowの開発経験を踏まえ、学習データの構築、モデルの学習や評価などを説明し、日本語に強い大規模言語モデルの現状や課題を議論したい。

MetaとGoogle DeepMindの元従業員が立ち上げたAI開発企業のMistral AIが、同社初のコーディング用AIモデル「Codestral」を発表しました。Codestralはコーディングタスク専用に設計された生成AIモデルで、ソフトウェア開発者が高度なAIアプリケーションを設計するのに役立ちます。 Codestral: Hello, World! | Mistral AI | Frontier AI in your hands https://mistral.ai/news/codestral/ Mistral releases Codestral, its first generative AI model for code | TechCrunch https://techcrunch.com/2024/05/29/mistral-releases-its-first-

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — Edit (June 2)A big thank you to people who pointed out similarities to previous research in the comments. We realized that our architecture is very similar to OpenBMB’s “MiniCPM-Llama3-V 2.5: A GPT-4V Level Multimodal LLM on Your Phone,” who beat us to the implementation. We have taken down our original model in respect to the a

画像認識が可能なオープンソースモデルの「Llama 3-V」が公開されました。Llama 3-Vは、OpenAIのマルチモーダルモデル「GPT4-V」よりも格段に小型で、事前トレーニングにかかる費用は500ドル(約78000円)程度なのにもかかわらず、ほとんどの指標で同等のパフォーマンスを示しています。 Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars | by Aksh Garg | May, 2024 | Medium https://aksh-garg.medium.com/llama-3v-building-an-open-source-gpt-4v-competitor-in-under-500-7dd8f1f6c9ee 今回発表されたLlama 3-Vは、 Metaが公開した言語モデルの「L