タグ

関連タグで絞り込む (413)

タグの絞り込みを解除

*programに関するsh19910711のブックマーク (8,858)

  • GoogleのNotebookLMを使って複数論文レビューをする|genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請

    記事はNotebookLMを使った医学研究論文のレビュー方法について、実践的な知識を提供します。以下のような情報が得られます。 NotebookLMの概要と特徴について NotebookLMを使って複数の医学研究論文をレビューする方法が分かります。具体的なプロンプトの例も提示されています。 NotebookLMの長所(正確性)と短所(回答の制限、アップロード数の制限など)について NotebookLMを効果的に活用するためのTips(論文数の制限、ピン留めによる保存など) NotebookLMの概要NotebookLMは、Googleが開発した革新的な生成AIサービスです。ユーザーが指定したデータを基に、AIが回答や要約を行うことができます。2024.6.9時点では無料で使えますが今後有料化の可能性はあるかもしれません。最新のモデルであるGemini 1.5 Proが利用されており、10

    GoogleのNotebookLMを使って複数論文レビューをする|genkAIjokyo|ChatGPT/Claudeで論文作成と科研費申請
    sh19910711
    sh19910711 2024/06/12
    "NotebookLM: 論文に書いてある内容については答えてくれますが、書いていないような解釈や応用についてはあまり答えてくれません + 入力データに基づいて正確に回答するため、事実と異なる情報を生成するリスクが低い"
  • 生成AI活用の取り組み - 日清食品ホールディングス

    2024年3月14日 日清品ホールディングス 執行役員 CIO グループ情報責任者 成田敏博 生成AI活用の取り組み 生成AI活用の発端 “NISSIN AI-chat powered by GPT-4 Turbo” 2 PC版 モバイル版 4月3日 クリエーターズ入社式(Web社内報抜粋) 3 4月3日(月) にホテルニューオータニ東京において「2023年度 日清品グループクリエーターズ入社式・懇親会」を 執り行い、新入社員129名を新たに日清品グループの仲間として迎え入れました。 入社式は、安藤宏基CEOからのメッセージで幕を開けました。 話題のChatGPTを用いて、「日清品グループ入社式 ✕ 創業者精神 ✕ プロ経営者 ✕ コアスキル」のキーワード で生成したメッセージを披露いただき、テクノロジーを賢く駆使することで短期間に多くの学びを得てほしいと新入社員 を激励していただ

    sh19910711
    sh19910711 2024/06/12
    "食べ方アイデア出し + 製品在庫の確認 / 問い合わせ業務における改善効果: 回答に含むべき要素の網羅性が担保され、回答の有用性・可読性が向上 + オペレーターが未習熟な分野の質問に対してもより円滑に回答の作成"
  • Google Colabで時系列基盤モデルを試す①:Google timesfm|はち

    はじめにTransformerアーキテクチャにテキストデータを大量に読み込ませたらある程度あらゆる場面で使えるモデルができたというのがGPTやBERTなどの言語のFoundation Model(基盤モデル)です。 それと同じ発想で、あらゆる時系列データを読み込ませたら、あらゆる場面で使える時系列モデルが作れるのではないかという発想で作ったのが時系列の基盤モデルになります。 HuggingFaceにある商用可能なライセンスの時系列基盤モデルを4つ試し、比較していきたいと思います。利用するデータはETTh1という電力変圧器温度に関する多変量時系列データセットです。事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意してください。 google/timesfm-1.0-200m (今回) ダウンロード数:4.59k モデルサイズ:200m ライセンス:Ap

    Google Colabで時系列基盤モデルを試す①:Google timesfm|はち
    sh19910711
    sh19910711 2024/06/12
    "時系列基盤モデルを4つ試し比較していきたい / ETTh1: 電力変圧器温度に関する多変量時系列データセット / 事前学習にこのデータが含まれる可能性があるため、モデルの絶対的な評価に繋がらないことに注意"
  • DataExplorerパッケージで探索的データ解析を手助けする - Qiita

    概要 DataExplorerは探索的データ解析を手助けするR言語のパッケージ ggplot2パッケージをラップしており、関数ひとつでデータセットを可視化できる 可視化結果をまとめたHTML形式の定型レポート生成も手軽 前書き 探索的データ解析(EDA: Exploratory Data Analysis)とは? S-PLUS -トップ > 製品概要 > 探索的データ解析」より引用。 探索的データ解析は、1960年ごろより有名な統計学者J.W.Tukeyによって提唱されたもので、データの解釈にあたっては「まずモデルありき」ではなく、モデルを仮定する前に現実的な立場で、データの示唆する情報を多面的に捉えるという、解析初期のフェーズを重視したアプローチです。 それ以前は、あらかじめモデルを用意して、データをあてはめて確率計算を行っていました。しかし現実には、複雑な現実のデータ構造の中から、最適

    DataExplorerパッケージで探索的データ解析を手助けする - Qiita
    sh19910711
    sh19910711 2024/06/12
    "DataExplorer: ggplot2パッケージをラップ + 関数ひとつでデータセットを可視化 + 特徴量エンジニアリングに役立てられる関数も定義 / 離散変数中にある、低頻度要素をひとつにまとめる関数" 2019
  • darts-cloneを使って最長一致法で分かち書きしてみる - 株式会社ホクソエムのブログ

    ホクソエムサポーターの白井です。 呪術廻戦をみて喜久福がべたくなりました *1。 今回は形態素解析について深堀りしてみます。 日語の自然言語処理において、形態素解析は必ずといっていいほど通る道です。 形態素解析を必要としないSentencePieceのような深層学習向けのtokenizerも出現していますが、品詞単位で分割する形態素解析が重要であることは変わりありません。 そんなこんなで、『実践・自然言語処理シリーズ2 形態素解析の理論と実装』 (以降「形態素解析」と表記)を読んでいます。 リンク先の目次を見て分かるとおり、基礎の部分から実装まで説明されているです。 今回は4章で紹介されている darts-clone を使って、精度は粗いが高速で分かち書きができる最長一致法で、どれぐらい分かち書きが可能かを検証します。 事前知識・辞書引き darts-cloneを使ってみる 単語辞

    darts-cloneを使って最長一致法で分かち書きしてみる - 株式会社ホクソエムのブログ
    sh19910711
    sh19910711 2024/06/12
    "日本語の自然言語処理において、形態素解析は必ずといっていいほど通る道 / 最長一致法: 最初の文字から共通接頭辞検索し、一番長く一致した単語を採用する、ルールベースの分かち書き" 2020
  • Python による確率分布の推定と描画

    確率変数が与えられたとき,取りうる値の対応する事象を列挙して確率を求めるのは面倒ですし, 一般に,確率変数の数値がどのように生成されたのか,すなわち,それぞれの数値にどの事象が対応しているのかにはあまり興味がありません.代わりに,数値と確率の対応関係に注目します.確率変数の数値に対して確率を対応させる関数を確率分布と言います.例えば,サイコロの出目 X と,2 つのサイコロの出目の和 X+Y の確率分布は下図のようになります. サイコロの例では確率変数の取る値が離散的でしたが,連続値を取る確率変数を考えることもできます.離散型の確率変数では各値に確率が対応しますが,連続型の確率変数では各値に確率密度が対応します(後述). 確率分布 章では,連続型の確率変数を想定して理論説明を行ないます 確率変数に対応する確率の見方として,確率密度関数 (Probability Density Funct

    Python による確率分布の推定と描画
    sh19910711
    sh19910711 2024/06/12
    "累積分布関数: 統計物理学(とそれを理論的土台とする社会経済物理学)分野では上側確率で定義する習慣 + 分野でよく登場する関数である指数分布やベキ分布を観察しやすい / ベキ分布の CDF は両対数空間で直線"
  • HypothesisでREST APIのプロパティベーステスト(PBT)をやってみた - Qiita

    はじめに FastAPIで作ったREST APIのエンドポイントに対して、PythonのHypothesisを使ってプロパティベーステストを実施する方法を調べながら学んだので記事に残します。 記事の対象読者 プロパティベーステストの概要を知りたい方 Hypothesisでできることを知りたい人 OpenAPI仕様に沿ったREST APIのプロパティベーステストの流れを知りたい人 Hypothesisを学習した動機 REST API向けのプロパティベーステストに興味を持ったことがきっかけです。 PythonでREST APIのプロパティベーステストをする場合、有名なものとしてSchemathesisライブラリがあることを知りました。 Schemathesisは、APIのエンドポイントに対して多様な入力値を自動生成し、APIOpenAPI仕様(OAS)に沿った振る舞いをするかどうかをテス

    HypothesisでREST APIのプロパティベーステスト(PBT)をやってみた - Qiita
    sh19910711
    sh19910711 2024/06/12
    "Schemathesis: エンドポイントに対して多様な入力値を自動生成し、APIがOpenAPI仕様(OAS)に沿った振る舞いをするかどうかをテスト / Hypothesis: ストラテジという概念を使ってテストデータを生成"
  • AxonOnnxを使ってVGG16を読み込んで物体認識アプリを作ってみた - Qiita

    defmodule LiveOnnx.MixProject do ... defp deps do [ ... # 以下追加 {:axon_onnx, github: "elixir-nx/axon_onnx"}, {:stb_image, "~> 0.4.0"} ] end end ONNXを読み込めない? 2022/06/03 現在 まだまだ開発中のため読み込めないモデルが多々あるようです transformer系は注力していたようで幾つか成功しています onnx model zooのclassification https://github.com/onnx/models/tree/main/vision/classification のモデルは現在 importで失敗します 多分dynamic inputになってるせいかと思います dynamic inputはAxonOnnxでは現

    AxonOnnxを使ってVGG16を読み込んで物体認識アプリを作ってみた - Qiita
    sh19910711
    sh19910711 2024/06/12
    "Axon: Nxを使用して作られたディープラーニングフレームワーク / AxonOnnx: 読み込めないモデルが多々ある + transformer系は注力していたようで幾つか成功 / Elixir DesktopやNervesなどマルチプラットフォームへの対応の夢" 2022
  • LightGBMのCategorical Featureによって精度が向上するか? - Qiita

    簡単に ・LightGBMのパラメータ"Categorical Feature"の効果を検証した。 ・Categorical Featureはcategorical_feature変数に列名を指定するか、pandas dataframeのcategory型の列に対して適用される。 ・Categorical Featureへ設定する変数は、対象のカテゴリ変数を0始まりの整数に変換後、int型 or category型にするのが公式の推奨。 ・Categorical Featureを設定すると、必ず精度が向上するわけではない。 ・high-cardinality or low-cardinalityなカテゴリ変数のみをCategorical Featureに設定すると精度が向上する可能性がある。 初めに SIerでデータサイエンティストをしているSinchir0です。 データ分析コンペティショ

    LightGBMのCategorical Featureによって精度が向上するか? - Qiita
    sh19910711
    sh19910711 2024/06/12
    "LightGBMに最適な形でカテゴリ変数を処理してくれる / high-cardinalityな(=要素が多い)カテゴリ変数をone-hot encodingして決定木で扱う場合には、木を深くする必要がある + それを回避する" 2019
  • 学習済みELMoをAllenNLPで読み込む -りたーんず!- - やむやむもやむなし

    この記事は自然言語処理アドベントカレンダー 2019の15日目です。 きっかけ AllenNLPELMoForManyLangs ELMoの変換 1.Char Embedding 2.Char Convolution 3.Highway Net 4.Projection 5.Bi-LSTM config.json AllenNLPELMoを使った学習 まとめ 謝辞 参考文献 きっかけ [1] [2] [3] [4] ストックマークさんが気を出したんだ。 俺も覚悟を決めなくてはならない。 ということで、ストックマークさんがあらためて出してくれた学習済み日ELMoを使って、こちらの記事ではできなかった学習済みELMoをAllenNLPで読み込むことを今度こそ成し遂げます。 後述するELMoForManyLangs -> AllenNLPのスクリプトはGithubで公開しています。 g

    学習済みELMoをAllenNLPで読み込む -りたーんず!- - やむやむもやむなし
    sh19910711
    sh19910711 2024/06/12
    "AllenNLP: NLPの実験に特化した仕様 + さくっとモデルを作って実験を回すのに非常に便利 / Highway Net: Skip connectionのように層の出力値に入力値を足し合わせるような構造 / Char Convolution: charのembeddingに対して1d Convolution" 2019
  • 実戦でGodot Engineを採用する際に気になること - 非常口blog

    Godot Engineはオープンソースであり非営利のプロジェクトです。 開発はコミュニティによって行われ、コントリビュータ(貢献者)によって実際のコーディングが行われています。 これを聞くと、Godotは責任の所在が不明でアマチュア集団が作っていると勘違いされがちです。 偉い人の中にはこのような疑問を持っている方もいるのではないでしょうか? コンソールでちゃんとリリースできるの? トラブルが起きた時サポートされるの? 突然使えなくなったりしない? こういった疑問に対して、ある程度回答のようなものができたらと思います。 記事がGodot採用の一助になれれば幸いです。 コンソールでちゃんとリリースできるの? 結論から言うとできます。現にSwitchなどでGodot製のゲームがいくつもリリースされています。 ただしハードルは少しあります。まずOSSとコンソールプラットフォームは相性が良くない

    実戦でGodot Engineを採用する際に気になること - 非常口blog
    sh19910711
    sh19910711 2024/06/12
    "某商用エンジンがオープンソース化する際、コンソールのAPIにアクセスしているクローズドなソースコードもまとめてGitHubに上げてしまうという事件が起き / 界隈ではNDA違反じゃないかと話題に"
  • RAGで人間の脳を再現。「HippoRAG」を理解する

    はじめまして。ナレッジセンスの門脇です。生成AIやRAGシステムを活用したサービスを開発しています。記事では、RAGの性能を高める手法である「HippoRAG」について、ざっくり理解します。 この記事は何 この記事は、RAGの新手法として最近注目されている「HippoRAG」の論文[1]について、日語で簡単にまとめたものです。 「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 題 ざっくりサマリー HippoRAGは、RAGの性能を高めるための新しい手法です。オハイオ州立大学の研究者らによって2024年5月に提案されました。HippoRAGを使うメリットは、複数の知識を組み合わせて回答する必要があるような、複雑な質問に強くなることです。HippoRAGが従来のRAGに比べて、複雑な質問に強い理由は、ナレッジグラフと、それを継続的に

    RAGで人間の脳を再現。「HippoRAG」を理解する
    sh19910711
    sh19910711 2024/06/12
    "ナレッジグラフと、それを継続的にメンテナンスする仕組み / LLMを使って重要語句を抽出 + OpenIEでトリプルを作成 / マルチホップなタスク(MuSiQueとWikiHopQAなど)において、通常のRAGよりも高い性能"
  • 生成AIを用いた業務改善アイデアソンを開催しました

    こんにちは、ナウキャストのデータ&AIソリューションチームの藤井です。今回は、先日開催した、業務改善を目的とした社内AIアイデアソンのレポートを書いていこうと思います! 開催までの経緯Finatextグループは、生成AIに関連したソリューションを提供するデータ&AIソリューション事業を立ち上げ、生成AIを次の競争力の源泉にしようとしています。社内でも生成AI活用が進んでいて、社内専用のGPTチャットやSlackと連携した議事録要約システム等がリリースされています。また、全エンジニアGitHub Copilotを使えるようになっております。 僕も含めたエンジニアは業務において生成AIをフル活用しており、GPTにSQL文を書かせたり、コーディングの際にもGitHub Copilotを活用してます。 しかし、エンジニアが生成AIを活用している一方で、ビジネスサイドでも生成AIをもっと活用する余

    生成AIを用いた業務改善アイデアソンを開催しました
    sh19910711
    sh19910711 2024/06/12
    "エンジニアが生成AIを活用している一方で、ビジネスサイドでも生成AIをもっと活用する余地 / 企画の過程でAWS様に協賛いただけることになり ~ 審査員としてご参加いただくとともに、AWS賞をご用意いただけることに"
  • Rust製JavaScriptエンジン『Boa JS』を試してみた

    主要なJavaScriptエンジンのTest262を毎日実行して結果を載せているtest262.fyiというサイトがあります。 (Test262とは最新のECMAScriptを実装できているかどうかのテストです。) このサイトの、2024/6/5現在の実装率ランキングはこちらです。 test262.fyiの画面キャプチャ(2024/6/5) V8(ChromeやNode.js、Deno等)、JavaScriptCore(SafariやBun等)、SpiderMonkey(Firefox等)という、大手エンジンとほぼ横並びで4位にい込んでいるBoaとは何者でしょうか。 Boaは公式曰く『Rustで書かれた実験的なJavascriptのレキサー、パーサー、コンパイラー』です。これだけ揃えば、JavaScriptエンジンと言って差し支えないと思います。RustアプリケーションにJavaScri

    Rust製JavaScriptエンジン『Boa JS』を試してみた
    sh19910711
    sh19910711 2024/06/12
    "ユーザーが自分でJavaScriptを書いて使えるプラグインのような機能を提供したい / Boa: Rustさえあれば、Cargo.tomlに1~数行書くだけで使い始められ + 簡単に組み込めることをアピールしています"
  • [速報] CloudTrail LakeでAIを活用した自然言語によるクエリ生成機能が発表されました(Preview) #AWSreInfoce | DevelopersIO

    [速報] CloudTrail LakeでAIを活用した自然言語によるクエリ生成機能が発表されました(Preview) #AWSreInfoce あしざわです。 現在開催されているAWS re:Inforce 2024 のKeynote にて、CloudTrail LakeのAIを活用した自然言語によるクエリ生成機能が発表されました(Preview) AWS What's newブログ、AWS Blogの両方で発表されています。 AWS Blogをサラッと確認したところ、Previewでのリリース、利用できるリージョンも限られているようですが、個人的に激アツなアップデートです。 ブログでは、アップデートの概要を確認して、アップデート内容を実際に試してみます。 概要 CloudTrail LakeはCloudTrailアクティビティログを集約、分析できるマネージドデータレイクです。 Clo

    [速報] CloudTrail LakeでAIを活用した自然言語によるクエリ生成機能が発表されました(Preview) #AWSreInfoce | DevelopersIO
    sh19910711
    sh19910711 2024/06/12
    "CloudTrail Lake: 元々サンプルクエリの生成機能が優秀だった / CloudTrailイベントはマルチリージョンで収集されているのでバージニア北部以外のリージョンのログもクエリできます / 対応している言語は英語のみ"
  • 「スモールコンパイラの制作で学ぶプログラムのしくみ」を読んだ - orangain flavor

    最後まで実装したわけではないが、とりあえず関数呼び出しや四則演算を伴う鶴亀算のコードは動くようになり、あとは時間さえかければ機能を増やせるところまでできたので満足した。 結果として、知識としてなんとなく知っているレベルだったことに実感が伴うようになった。再帰的下向き構文解析とか、実行時のプログラムカウンターやスタックの動きとか。特に、関数呼び出しの時に引数をスタックに積んでから関数内のスコープから負のアドレスで参照するというのはなるほどだった。 スモールコンパイラ の制作で学ぶ プログラムのしくみ 作者: 石田綾,中田育男出版社/メーカー: 技術評論社発売日: 2004/11/09メディア: 単行(ソフトカバー)購入: 1人 クリック: 8回この商品を含むブログ (41件) を見る 例え話はわかりにくいがとっつきやすい このはずっと昔に買って、いつかやろうと思って棚に寝ていた。記憶が

    「スモールコンパイラの制作で学ぶプログラムのしくみ」を読んだ - orangain flavor
    sh19910711
    sh19910711 2024/06/12
    "ツッコミどころがあるゆえに、もっと詳しく勉強したくなる本 / 関数呼び出しの時に引数をスタックに積んでから関数内のスコープから負のアドレスで参照するというのはなるほど" 2017
  • プログラミング教育での悪い癖 - ビスケット開発室.

    先日,中学生にビスケットの授業をやったのですが,プログラミング教育の悪い癖が出てしまったので,ちょっと書いてみたいと思います. 1回目は90分でビスケットランドと感染やジャンケンなどをやりました.これはこれで定番な内容でそこそこ上手く行ったと思います.普段,幼稚園児を相手にしている反応の大きさと比べたら小さな反応でしたが. で,2回目で彼らにはもっと難しいことに挑戦してもらおうということで,倉庫番を作ってもらいました. 最近の人たちにはこのゲームはそんなに知られていないので,まずは簡単に説明してから,6名くらいのグループに1台,倉庫番が入ったタブレットを渡して遊んでもらいました. その後,ビスケットで倉庫番の作り方を説明して作ってもらいます.作り方の説明は一番遅い人に合わせてやっているので,すぐできてしまう人は暇なようで,たとえば,斜めに動けるようにするとか,いろいろと余計なものを作ってし

    プログラミング教育での悪い癖 - ビスケット開発室.
    sh19910711
    sh19910711 2024/06/12
    "簡単に作るという技術はまだ早かった / できないと思っていたことが(自分の発見で)できそうだ,ということに興奮したわけです.その興奮に水を差すようなことをしてはいけませんでした" 2017
  • 意思決定に繋げるための因果推論(DID)と PythonによるCausalImpact

    理想の組織も自分たちで作ろう! ―LayerXの「全員採用」を支える文化 / How to create our own ideal team

    意思決定に繋げるための因果推論(DID)と PythonによるCausalImpact
    sh19910711
    sh19910711 2024/06/12
    "差分の差分法: 介入による効果を検証しやすい + データが取得できれば単純 / 並行トレンドが仮定できない場合は別のバイアスがかかっている可能性(例: クーポン配布ユーザーは元々ヘビーユーザーである)" 2021
  • RustのHashMapがなんだか遅いらしい

    それは、Rustを使ってAtCoderの過去問を解いていたある日のことでした。どうにも正解が分からなかったため、解答例のコードを写経していたところ、Vecを使ってデータを管理しているコードが現れました。まぁでも、「インデックスより文字列で管理したほうが直感的だよな^^;」と、僕はHashMapを用いて実装したのでした。だいたいO(1)だし。 すると、不可思議なことがおこったのです。解答例のコードをそのまま書いた場合、つまりVecを使った場合よりも大幅に遅いではありませんか。そんな~;; ということで気になって調べてみたところ、公式で理由がずばり記載されていました。 RustのHashMapが遅いのはなぜですか? RustのHashMapはデフォルトでSipHashアルゴリズムを用います。これはハッシュテーブル衝突攻撃を防ぐように設計されており、また、さまざまな入力に対してそれなりの性能を提

    RustのHashMapがなんだか遅いらしい
    sh19910711
    sh19910711 2024/06/12
    "HashMap: 別途ハッシュ関数を指定することができ ~ 衝突耐性を排したハッシュ関数を指定してやることで、競技プログラミングをする上で十分に早いHashMapを利用できます / FxHasherを利用するのがよさそう" 2022
  • 『研鑽Rubyプログラミング』を読んだ

    研鑽Rubyプログラミング 実践的なコードのための原則とトレードオフを読んだ。モチベーションとしては最近Rubyistの間でよく話題にされていたので気になったというミーハーな気持ちと、仕事でよく書くのはRuby(というかRailsでアプリ開発するのが多い)ので何か得られたらラッキーくらいな気持ち半々。 どんなかについては他の著名なRubyistの方々が色々と書いておられるのでそちらを読む方が良いかもしれない。例えば「研鑽Rubyプログラミング」はライブラリ作者の知識・技術の幅と深さを拡大する1冊とかTechRachoの 『研鑽Rubyプログラミング』は英語版を買った人も買うべきとか。 またこのを一言で表した文章としてあとがきから引用すると下記が端的。 Rubyコミュニティのリーダーをして「完璧超人か」と言わしめるような優れたプログラマーが、「読者が『すでにRubyをよく知っている』こと

    『研鑽Rubyプログラミング』を読んだ
    sh19910711
    sh19910711 2024/06/12
    "個人的には第一部がクライマックス / 14章のプロファイリングとベンチマーク全般の記述と図書館に呪いの本を実装するギャグみたいなプラグインを書いていく8章の話が面白かった" 2023