Demystifying attention, the key mechanism inside transformers and LLMs. Instead of sponsored ad reads, these lessons are funded directly by viewers: https://3b1b.co/support Special thanks to these supporters: https://www.3blue1brown.com/lessons/attention#thanks An equally valuable form of support is to simply share the videos. Demystifying self-attention, multiple heads, and cross-attention. Inst

こんにちは、プロダクト開発部のyuyaです。 私の記事は今回で3記事目になります。 1記事目と2記事目は、年齢確認書類の自動マスキングシステムについてご紹介しました。 まだ未読の方は、ぜひご覧ください。 今回は、同一画像検知アルゴリズムの紹介Part1になります。 背景マッチングアプリのコンセプトにそぐわない利用を行おうをするユーザー（以下、不正ユーザー）は、複数のユーザーを作成し、同じ年齢確認画像を使い回す傾向があります。 マッチングアプリでは不正ユーザー対策の一環として、同一画像検知機能が稼働しています。 具体的には、ユーザーから年齢確認画像を受信した際に、過去にアップロードされた同じ画像を表示してくれる機能です。 今回は、そのアルゴリズムを2回に分けて詳しく紹介します。 解説の中では、視覚的にわかりやすいように図やアニメーションを用いています。 不正ユーザー画像の傾向不正ユーザーが同

はじめに 本記事では Vertex AI Matching Engine とは何かを簡単に説明して、使い始めるための手順を説明します。本記事の目的は、ベクトル検索を実現するために Matching Engine を使えるようになってもらうことです。 記事全体を理解するためにはある程度のクラウドやプログラミングの知識が必要です 必要に応じて補足したり、リンクしたりしています Matching Engine の背景にある論文等の解説はしません 使い始めるための手順の中でいくつか選択肢があるとき、今後主流になりそうな選択肢の手順のみを説明します とにかくまずは使ってみたいという方は、Vertex AI Matching Engine を使ってみるまで読み飛ばすか、次のチュートリアルを実施してください。 ベクトル検索で何ができるの？ 昨今ではテキスト、画像、ユーザー行動など様々なものを機械学習モデ

フィードバックを送信 Vertex AI Pipelines の概要 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 Vertex AI Pipelines では、ML パイプラインを使用して ML ワークフローをオーケストレートすることにより、サーバーレス方式で機械学習（ML）システムの自動化、モニタリング、管理を行うことができます。Kubeflow Pipelines または TensorFlow Extended（TFX）フレームワークを使用して定義された ML パイプラインをバッチ実行できます。ML パイプラインを定義するためのフレームワークを選択する方法については、パイプラインを定義するインターフェースをご覧ください。 このページでは、次のトピックの概要を説明します。 ML パイプラインとは ML パイプラインの構造 パイプラインのタスクとコンポ

G-genの大津です。 Google Cloud (旧称 GCP) において Amazon S3 にあるデータを BigQuery に取り込む方法のひとつとして、BigQuery Omni があります。 BigQuery Omni を使うと、 Amazon S3 を外部データソースとして、 BigQuery からクエリを実行することができます。 今回は BigQuery Omni の使い方や注意点などをまとめてみました。 BigQuery Omni とは AWS側での操作 Amazon S3にデータを用意する IAMポリシーとIAMロールの作成 Google Cloud 側の操作 BigQuery Connection API を有効にする BigQuery 外部接続の作成 データセットを作成する テーブルを作成する BigQueryからAmazon S3にクエリを実行する BigQuer

1. Seuratのインストール まず、RにSeuratをインストールしないといけません。Seuratの他にHdf5ファイルを読み込むためのhdf5rもインストールしましょう。インストールのコマンドは以下です。 1.1 Biocondaでインストール（おすすめ） 何かをインストールするとき、Biocondaでインストールできればそれが一番簡単です。ターミナルの画面で、R環境に入ってない状態で、以下のコマンドを入力します。

お知らせ 【重要なお知らせ】iOSアプリの運用および提供を2024年6月3日(月)を以て終了いたします。詳細は お知らせをご覧ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用申請及び審査がございます。詳細はヘルプページをご確認ください。 5月 24 第１回: 書籍 Machine Learning in Elixir の内容でハンズオン お酒の肴をつくり、それをつつきながら、書籍の内容をもとにハンズオンします。

TL;DR 機能 経緯 関連パッケージ python-romkan alkana.py poetryを使ってpypiに登録する TL;DR ありそうでなかった、アルファベットをカタカナに変換するや〜つを作りました。*1 github.com ABC を エービーシー に変換します。 読みの付与に使うことを目的としています。 pypi にも登録したので pip でインストールできます。 pip install alphabet2kana ぜひ使ってみてください。 機能 jaconv の実装に習って a2k という関数で変換できます。 A は エー といったように、単純変換です。 ローマ字読みは しません 。(下に記載の関連パッケージを使うとよいです) from alphabet2kana import a2k a2k("ABC") # エービーシー 日本語が混じっていても使えるようになってい

てぃば┃CHIBA Reimi @rechiba3 まさか薬王堂さんとのW登壇がくる日があったなんて😂東北人ホイホイだよ〜〜！ ファクトブックは、自社のファストパーティーデータを可視化した資料をもとに多種多様な職種で読み会する試みです📖興味のある方ぜひ💁 LIFULL AI Hub 100 ミニッツ ＃2 「ファクトブック」 lifull.connpass.com/event/317177/ 2024-05-23 17:13:07 シンギュレイトのAndo-san｜ピープルアナリティクスで組織開発を支援中 @Cingulate_inc 今回のLIFULL AI Hub 100ミニッツでは、データを全社に普及させるためのノウハウを共有。不動産業界のLIFULLとドラッグストア業界の薬王堂という異業種コラボ。実務家と経営者の視点からお話を伺います。 データ読み会である「ファクトブック」の

でかい釣り針が来たので釣られてみる。とりあえず以下の資料を読んでいただきたい。そんなに長くないのでサクッと読める。 SQLの記述順序と思考の順序が違うので書きにくいし、エディタの補完機能の恩恵が受けられないのが嫌だ、という意見はもう大昔からある。何度も何度も何度も繰り返されてきた議論である。以下の2011年のスレッドでも「SQLはFROM句が最初に来るべきではないか？」という問いが提起されている。すぐに出てこないが、筆者はこれより古い文書も見た記憶がある。

この記事は「Google Cloud Platform Advent Calendar 2020」の8日目の記事です。 はじめに BigQueryを使い始めた方から、よくクエリ課金の質問を受けることがあります。 今回はクエリ課金に関する考え方を整理してみました。 BigQueryの料金（ストレージ料金、クエリ料金）の考え方は次のとおりです。 BigQueryは、データを置いていると「格納されているデータの量」に基づいて課金されます。 BigQueryは、クエリを実行すると「処理されたバイト数」に基づいて課金されます。 公式ドキュメントの料金のページ https://cloud.google.com/bigquery/pricing データを置いているプロジェクトとクエリを実行するプロジェクトが同じ、という場合は、どちらも同じプロジェクトに課金されるので分かりやすいでしょう。 それでは、ある

概要 BigQueryはIAMロールを設定する際にハマる事が多いので、アーキテクチャを理解しておくときちんと権限付与することができます。 BigQueryのアーキテクチャ BigQueryのアーキテクチャは以下のように ストレージ コンピュート の大きく２つに分かれています。 ref: An overview of BigQuery's architecture and how to quickly get started | Google Cloud Blog そのため権限もこの２つを意識して設定する必要があります。 またストレージに関しては↓で説明したようなリソース階層（レベル）も意識する必要があります。 christina04.hatenablog.com 具体的には プロジェクト（組織、フォルダ） データセット テーブル と対象が細かく分かれています。 権限設定 BigQueryの

概要 Google Cloudのデータ ウェアハウスであるBigQueryのデータセットのアクセス制御を行う２つの方法について解説します。 データセット自体が持っているアクセス制御機能を利用する方法 IAM Conditionsを利用して、データセットのアクセス制御を行う方法 また、２つの設定の使い分け方法やそれぞれを利用する際の注意点、両方設定した場合はどちらが優先されるのかなど記載します。 データセット自体が持っているアクセス制御機能を利用する方法 アクセス権を付与したいデータセットを選択し、共有メニューから「権限」を選択します。 「プリンシパルを追加」ボタンを押下します。 対象のプリンシパルを入力し、割り当てたいロールを選択します。 「保存」ボタンを押下し、設定を保存すると、対象のデータセットへのアクセス権が付与されます。 IAM Conditionsを利用して、データセットのアクセ