こんにちは。4月に24新卒として入社しました、技術本部 研究開発部の金髙です。大学院では政治学の研究をしていました。 本記事では、筆者が2024年2月から約1カ月間の内定者インターン時代に取り組んだ内容の一部である「ベイジアン操作変数法を用いたA/Bテスト」について紹介します。 背景 なぜA/Bテストで操作変数法なのか？ Encouragement design One-sided Noncompliance なぜA/Bテストでベイズなのか？ ベイジアン操作変数法 データ生成過程 事後分布 LATEの事後分布推定 シミュレーションしてみる おわりに References 背景 筆者が現在所属している研究開発部のチームでは、データドリブンな意思決定やデータ活用促進を目標に掲げています。その一環として、A/Bテストを積極的に行っており、筆者は中でも「Sansanモバイルアプリ内訴求」に関するA

Timee × Commune データチーム勉強会より

◎「文系社員」でもデータ分析できる生成AIマニュアル by OUTPUT CAMP meets AI◎ 「イベントアンケートを取ったが、集計する時間がない」「販売データを収集したものの、分析手法が分からない」 文系のビジネスパーソンにとってデータ分析は、「やったほうが良さそうだが後回しにしてしまう」プラスアルファの仕事だ。大義名分がなければ他部署に依頼するのも難しい。 そこで頼れる相棒となるのが、生成AI（ジェネレーティブAI）だ。 AIプロピッカーの三菱総合研究所・比屋根 一雄さんはこう予測する。 「みんながミクロな意思決定に生成AIを使って、少しでも良い意思決定ができるようになると、世の中全体がデータに基づく合理的で無駄の少ない仕事をできるようになる。壮大なことを言えば、低いと言われている日本の生産性が、少しでも上がるのではないかという期待もしています。」 では、具体的にどの生成AIツ

前回はpandasのDataFrameオブジェクトの生成とloc属性／iloc属性と軸ラベル／インデックスを組み合わせて要素を選択する方法について話しました。今回はDataFrameオブジェクトに関するさまざまな情報を調べたり、別の種類のオブジェクトに変換したりするのに使える属性やメソッドを紹介していきます。 DataFrameオブジェクトの要素の型／形状／次元数などを調べるには 本連載の第1回ではheadメソッドなどを紹介しましたが、ここではまずDataFrameオブジェクトそのものについての情報、例えばどんな種類のデータを格納しているのかや、その形状（何行何列のデータなのか）などを調べる方法を紹介します。ここでは以下に示すコードで生成したDataFrameオブジェクトを例に取りましょう。 df = pd.DataFrame([{'name': 'kawasaki', 'age': 80

こんにちは．協業リテールメディアdivでデータサイエンティストをしています須ヶ﨑です．本日はLLMを用いて専門性の高いデータを読み解くというトピックをご紹介します． また，実際にオープンデータである気象データと，NYCタクシーデータを読み解く例をご紹介します． 専門性の高いデータの読み解きがスケールする嬉しさ 今回の記事での「専門性の高いデータ」とは，気象データや株価推移，POSデータ，時系列行動データ，車の運転データ，センサーデータなど，データ自体が直感的に理解しにくく，理解するためには一定の分析，及び，その読み解きを必要とするようなデータを指しています． さまざまなビジネスにおいて，色々な分野のデータが当たり前に集められるようになり，データの価値やその活用がとても重視されるようになってきています．これらのデータを基軸としたデータ分析によって、顧客のニーズを的確に把握し、効果的なマーケテ

AI事業本部 協業リテールメディア Div. の青見 (@nersonu) です。2023年11月に中途で入社したため、5月でようやく入社半年を迎えました。社内 Slack の times で有給休暇が付与されて喜んでいる(？)様子を御覧ください。 有給休暇に喜ぶ筆者 そんな社歴半年のペーペーですが、普段は機械学習エンジニアと強い気持ちで名乗ってお仕事をしています。特にうまい繋ぎも思いつかないので、記事の本題に入りましょう。 近年、 LLM に関する話題は尽きることはありません。研究領域やビジネス領域といった概念にとらわれず、わたしたちの生活のすぐそばで、今まさに違和感が少しずつ取り除かれながら社会に溶け込んでいっていると感じます。そんな LLM ですが、自然言語というデータの枠に収まらず、様々なタスクへの適用の試みが日夜行われています。そんな挑戦的な数多あるトピックの中から「表形式データ

D＆AやAIなどに取り組むリーダーには「経営層との密接なコミュニケーション」が不可欠　ガートナージャパン：価値を「分かりやすい形で示すこと」が重要 ガートナージャパンは、年次調査「最高データ／アナリティクス責任者（CDAO）サーベイ」の結果を発表した。それによると、61％の組織が「破壊的なAI（人工知能）技術の影響を受けて、データ／アナリティクスのオペレーティングモデルの進化や再考を余儀なくされている」という。

この連載は、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ『社会人1年生から学ぶ、やさしいデータ分析』連載（記述統計と回帰分析編）の続編で、確率分布に焦点を当てています。 この確率分布編では、推測統計の基礎となるさまざまな確率分布の特徴や応用例を説明します。身近に使える表計算ソフト（Microsoft ExcelやGoogleスプレッドシート）を使いながら具体的に事例を見ていきます。 必要に応じて、Pythonのプログラムや統計ソフト「R」などでの作成例にも触れることにします。 数学などの前提知識は特に問いません。中学・高校の教科書レベルの数式が登場するかもしれませんが、必要に応じて説明を付け加えるのでご心配なく。肩の力を抜いてぜひとも気楽に読み進めてください。 筆者紹介： IT系ライターの傍ら、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大

マケデコという主に株式関連のマーケットAPIを活用し、分析や予測モデルを構築しているbotterのDiscordコミュニティをJPX総研様と運営しています。本記事は2024/4/25に開催された「テンバガーはデータ分析で見つかるのか？」イベントのまとめ記事です。 概要 「機関投資家だけが知っている「予想」のいらない株式投資」の著者であり、元フィデリティ投信のファンドマネージャーである泉田良輔氏にお越しいただき、前半は著書の内容をベースに「テンバガーはデータ分析で見つかるのか？」というテーマについて講演いただきました。 その後、こちらの内容を受けてUKIさんと駄犬さんをおまねきして、パネルディスカッションを開催いたしました。 当日の動画はYouTubeで公開中です。 https://www.youtube.com/watch?v=eUZ70vl9Jvk 泉田良輔氏による「テンバガーはデータ分

はじめに こんにちは、検索基盤部の伊澤です。検索基盤部では普段から、ZOZOTOWNの検索機能に関するデータ分析や、データ分析を踏まえた検索性能の改善に取り組んでいます。 検索に関するデータ分析では、検索クエリの傾向把握や課題のあるクエリの特定のために、検索クエリごとの検索結果のクリック率やコンバージョン率といったパフォーマンス指標を評価しています。 本記事では、検索クエリごとのデータ分析に関する情報共有を効率化するため、ウェブフレームワークの「Dash」で開発したダッシュボードを活用した事例を紹介します。 目次 はじめに 目次 検索クエリごとのデータ分析の重要性 分析結果のチーム内共有時の課題 Dashを用いたダッシュボードの開発 Dashとは Dashを選定した理由 検索クエリごとのパフォーマンス指標のダッシュボード 1. 検索クエリごとのパフォーマンス指標のテーブル 2. 検索クエリ

ワークマンの公式Xアカウントより 作業服チェーン運営会社ワークマンが、社員にプログラミング言語「Python」を習得させ、データ分析や予測、人員配置などの業務に活用していることが注目されている。流通業に従事する社員が畑違いのプログラミングを学習して業務に活用するというのはハードルが高いようにも思えるが、プログラミングは職種に関係なくすべてのビジネスパーソンにとって必須の知識・スキルになるという指摘も聞かれる。ワークマンのような事例は今後増えていくのか。専門家の見解を交えて追ってみたい。 全国に作業服販売の「ワークマン」を約400店舗、一般消費者向け機能性ウェアなども扱う「ワークマンプラス」を約550店舗展開するほか、2020年から出店を始めたレディースウェアの「＃ワークマン女子」も50店舗を超えるなど勢いに乗るワークマン。同社では全社的に積極的にマイクロソフトの表計算ソフト「Excel（エ

データ分析に興味はあるけれど、どこから手を付けていいか分からない……そんなあなたにぴったりなのが、この無料の電子書籍『Excelで学ぶ、やさしいデータ分析』です。ここから、データ分析の第一歩を気軽に踏み出してみましょう！ この電子書籍は、「Microsoft Excel」「Googleスプレッドシート」など日常的に触れる表計算ソフトウェアを使って、自分の手で体験しながら段階的に学べるように設計されています。概念や手順は誰でも理解できるように丁寧に易しく説明されており、数学やプログラミングの前提知識も必要ありません。 本書は、データ分析を初歩から学びたい方々に向けた「包括的な教科書」として、データの取り扱い方から基本的な分析方法まで、幅広いテーマを網羅しています。具体的には、以下の全16回で構成されています。 データ分析の基礎： 第1回　データ分析を学ぶべき理由と連載概要 第2回　前提基礎：

はじめに この記事は、大学1,2年生で大学の授業で少しプログラミングの授業を受けた学生に対して、pythonを実際に動かしながら実験データの解析をする方法を紹介している。 Colaboratoryを使ってpythonコードを実行する。 ColaboratoryはGoogleが提供している環境で、ブラウザ上でpythonを記述し、クラウドサーバー上でコードの実行を可能とする。自分の使っているパソコンの性能に依らず、GPUやTPUなどのGoogleのハードウェアを活用できることが一番のメリットである。 使い方 ブラウザ上でColaboratoryと検索し以下のページに行く。左上の”ファイル”を選択し、ノートブックを新規作成を選択する。 Googleドライブをマウントする。 Googleドライブ内のデータにアクセスするためにGoogleドライブに接続(マウントと言う)する。colaborator

The Python Graph Gallery has always been a reservoir of inspiration, providing hundreds of foundational chart examples for newcomers and seasoned developers alike. While our vast collection offers a stepping stone into the world of data visualization, the following list stands out. Every chart here represents the pinnacle of craftsmanship, exhibiting the depths to which matplotlib can be customize

👋 The Python Graph Gallery is a collection of hundreds of charts made with Python. Graphs are dispatched in about 40 sections following the data-to-viz classification. There are also sections dedicated to more general topics like matplotlib or seaborn. Each example is accompanied by its corresponding reproducible code along with comprehensive explanations. The gallery offers tutorials that cater

連載目次 本シリーズと本連載について 本シリーズ「Pythonデータ処理入門」は、Pythonの基礎をマスターした人を対象に以下のような、Pythonを使ってデータを処理しようというときに便利に使えるツールやライブラリ、フレームワークの使い方の基礎を説明するものです。 Pythonだけを覚えれば何でもできるわけではない、というのはハードルが高く感じられるかもしれません。それでもプログラミング言語に関する基礎が身に付いたら、後は各種のツールを使いながら、言語とツールに対する理解を少しずつ、しっかりと深めていくことで自分がやれることも増えていきます。そのお手伝いをできたらいいな、というのが本シリーズの目的とするところです。 なお、本連載では以下のバージョンを使用しています。 Python 3.12 pandas 2.2.1 pandasとは pandasはデータ分析やデータ操作を高速かつ柔軟に

作業服チェーンの「WORKMAN（ワークマン）」やアウトドア・アスレジャーなどの機能性ウエアをも取り扱う「WORKMAN Plus（ワークマンプラス）」などを展開するワークマン（群馬県／小濱英之社長）。これまでエクセルを用いたデータ経営を推進してきたが、2021年から「AI Ready企業」を標ぼうし、プログラミング言語「Python（パイソン）」の活用により、データ分析をより高度化しようとしている。データドリブン企業として成功を収めている同社の現在地について専務取締役の土屋哲雄氏に話を聞いた。 「AI Ready企業」を掲げ社員のPython習得を推進 ──土屋専務はワークマン入社後、表計算ソフト「Excel」を用いて各従業員が販売や店舗運営に関するデータ分析・活用を行う「エクセル経営」を推進してきました。まずはその背景と意図について聞かせてください。 土屋哲雄（つちや・てつお） ●19

はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ