使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
本資料は Tech Play イベント『データ基盤運用の工数削減に効いた俺的ベストプラクティス データマネジメントの勘所』での登壇資料です。 https://techplay.jp/event/940296 データ基盤を構築する際、多くの人が最初にdbt、BigQuery、troccoといったツール名を思い浮かべるかもしれません。しかし、ビジネス価値を生み出すデータ基盤を開発するためには良いツールを選定するだけでなく、「どの技術をいつのタイミングで導入するか」「関係者をどのように巻き込むか」といった観点も重要です。この発表では、製造業のDXを進めるCADDiが直面したデータの課題と、利用状況に合わせて段階的にデータ基盤を拡充していった過程についてご紹介します。
基礎から学ぶ統計学
本章では、二項検定を学びます。二項検定は、本書で学ぶ統計手法の中では、最も使用頻度が低い手法です。しかし、統計学の入門に最適な学習項目です。理由が3つあります。第一に、高校1～2年で学んだ数学だけで、この手法の原理を完全に理解できます。統計手法はたくさんありますが、唯一この手法だけは、全て手作りの計算で実行できます。第二に、面倒な検定統計量の計算を必要としません。第三に、二項検定には、検定の論理の全てが詰まっています。こうした理由から、読者のお父さんやお母さん、もしくは、お爺ちゃんやお婆ちゃんの世代では、二項検定は、高校の数学の教科書で解説されていました。この「とても分かりやすい」という長所を、活用しない手はありません。本書では、統計学の学習を、二項検定から始めます。本章では、当時の大学入試の頻出問題をさらに簡単にした例題を使って、学びます。… 本書の使い方 統計学を学ぶ心がけ／予備知識／
ノア・スミス「気候変動をよく理解したいならグラフをいろいろ見てみることだ。解決するのに脱成長なんか必要ないよ」（2024年２月13日）
気候変動に取り組むうえでの大きな困難の一つは、世の中に悪い情報源が蔓延していて、悪質な情報もばらまかれていることだ。左派の気候変動活動家たち（気候変動問題について何かしようと自身の時間と労力を費やす傾向が最も強い人たち）は、「100社の企業が世界の排出量の70％を引き起こしている」とか「10％の富裕層が排出量の半分を占めている」といった馬鹿げた主張をする疑似左派的な情報を入手してしまいがちだ。それから右派。彼らは、以前だと気候変動を否定することにやっきだったけど、最近になってグリーンエネルギーへの巨大な不信感（金融関係者を除けば、グリーンエネルギーは「恐怖、不確実性、疑わしい」）を煽り立てている。こうしたとりまく事象から、クタクタになってしまうんだ。結果、多くの人たちが、気候変動への議論を避けがちになってるんだと思う。 こうした状況には、本当にイライラしてしまう。世の中には、本当にたくさん
DB初心者が自作DBMS始めてみた - Qiita
この記事は DeNA 24 新卒 Advent Calendar 2023 の 23 日目の記事です。 TL;DR DBMSの基本的な仕組みを知るのに有益だったリソース CMUのDBMS講義 先人の素晴らしい自作DBMSの解説記事&ソースコードリーディング 小さな小さな自作DBMSの設計と実装 最小限SELECTやINSERTなど基本的なSQLが動く この記事のゴール データベースの内部構成を超ざっくり理解するために有用なリソースを知り、そして（全開発者のロマンである）自作 DBMS に一歩踏み出すきっかけになればうれしいです。 モチベーション 自分は普段業務でアプリケーションのような割と高レイヤーな開発がメインなこともあって、ミドルウェアやOS、ネットワークと言った低めのレイヤーに憧れを持っており、この気持ちをまずは自作DBMSをやってみることによって解放してあげようと思ったことがきっか
国立国会図書館サーチ、「メタデータ流通ガイドライン」＜研究データ編＞を公開
2023年3月30日付で、国立国会図書館サーチが「メタデータ流通ガイドライン」＜研究データ編＞を公開しています。 同ガイドラインは、デジタルアーカイブ、蔵書目録等のデータベースのメタデータ設計の関係者が、各機関の特性に応じた適切なメタデータの作成、流通経路の選択ができるように作成されました。2022年3月にドラフト版として＜共通編＞を公開していました。 国立情報学研究所（NII）・科学技術振興機構（JST）・国立国会図書館（NDL）連絡会議の「メタデータの相互運用性に関する検討ワーキンググループ」において、NII、JST、NDL、オープンアクセスリポジトリ推進協会（JPCOAR）、これからの学術情報システム構築検討委員会が共同で作成しました。＜研究データ編＞では、主に研究データのメタデータで採用される項目について説明しています。 今後も、メタデータ項目を随時追加・更新する予定であるとしてい
行政の統計資料のような非構造化データをGPTで構造化データに変換する｜mah_lab / 西見 公宏
今朝方GPT-4が発表されて、みなさん死ぬほど盛り上がってますねー。 GPT-4を使えば一発でできそうなネタではありますが、GPT-4 APIのお値段は3.5よりもお高めの設定なので、これからはどのように上手くGPTのバージョンを使い分けていくかが問われていくと思います。 というわけで今日は非構造化データを構造化データに変換する話です。 問題の背景行政が定期的に公開している統計資料をご覧になったことはありますでしょうか。ディスる訳ではないですが、以下に示すのは私が住んでいる富士吉田市の統計資料です。 統計ふじよしだ令和元年度版 - 商業 このように分かりやすい表で情報を提供してくれるのはありがたいのですが、数値データにはなっていないので分析に活用することができません。 GPTのパワーを使って、このような非構造化データを構造化データに変換できないか？というのが本日のお題になります。 コードP
データの民主化とこれからのAI組織｜ばんくし
はじめにStable DiffusionだとかChatGPT、LLMみたいな「大規模モデル」って考え方が機械学習業界から出て、スケーリング則に基づいてまだまだ精度が上がるとされている昨今。 （スケーリング則はどうのこうの諸説あるが）さておき、「マルチモーダルに」「あらゆるデータを学習した」「大規模なモデル」が今後数年リードしていく事は間違いないと思う。 そんな中で、我々機械学習エンジニアやデータサイエンティスト、アナリスト、データエンジニア、MLOpsエンジニアみたいな、いわゆるAI屋として働いている人たち、皆が所属するAI組織ってどうなっていくのかな、という話を書いてみる。 データの民主化AIの民主化とデータの民主化AI業界では「AIの民主化」というワードがある。 便宜的にAIというワードが広く使われるようになった辺りで出てきたワードで、OSSやプラットフォーム、ハードの発展によって「A
データ活用が事業貢献していることを示すための取り組み
2023年2月16日開催、サイバーエージェント メディア事業部主催のデータ活用に関する勉強会「メディアサービスにおけるデータ・AIの活用事例 #2」登壇資料です。 https://cyberagent.connpass.com/event/270224/
「データ分析の民主化」の在り方を、「社員全員Excel経営」が「社員全員データサイエンス経営」へと進化していった事例に見る - 渋谷駅前で働くデータサイエンティストのブログ
以前こんな記事を書いたことがあります。 「社員全員Excel経営」で名高い、ワークマン社のサクセスストーリーを論評したものです。2012年にCIOに就任した土屋哲雄常務のリーダーシップのもと、取引データの完全電子化を皮切りに「全社員がExcelを使いこなして数字とデータで経営する」戦略へと移行し、社内のExcelデータ分析資格を一定以上取得しないと管理職に昇進できないとか、はたまた幹部クラスの企画・経営会議ではデータに基づかない議論や提案は相手にすらされないとか、「Excelを社員全員が使えるようになるだけでもここまで企業カルチャーは変わり得るのか」という事例のオンパレードで、関連記事や書籍を読んでいて舌を巻いたのを覚えています。まさしく「ワークマンのすごいデータ活用」だったのです。 一方、個人的に強く印象を受けたのが土屋常務が様々なところでコメントしていた「我が社には突出したデータサイエ
No. 漫画名 作者 発行部数 巻数 1巻当たり発行部数 1 ワ..
No. 漫画名 作者 発行部数 巻数 1巻当たり発行部数 1 ワンピース ONE PIECE 尾田 栄一郎 4億9000万 103 4,757,282 2 ゴルゴ13 さいとう たかを 2億6000万 206 1,262,136 3 ドラゴンボール鳥山明 2億5000万 42 5,952,381 4 ナルトNARUTO岸本 斉史 2億5000万 72 3,472,222 5 名探偵コナン青山剛昌 1億5650万 102 1,534,314 6 こちら葛飾区亀有公園前派出所秋元 治 1億5000万 201 746,269 7 鬼滅の刃吾峠呼世晴 1億3500万 23 5,869,565 8 美味しんぼ雁屋哲 1億2029万 111 1,083,694 9 スラムダンクSLAMDUNK 井上雄彦 1億2000万 31 3,870,968 10BLEACH ブリーチ久保帯人 1億 74 1,35
総務省「社会人のためのデータサイエンス演習」リニューアル開講 無料で学べる
総務省は10月4日、無料のオンライン講座「社会人のためのデータサイエンス演習」をリニューアルして開講した。AI技術などの最新動向を踏まえ、一部を改訂した。開講期間は12月13日まで。 2016年の開講からのべ5万7000人が受講した講座。データサイエンスに携わる専門家や大学教授が、データサイエンスを基礎から教える。 MOOC講座プラットフォーム「gacco」で、1回10分程度の講座を5～7回で提供。さらに、補講・演習（10分程度×11回）もある。 リニューアルで最新トピックスを追加したほか、仮説検定や統計解析ソフトを使ったデータ分析方法を紹介するなど、内容を一部刷新した。 登録すれば誰でも無料で受講できる。受講登録は12月5日まで。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデ
GovRep|政府報告書の検索サイト
政府の各府省庁が、コンサルティング会社やシンクタンクなどに委託して作成した委託調査報告書や審議会のとりまとめ報告書、その他ガイドラインなどを一括して検索することが可能です。各府省庁の政策動向を調べたり、特定分野を詳しく知りたいときにご利用ください。
データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ
「データ整備ってなに？」－マニュアルを使ってデータ整備に挑戦してみた－ - 週刊アスキー
※新型コロナウイルスに関係する内容の可能性がある記事です。 新型コロナウイルス感染症については、必ず1次情報として厚生労働省や首相官邸のウェブサイトなど公的機関で発表されている発生状況やQ&A、相談窓口の情報もご確認ください。またコロナワクチンに関する情報は首相官邸のウェブサイトをご確認ください。※非常時のため、すべての関連記事に本注意書きを一時的に出しています。 東京都 デジタルサービス局 デジタルサービス推進部です。（旧 次世代通信推進課note）。デジタルサービス局は、デジタルの力を活用した行政を総合的に推進し、都政のQOSを飛躍的に向上させるため、新たに設置した組織です。その中で、ネットワーク推進課は、東京の成長戦略やICT利活用の更なる推進のため、2019年（平成31年）4月に新たに設置された組織です。その中で、次世代通信推進課は、TOKYO Data Highwayの構築を推進
無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説
データのじかんトップ > 新着記事一覧 > データ活用 > 無料で地図データを分析できるソフトウェア「QGIS」とは？ダウンロード方法や基本の使い方を解説 ビジュアライズされた地図からマーケティング計画を練る、災害発生時のBCPを俯瞰的な視点から練り上げる……。 メタバースの世界が拡大しているとはいえ、まだまだ職場や自宅の存在する“土地”に根差して生活している我々にとって、地図データはときに非常に有用なデータとなります。 そこでこの記事で、有用な無料ツールとしてご紹介したいのが「QGIS」。その取得方法やメリット、簡単な利用法についてデモとともに解説いたします！ QGISとは？ ダウンロードする方法は？QGISとは、無料で使えるオープンソースのGISソフトです。 Windows、Mac、Linux、Unix、Androidなど、iOSを除く主要なOSのほとんどに対応しており、機能は有償ソフ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
面倒な「ダミーデータ作成」をChatGPTに任せる〜Code Interpreterの限界までリアリティを追求した作業の記録【イニシャルB】
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
「登記所備付地図」の電子データを法務省が無償公開→有志による「変換ツール」や「地番を調べられる地図サイト」など続々登場【地図と位置情報】
もやし（@w_coast_0330）さん / X
データマイニング入門
