データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ (https://findy.connpass.com/event/278140/) の登壇資料になります。
データ品質を重視したデータ基盤プロダクト開発
データ基盤アーキテクチャトレンド 2023 LTとパネルで学ぶ (https://findy.connpass.com/event/278140/) の登壇資料になります。
dbt docsを使ったデータカタログの運用事例紹介
テストの完了をゴールにしない！ ～仮説検証を繰り返し、開発・QA・ユーザーが交流しながら開発することで見えてくる理想の姿～ - #RSGT2024 #DevSumi / Shift left and Shift right
ChatGPT Code Interpreter を利用して、お手軽にデータ分析・可視化 - Taste of Tech Topics
カメラ好き機械学習エンジニアの@yktm31です。 先日、OpenAIから、公式のプラグインとして「Code Interpreter」が発表されました。 「Code Interpreter」は、ChatGPT上でPythonのコードを生成・実行する仕組みを持っています。 これまでも、ChatGPTで、プログラムのソースコードを出力することは可能でしたが、実行まではできませんでした。 「Code Interpreter」は、ChatGPTの有料版で利用することが可能ですが、ユーザーが自然言語で指示や要求を出すだけで、 ChatGPTがその内容を理解し、ソースコードの生成から実行まで行えたり、既存のコードを解釈してその動作を説明したりすることが可能になります。 openai.com 本記事では、この「Code Interpreter」を利用して、CSVファイルを元に、データの可視化を行ってみま
[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO
さがらです。 11月8日20時～22時に、datatech-jp(データエンジニアリング関係のコミュニティ)主催でみんなの考えた最強のデータアーキテクチャというイベントが開催されました。 本記事はこのイベントのレポートブログとなります。 イベント概要 ※connpassより引用 datatech-jpで集ったデータエンジニアが、それぞれみんなの考えた最強のデータアーキテクチャを紹介し合うという夢のような企画が実現しました！ たくさんの新しいプロダクトが群雄割拠する現在、モダンデータスタックなどという言葉も登場しています。 今こそ、どんなプロダクトを選び、どのようなデータ基盤を作れば、効率的にやりたいことが実現できるのか。 5人の猛者からおすすめの構成をご紹介いただきながら、参加者のみなさんとも一緒に考えていく時間としたいと思います。 おまけ：当イベントの応募者数 このイベントですが、なんと
![[レポート]みんなの考えた最強のデータアーキテクチャ #datatechjp | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f9486832be1a42a11ac2d244e8c51de11a34ab7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2F2022-11-08_19h35_04.jpg)
データ指向設計
こんにちは、Cygames Research の多胡です。これまで10年以上コンソールゲーム開発を行ってきていて、最近ではハイエンドゲームエンジンを制作しておりました。Cygames でもハイエンドゲームエンジンの開発に携わることになりました。 ゲームエンジン開発を行う上で重要な考え方にデータ指向設計 (Data Oriented Design) というものがあります。今回はこのデータ指向設計を例を交えながら紹介させていただきます。 背景 データ指向設計の考え方は 2009年頃から有名になりました。 この 30年で CPU の性能は1万倍以上になりましたが、メモリの転送速度は10倍にもなっていません。そのため、プログラムのボトルネックはメモリ帯域となることが多くなりました。ゲームにおいても CPU はほとんどの時間がメモリからのデータの転送待ちになっています。CPU の性能を引き出すために
互助会の構造をGephiで可視化してみる - ゆとりずむ
こんにちは、らくからちゃです。 以前ぶらっとインターネットをぶらぶらしていたら、こんな記事を見つけました。 『パナマ文書』の問題については、いいなー偉い人は沢山お金持っててさー、と遠い世界の話にしか感じられませんでしたが、解析手法については中々興味深いお話でした。 今回の流出事件では、2.6TBもの大量のデジタルデータが流出されたと言われています。しかし、このデータの中から、資金の流れの関連性を分析していくのは、人力では不可能に近い作業です。そこで今回力を発揮したのが『グラフ解析』という手法です。 グラフ解析とは何か グラフというと、折れ線であったり縦棒であったり、そういった数値を可視化するツールとしての印象をお持ちかもしれませんが、数学の用語としては様々な要素と要素の関係性を分析するツールという意味で用いられます。 つーても分かりづらいかもしれませんが、『人物相関図』のようなものと言えば
今年よかった習慣: ライフログ収集および可視化 - yasuhisa's blog
データを眺めるのが好き 収集している情報 実現方法 データから分かった知見(?) 今後 年末なので、今年買ってよかったものに引き続き、今年やってみてよかった習慣について書いてみたいと思います。 データを眺めるのが好き 昔からデータを眺めるのは好きだったんですが、今年の5月くらいから自分に関するデータをとにかく収集してみました。可視化することで何か有益な視点だったり、生活の改善点が見つかるのではないか、という目的です。色んなデータを集めまくった結果、以下のようなグラフができあがります。ちょっと画像が小さいですが、毎日の歩いた歩数や体重、気温、録画した番組名、自宅マシンの負荷状況などが載っています。 収集している情報 上の画像ではとりあえずBlogに上げれるようなデータしか見せていないですが、収集している情報としては以下のようなものがあります。使用しているスクリプトで公開できるものはgithu
統計局の公式アプリ『アプリDe統計』がちょっとデータがほしい時にかなり便利そう - Play Forward
ビジネスパーソンが資料作りなどで客観性を高くするために必要になってくる統計情報ですが、なかなかデータを探すのは面倒なもの。そこで統計局がお手軽に統計情報が分かるアプリをリリースしたので少し使ってみたのですが、これがちょっとしたデータがほしい時にかなり便利な優良アプリでした。 ◆ちょっとデータがほしい時にかなり便利な『アプリDe統計』 統計局の公認アプリというだけあって、統計局ホームページで探さなければゲットできないような統計情報がカンタンに分かります。 アプリを起動すると、地域ごとの統計情報、または日本にまつわる各種統計情報の2つを選択します。 ◆エリア別に統計情報がゲットできる 地域ごとの情報では、都道府県別にそれぞれ統計情報を入手できます。スマホアプリなのでGPS機能で現在地の市区町村データも分かるのが便利なところです。 例えば、目黒区だとこんな統計情報になっているようです。企業活動数
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ指向プログラミングの真実をお話しします
現実世界におけるスキーマ設計の妥協