ゼロから始めるDagster・すぐに使える実践ガイド
はじめに 本ドキュメントは、Dagsterのシステムコンセプトについて基本的な内容を要約・再整理した、Dagster導入のガイドです。 Dagsterの概念は、データオーケストレーションに特化されているところから独特のコンセプトを用いているところがあります。そのため、特に難しく重要な内容を要約し、理解の助けにするところを目指しました。また、公式ドキュメントの構成も十分に整理されていない部分もあり私なりに再構成してあります。用途に応じ目次を参照しつつ拾い読みしながらご活用いただけると幸いです。 Dagsterのシステム概要 以下は公式から引用したDagsterのシステム概要図です。Dagsterのサービス(Long-runnning services) とサービスから生成される Job(Ephemeral Process) の関係を示します。 図にはk8s(Kubernetes)とありますが
MOTHER敵データ集 | Fortuna
まさか最初の敵が、この「でんきスタンド」だとは思ってもみませんでした。 ということで、いきなりですが、 好きなモンスターベスト3 1、おにいさん・・・バトルの音楽が大好きです。コントローラー置いて聞いちゃうくらい(笑) 2、おまけビューン・・・挨拶をして通り過ぎるさわやかな敵は後にも先にも彼(?)だけ!! 3、べアル・・・目がパッチリな所がかわいいかと。熊っぽいけど緑なとことか・・・良いのか？ 苦手なモンスターベスト3 1、デストラック・・・排気ガスを吹きかけられて形勢逆転。やられる前にやれ精神。 2、かっちゅう・・・ディフェンスアップとオフェンスアップを使って、必死に倒した覚えアリ。 3、だいウッドー・・・倒すと爆発する、ダメージが大きいので戦後の回復は必須です。 あなたの好きなモンスター、苦手なモンスターは何ですか？ マザーズデイ周辺 冒険を始めよう
注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 - Findy Tools
公開日 2024/05/27更新日 2024/05/27注目のITサービスを支えるアーキテクチャ特集 技術選定のポイントと今後の展望 現代のITサービスは、ユーザーに高品質で安定した体験を提供するために、より効率的で柔軟な技術選定が不可欠です。 本特集では、注目企業のシステムアーキテクチャ設計に携わるエンジニアの方々より、それぞれの技術選定における工夫と、未来を見据えた展望についてご寄稿いただいています。 各企業がどのように課題を乗り越え、開発生産性や品質を向上させるためにどのようなアプローチを採用しているのか ー この記事を通じて、実際の現場で活用される最先端の技術や戦略を学び、皆さんのプロジェクトに役立つ洞察を得ていただければ幸いです。 ※ご紹介はサービス名のアルファベット順となっております airCloset - 株式会社エアークローゼット エアークローゼットは日本初・国内最大級、女
ネットワーク越しリトライ考 - その手の平は尻もつかめるさ
ここ最近では何らかのインターネットサービスを構築・運用するにあたって、ネットワーク越しのリトライを考えることは避けられなくなりつつあります。 micro services のようなアーキテクチャを採用している場合はサービス間のメッセージのやり取りはまず失敗する前提 (つまりリトライをする前提) で組む必要がありますし、たくさんのクライアントがいてそのクライアントが定期的に何かを処理してセントラルにデータを送ってくる IoT のようなシステムを構築する時もその処理のリトライをよく考える必要があります。 というわけで「ネットワーク越しのリトライ」についてここ最近考えていることをざっくりと書き留めるものであります。 前提 リトライをする側をクライアント、リトライを試みられる側をサーバと呼称します リトライにおいて、サーバおよびネットワークはクライアントよりも弱者です クライアントはリトライをコン
DuckDBでお手軽！データフェデレーション - Techtouch Developers Blog
tl;dr はじめに DuckDB とは DuckDB では何が読めるのか 使ってみる S3 上のJSON を読んでみる リレーショナルデータベース 他ツールではなく DuckDB を使うメリット しくじりポイント （特にリリースされたばかりの）バージョンには気をつける S3 のオブジェクト数が多い場合不都合がありがち スレッドの調整が必要な場合も Redshift には未対応 終わりに 付録 MySQL のデータを読み込む例の MySQL 側の準備 tl;dr DuckDB 便利だよ。分析以外でも使えるよ 色々な場所のデータを閲覧・結合できるよ。標準SQLも使えるよ ただし、細かい落とし穴は色々あるので気をつけてね はじめに2023年4月にデータエンジニアとして入社したmin（@not_rogue）です。暖かくなるにつれ、YouTube で見た南伊豆ロングトレイル | 松崎町に行く機運が
Yahoo!チャットって場所があったんだよ
昔さ、Yahoo!チャットって場所があったんだよ。お前は知らないかもしれないがな。 当時はみんなホームページってやつを持っててな、誰が読むんだかしらねえ自己紹介とか何番目の訪問者です！ってのやっててな、ひどいとこになると熊のアイコンみたいなのがビュンビュンとカーソルを追いかけてくんだ。ありゃ恐怖だったね。 誰が興味あるんだかしらねえ、使用パソコンのスペック書くヤツまでいてな、「CPU: PentiumII、350MHz」とかドヤ顔で書いてたんだよ。タワー型のパソコンの写真まで載せてな。なんのため？しらねえよ、本人に聞け。 でな、そういうところには必ず掲示板ってやつがあってな。BBSとか言ってたな。山陰放送じゃねえぞ。で、キリバン踏んだらBBSに報告することが義務付けられてて、しなかったら末代まで祟られて呪詛にかけられるんだけど、熱心なヤツになるとチャットっていう、リアルタイムに文字でお喋り
WebAssembly所感
WebAssemblyをちょっといじってみて思ったところをまとめてみます。 設計思想 WebAssembly/designに設計文書がまとまっています。特にHighLevelGoals.mdから読み取れるポイントは以下の4点です。 サンドボックス化された環境であること。 移植性があること。つまり、特定の実CPUアーキテクチャ等に依存しないこと。 少なくともC/C++の(十分に高速な)コンパイルターゲットとして機能すること。 安定した仕様を持つこと。 サンドボックスという観点からは、先行技術として以下のようなものが特筆に値します。 Webサンドボックス JavaScript および asm.js Javaアプレット Flash (ActionScript) NaCl, PNaCl Web以外のサンドボックス OSのユーザーランド、特にLinux userland これらのサンドボックスとの比
Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org
以下の文章は、コリイ・ドクトロウの「The specific process by which Google enshittified its search」という記事を翻訳したものである。 Pluralistic どんなデジタルビジネスでも、技術的には「メタクソ化」できる。つまり、ビジネスの根本的な機能をユーザごとにリアルタイムで変更できるため、ビジネス顧客、エンドユーザ、株主の間で価値を素早く移転できるのだ。 https://pluralistic.net/2023/02/19/twiddler/ このスレッドをエッセイ形式で読んだり共有したい方は、私の監視フリー、広告フリー、トラッキングフリーのブログ、pluralistic.netをチェックしてほしい（訳注：もともとのテキストはTwitter上のスレッドに書かれている）。 https://pluralistic.net/2024/0
![Google検索を殺した男――Googleはいつ、どこでメタクソ化に舵を切ったのか | p2ptk[.]org](https://cdn-ak-scissors.b.st-hatena.com/image/square/4daf0a0787400227544a080cbf566e75f4290bdf/height=288;version=1;width=512/https%3A%2F%2Fp2ptk.org%2Fwp-content%2Fuploads%2F2024%2F04%2Fgoogle-enshittifier.jpg)
なんでもメモして個人的な知識を蓄える「Obsidian」のキャンバスデータ保存形式「JSON Canvas」がオープンソース化、中身はこんな感じ
Markdown形式でメモを作成できるサービスのObsidianが使用しているObsidian Canvasファイル形式を「JSON Canvas」ファイル形式としてオープンソース化することを発表しました。 JSON Canvas — An open file format for infinite canvas data. https://jsoncanvas.org/ Announcing JSON Canvas: an open file format for infinite canvas data - Obsidian https://obsidian.md/blog/json-canvas/ 仕様についてはjsoncanvas.orgに記載されています。サイトにアクセスするとこんな感じ。右下の「Toggle output」をクリックしてみます。 右側にJSON Canvas形式
「ミニPCガチャ」で、Windowsがボリュームライセンス外れを引いた時の作業メモ
N100の格安ミニPCがほしかった(昨今、大体二〜三万くらいで買える) Windowsのライセンスがボリュームライセンスだった、闇とはいえ、キレそう 色々操作すると「組織に許可されてねーわ」的なことを言われたりもする (ここから本題) 回復ドライブつくって全消し再インストールしたら、Microsoft Storeがはいってなかった というか、ほとんどのWindowsアプリがはいってなかった メロスは激怒した ライセンスチェック ダイアログが開き、どのようなライセンスなのか確認できる。 ボリュームライセンスだとガチャ外れ。なお、半外れがあるらしい(再インストールで復活するケースがあるとか？？)。 大手だと、OEMとしてPCのハードウェアにシリアルが焼かれており、それを利用できるのでチェックするとよい なんとなくググってると MAK…？ とかでないと、どうやら外れらしい(たぶん、KMSが全外れ
Reverse HTTP Transport が描く新しい Web サービスデプロイ構成 | blog.jxck.io
Intro IETF の httpbis で、 Reverse HTTP Transport という仕様が提案されている。 Reverse HTTP Transport https://www.ietf.org/archive/id/draft-bt-httpbis-reverse-http-01.html この仕様は、 Origin サーバの前に何かしら Intermediaries (Loadbalancer, Reverse Proxy, CDN etc)があるのが一般的な現代の Web サービス構成において、非常に革新的なアイデアを取り入れたプロトコルと言える。 まだ v01 という初期段階ではあるが、発想が非常に面白かったので、読書メモを残す。 登場人物 ベースとして HTTP の話にはなるが、登場人物が多いため Client/Server という「相対的な役割」で話をすると、紛
いつか起業したいエンジニアへ - Qiita
はじめに 34 歳のとき、勤めていた会社の経営が傾き早期退職を促されたのを契機に独立しました。その後、41 歳で Authleteオースリート 社を設立しました。諸般の事情で現在も Authlete 社の代表取締役という肩書きを持っていますが、経営者的な仕事は他の人に任せ (参照: シリコンバレーのプロフェッショナル CEO を迎えて米国市場に挑戦する日本のスタートアップの話)、50 歳目前の現在もプログラマとしてコードを書き続けています。 Authlete 社設立 (2015 年 9 月) から 8 年半弱経過したものの、まだまだ小さな会社で道半ばであるため、起業家として何か語るのは時期尚早ではあるものの、軽い体調不良が長引く中、『自分のエンジニアとしてキャリアを振り返ろう！』という記事投稿キャンペーンを見かけ、生きているうちに子供世代のエンジニアの方々に何か書き残しておこうと思い、文章
東京ディズニーリゾートは、過去イチ遊びやすくなってる
東京ディズニーランドや東京ディズニーシーを夢見る皆さんこんにちは。 インフルエンザで自主隔離中なので東京ディズニーリゾートが、いま過去イチで遊びやすくなっている現状を解説します。参考にしてね。 Dオタ(ディズニーを愛するオタク)向けの前説何言ってんだ今〇〇とか最悪じゃん（〇〇には好きなものをお入れください）というそこのあなた。 以下の文章はあなた向けではないので大丈夫です。地蔵や徹夜、グッズについて（ほとんど）語っていないのでその時間で次のインパの計画を練ってください。 （特に、フード＆ワイン・フェスティバルとパルパル第二段のクワッキー・ダックシティで方向性が明確になったので） 今読んだ中で知らない単語だな？と思ったあなた向けの解説です。 お酒が好きならディズニーシーにしましょう最初に身も蓋もないことを書きますが、カップルで夜はちょっとお酒も飲みたいよね、みたいな感じなら東京ディズニーシー
キャリアというゲームの構造原理について｜山口周
先日、昨年から書き進めていた「クリティカル・ビジネス・パラダイム」をついに脱稿しました。かなりの分量の原稿を最終工程で削ぎ落としたので、本が出版されたら、おいおいこちらのNOTEでボツになった原稿を共有していきたいと思います。 さて、ということで、これからは次の書籍の企画に時間をかけていきたいと思います。漠然と考えているテーマは「これからの生き方・働き方」といったもので、前回と同様、書きかけの原稿をこちらにちょこちょこあげながら、一種の市場調査というか、テーマに対する関心の度合いを計りながら進めていければ楽しいかなと思っています。 今日は、掲題にある通り「キャリアというゲームの構造原理」について書いてみたいと思います。次の図を見てください。 つまり、キャリアというのは、 時間資本を用いて人的資本を生み出し、人的資本によって社会資本を生み出し、社会資本によって金融資本を生み出すという、超長期
大学で読んだ情報科学関連の教科書 - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
先日、博士（情報学）になりました。学部と大学院をあわせた 9 年間で読んだ情報科学関連の教科書・専門書を思い出を振り返りつつここにまとめます。私は授業はあまり聞かずに独学するタイプだったので、ここに挙げた書籍を通読すれば、大学に通わなくてもおおよそ情報学博士ほどの知識は身につくものと思われます。ただし、特に大学院で重要となる論文を読み書きすることについては本稿には含めておりません。それらについては論文読みの日課についてや論文の書き方などを参考にしてください。 joisino.hatenablog.com 凡例：（半端）とは、数章だけ読んだ場合か、最後まで読んだものの理解が浅く、今となっては薄ぼんやりとしか覚えていないことを指します。☆は特におすすめなことを表します。 学部一年 寺田 文行『線形代数 増訂版』 黒田 成俊『微分積分』 河野 敬雄『確率概論』 東京大学教養学部統計学教室『統計学
複数の企業でデータエンジニアとして求められたスキル - yasuhisa's blog
最近「ああ、これ前職でも前々職でもやったことあるなぁ」という仕事があった。データエンジニア(やその関連職種)として働き始めて約5年、3社でフルタイムとして働いてきて「このスキルは業界や組織規模が変わってもデータエンジニアとしてスキルを求められることが多いな」と感じたものをまとめてみることにした。棚卸し的な意味はあるが、特に転職用などではないです。 前提 どこでも必要とされたスキル データマネジメントに関する概要レベルの知識と実行力 セキュリティや法令に関する知識 事業ドメインに関する興味関心 他職種とのコミュニケーション能力 コスト管理 / コスト削減のスキル ソフトウェアエンジニアとしてのスキル DataOpsやアラートのハンドリング能力 分析用のSQLを書く力 古いテーブルやデータパイプラインを置き換えていくスキルや胆力 あるとやりやすいスキル 関連部署の動きを何となく把握しておく力
romgrk
I often feel like javascript code in general runs much slower than it could, simply because it’s not optimized properly. Here is a summary of common optimization techniques I’ve found useful. Note that the tradeoff for performance is often readability, so the question of when to go for performance versus readability is a question left to the reader. I’ll also note that talking about optimization n
MoonBit が WebAssembly 時代の理想(の原型)だった
最近 moonbit という言語を知ったのですが、これが調べれば調べるほど好きになる言語だったので、紹介させてください。 文法的には GC 付きの Rust で、 WebAssembly にコンパイルされます。とくに CDN Edge Worker 上での実行を想定しているようです。もう好き。 注意: まだ若い言語なので、これから言語仕様がガンガン変わっていくと思われます。あくまで現時点での情報です。 tl;dr Pros だいたい GC あり Rust と捉えていい 文法面のキャッチアップが容易 ライフタイムの難しさを考えなくていい すでに vscode 拡張やパッケージマネージャ等のエコシステムが整っている Cons まだ安定していない / しばらくはソースコードが公開されない 現時点では学習リソースやパッケージ数が足りず、書き手の腕力が求められる はじめに: JS/TS/Rust へ
2024年Gitワークフロー再考 | フューチャー技術ブログ
春の入門祭り2024の2記事目です。 Gitは、出自としては1週間で作られたLinuxカーネルのための分散バージョン管理システムでした。当時のワークフローに合わせてパッチをテキスト化してメールに添付できるような機能だったりが備わっています。 一方で、現代のGitは、デファクトスタンダードなバージョン管理システムになりLinuxカーネル以外のアプリケーション開発で利用されています。分散バージョン管理ではあるものの、サーバー・クライアント型の使われ方をしていて、GitHubやGitLabを核にして、ローカルで作ったブランチをpushして、Pull Requestの形にして管理しています。少なくとも周りで見る限りでは、それ以外の使われ方の方が少なくなってきてます。そんなこんなで求められている使われ方が変わってきていて、それに合わせた機能がぼちぼち増えています。それを活用することで、ウェブ画面上で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ活用が苦手な人にこそ読んでほしい！ データ分析初心者から中級者になるための4冊！ | Web担 オススメの課題図書
