構成図を『描く』から『書く』へ：DiagramsでAWS構成図かいてみる - Qiita
やること "Diagram as Code"ことDiagramsで、AWS構成図をコードでかいてみる Diagramsとは Diagramsは、Pythonモジュール Diagrams使うにはGraphvizも必要 Pythonのコードでクラウドシステムアーキテクチャを描画できる サイトはここ https://diagrams.mingrammer.com/ サイトにあるDiagramsの説明は、英語だけど分量が少ないので一読すべし！（自動翻訳で十分理解できる） このように、構成図をPythonのコードで書ける。このコードを、Pythonスクリプトとして実行すると、構成図が画像として出力される。 良いところ 構成図をコード化できる コード編集で作図編集できるので、画像修正より楽 コードなので、CloudFormationのコードとまとめてGitで管理できる AWS以外のアイコンも用意されて
fabric2いいかも • masu-mi's blog(dirty pages)
最近になって「fabricで作業の自動化を増やしたい」と思うことがありました。 調べてみたらPython3対応されたfabricはfabric2として独立していました。そしてfabric2を待ちきれずにフォークされたfabric3はメンテされている様子はありません。 正解はfabric2です。 fabric2はfabricと違いinvokeのssh拡張がついたラッパーなようです。 使うにあたりConfig, Connection, Groupの違いを確認したりしました。 また気楽なタスクランナーとして使うためにヘルパーやパターンが出てきたのでメモします。 実験した残骸はここに残してます。 pkg version
Stairlight というデータリネージツールをつくった - public note
Stairlight*1 という、テーブルレベルのデータリネージができるツールをつくりましたので、その特徴や使い方について書きます。 github.com 背景 ETL(Extract, Transform, Load) と呼ばれる一連のデータ加工プロセスにおいて、バッチ処理での Transform は、ある程度まとまったデータのかたまりが、その形を変えることを指します。その変換処理は SQLで操作されるのが一般的で、データ移動の単位はテーブルです。そのSQLは、CREATE TABLE AS SELECT... や CREATE VIEW AS SELECT... など形は様々ですが、 突き詰めると SELECT 文です。データパイプラインにはたくさんの SELECT 文が登場しますが、加工や参照が行われる場所・タイミングは様々で、データがいつ生成されて、いつどこで参照されているのか、全
Blender + Pythonでポイントクラウドを可視化する - やったことの説明
はじめに ポイントクラウドデータをいい感じに可視化したい． matplotlibでも3次元データのscatterを描くことができるが，以下のような感じでいまいちな見た目になってしまう． もうちょっといい感じの図が描きたい．たとえはこんな感じのやつ． 調べてみると，blenderでpythonが使えるらしいので，blenderなんもわからんけどやってみる． データはここで使われているShapenetの一部を用いた． 環境 Ubuntu 18.04 blender 2.80 ちょっと調べてでてくるスクリプトは動かないことが多かった(特にライト周り)． 今使っているバージョン付近で大きめのアップデートがあったのか，blender自体がそういうアップデートの方針なのかわからないが，使っているバージョンによっては以下のスクリプトは動かないので注意． Blenderのインストール blenderはap
Streamlit on Cloud Run with Identity-Aware Proxy (IAP) - public note
タイトルのとおり、Cloud Run で Streamlit を動かしてみました。また、特定の人のみがアクセスできるように、Identity-Aware Proxy(IAP) での保護を試しましたので、その設定やコードを紹介します。 Cloud Run で動かすのはすぐにできたのですが、複数の Streamlit コードを認証付きでいい感じにホストする手段を探すのにかなり苦戦しました... Streamlit 構成図 ソースコード リクエストから Streamlit が起動するまで よいところ 設定のポイント ユーザ認証方法 Cloud Run の Ingress 設定 IAP で必要な権限 パスルール設定 リクエストURL に Streamlit の起動URLを合わせる サーバーレス NEG と Cloud Run の設置リージョン 参考にしたページ Streamlit Streamli
Optunaを使ったRocksDBのパフォーマンスチューニング
README.md 概要 Optunaというハイパーパラメータ最適化ツールを使って、RocksDB(組み込みDB・KVS)のパフォーマンスチューニングを試してみた際の結果メモ 対象となるワークロードに対して、最適な性能を発揮するパラメータ群を自動で見つけ出すのが目的 結果としては、デフォルトパラメータをそのまま使った場合に比べて、かなり良い性能が得られるパラメータ群を見つけることができた: デフォルトでのベンチマークの所要時間: 372秒 Optunaによる最適化後のパラメータでの所要時間: 30秒 モチベーション RocksDBには、カスタマイズできるパラメータ群が多数ある（数十～数百？） 自分の利用用途に最適なパラメータ群を人手で調べるのは結構大変 RocksDBは、チューニングガイドを含めて、かなりドキュメントが充実しているが、それでも不慣れな人には敷居が高い ↑のような状況は、Ro
ダイクストラ法とA*アルゴリズムをMaya上でビジュアライズする+おまけ - yslog
この記事はMaya Python Advent Calender 19日目の記事です。 qiita.com ダイクストラ？A*？ 聞きなれない方もいらっしゃるかもしれませんが、いわゆる最短経路長問題を解決するアルゴリズムです。 迷路、経路探索というとわかりやすいかもしれません。 このアルゴリズムでは単なる経路探索ではなく距離や移動時間といった重みをつけて探索できます。カーナビなどもこのアルゴリズムが利用されているそうです。 ダイクストラ法 対象の全ノードに対する最短経路を計算し始点と終点を結ぶ最短経路を求めます。 全ノード探索するので処理コストはかかりますが、始点からの最短重みが計算されるのでMayaでいうところのメッシュ形状を考慮したソフト選択とか実装できたりします。 A*（エースター） ダイクストラ法の発展形。予想される最短ノードから順番に探索し、経路が見つかった処理終了するので計算量
EIN(Emacs IPython Notebook)を試してみる - podhmo's diary
2つrepositoryがあり後者の方がmelpaで入るもの。どうやら後者は前者のforkらしい。 tkf/emacs-ipython-notebook: IPython notebook client in Emacs millejoh/emacs-ipython-notebook: Jupyter and IPython 2.x/3.x notebook client in Emacs install package-installで入れる。 M-x package-install ein 注意点としてemacsのversionを上げないとうまくいかない模様。25に上げる必要があった。結構アグレッシブ。 Unknown method kind :around · Issue #219 · millejoh/emacs-ipython-notebook how to use 使い方は以下
【Python】Scrapy + Digdag でクローラの定期実行 |
Scrapy プロジェクトを Digdag でスケジューリングしてみたので導入の備忘録を残しておきます。 環境は MacBook Air (13-inch, Mid 2013), OSX 10.11.6 です。 Scrapy は Web Crawling / Scraping Framework で, mechanize や Beautiful Soup といった特定の機能を提供するライブラリと比べると多機能。 基本的な機能に加えて robots.txtポリシー, クロール間隔設定, リトライ処理, 並行処理, scrapydによるデーモン化 などもサポートしている。 Installation guide 通りで入ると思うが, 自分の環境 (OSX) では pip で上手くインストールできなかった。[1] 依存ライブラリやバージョンの不一致などの理由から conda でインストールを行う。
Apache Airflow + Slack でデータクオリティチェックを自動化する - Qiita
データ分析をしている人にとっては，データのクオリティを日々モニタリングするのは頭痛の種です．最近のシリコンバレーでは，Data Engineer とは別に Data Quality Engineer というポジションで募集をしている企業もたまに見かけます．それぐらいデータの「質」には，気を配る必要がありリソースが掛かる分野といえるでしょう．とは言え，専任のポジションを設けるのはなかなか難しいので，それでもできるだけ簡単にモニターリングしたいです． Airflow と Slack を組み合わせることで，データのクリティを日々モニタリングすることができます．データエンジニアリングにユニットテスト的な概念を持ち込めないかと模索してきましたが，Airflow + Slack は個人的には一つの理想形と言えます． Apache Airflow とは？ Apache Airflow は，プログラムでジ
Unicornのソースコードを読む (Python編) | 一生あとで読んでろ
※Rackサーバの方のUnicornではない． はじめに UnicornはQEMUベースの軽量，マルチプラットフォーム・マルチアーキテクチャ・JIT対応のCPUエミュレータ．周辺機器をエミュレーションしないため用途は限られるが，GoやPythonなど複数言語のバインディングを備えている．現在システムセキュリティ分野で最も注目されているOSSのひとつと言っても過言ではなく，AsiaCCS 2016で発表されたROPチェーン解析ツールROPMEMUや，遺伝的アルゴリズムによってROPチェーンを自動生成するツールroperのバックエンドとして用いられたり，Unicornと同じように注目を集めているバイナリ解析ツールangrとの連携が進められたりと，一大コミュニティを形成しつつある． コンセプトの説明はBlack Hat USA 2015の発表スライドに譲るとして，ここではその利用方法と内部実装に
PythonでGIMPのスクリプトを書く（Python-Fuの書き方）
これはGIMPでスクリプトを使おう！と思ったものの久々のScheme (Script-Fu)にめげて「GIMPってPythonも普通に使えるんじゃね？」ってことで試してみたら罠もあったけどいい感じだったよって記事である。Linuxではもちろん、Windowsでもインストーラから入れればPythonが同梱されているので、気軽に使える。 もちろんGIMPを普段から使うのであれば、マクロ的に使ってもいいと思うのだけど、GIMPを使ってなくても「UIの必要な画像処理」には便利だと思う。画像の表示、範囲選択とか、そういうのが本筋じゃないプログラムにさらっと提供できる。たとえば、自前のOpenCVを使った画像処理ライブラリのフロントエンドとかね。 枝葉の処理が多いのでこのスクリプト自体は解説しないが、自分が作ろうと思って作ったもの（後述）はこちら： PythonでのGIMPのスクリプトの書き方 基本的
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - szymonmaszke/vimpyter: Edit your Jupyter notebooks in Vim/Neovim
GitHub - ShopRunner/jupyter-notify: A Jupyter Notebook magic for browser notifications of cell completion
ブラウザに手書きした数字をMNISTから深層学習したモデルで判定する簡単コード - 人工知能と競プロやってくブログ
GitHub - cs01/gdbgui: Browser-based frontend to gdb (gnu debugger). Add breakpoints, view the stack, visualize data structures, and more in C, C++, Go, Rust, and Fortran. Run gdbgui from the terminal and a new tab will open in your browser.
Jupyter + redash + Docker + git で作るデータ分析の知見をチーム内で共有しやすい環境
GitHub - snare/voltron: A hacky debugger UI for hackers
GitHub - dellis23/ispy: Monitor the output of terminals and processes.
GitHub - etola/git-manager: An interactive command line interface for displaying the state of multiple git repositories in a single screen
