タグ

*softwareとconfigに関するsh19910711のブックマーク (8)

  • OpenSSHのProxyJumpとProxyCommandの関係

    多段SSH接続の為の二種類の設定 中継サーバーを経由して目的のサーバーに接続する、多段SSH接続。 OpenSSHで多段SSH接続をする為の設定として、ProxyCommandを使う方法とProxyJumpを使う方法の二種類が有ります。 ProxyCommandを使う方法は昔からあり、ProxyJumpを使う方法は比較的最近[1]追加された方法です。 この二つの方法について、ごく一部ですが「ProxyCommandを使う方法は危険なのでProxyJumpを使う方法に切り替えるべき」と言う人々がいます。 しかしProxyCommandを使う方法が危険だというのは当なのでしょうか? 今回はProxyJumpとProxyCommandの関係を調べる事によって、当にProxyCommandが危険なのかを調べてみます。 環境 今回は多段SSH接続という事で、以下の3台のサーバーが登場します。 接

    OpenSSHのProxyJumpとProxyCommandの関係
    sh19910711
    sh19910711 2024/06/11
    "ProxyJump (-J)が指定されると内部ではProxyCommandが設定されて起動 / ProxyCommandを使っていたとしても、慌ててProxyJumpに書き換える必要は無い / 新たに設定する場合はProxyJumpを使う"
  • Great Expectationsを使ったBigQueryでのデータバリデーション

    データウェアハウスとしてBigQueryを使う環境でデータバリデーションを実行し、その結果をGoogle Cloud Storage(GCS)バケットに保存することで、データ品質に関するレポートを組織内で共有できるようにしてみます。バリデーションの実装はSQLとして用意するのではなく、JSONで仕様を記述できるGreat Expectationsというフレームワークを使います。バリデーションの実行はデータパイプラインの実装でよく使われるApache Airflowを使います。 データパイプラインでのデータバリデーションの必要性 データパイプラインでデータの自動連携やETLを運用していると、いつの間にか連携されてくるデータの性質や仕様が変わっていることがあります。その変化に気づかず、データパイプラインでデータを処理してユーザに提供してしまうと、そのデータを利用した業務での事故に繋がります。ま

    Great Expectationsを使ったBigQueryでのデータバリデーション
    sh19910711
    sh19910711 2024/05/24
    "データパイプライン上でのバリデーション: JSONファイルでassertionを記述するGreat ExpectationsやYAMLで記述するSoda SQLなど / バリデーション結果はData Docsと呼ばれるHTML形式のファイルとして出力" 2021
  • terraform plan 結果の検証を自動化するぞ! with Conftest / Testing terraform plan with Conftest

    下記LT会にて発表した資料です。 自動化大好きエンジニアLT会 - vol.5 - connpass https://rakus.connpass.com/event/224448/ スライド内リンク一覧 --- 8ページ - Conftest https://www.conftest.dev/ - Open Policy Agent https://www.openpolicyagent.org/ 12ページ - hashicorp/terraform-json https://github.com/hashicorp/terraform-json 20ページ - Flatten nested JSON using jq https://stackoverflow.com/questions/37540717/flatten-nested-json-using-jq/37555908#3

    terraform plan 結果の検証を自動化するぞ! with Conftest / Testing terraform plan with Conftest
    sh19910711
    sh19910711 2024/05/12
    "Conftest (Open Policy Agent): Terraformに限らずあらゆる構造化された内容をテストできる + ポリシー自体のテストも可能 / plan結果のjsonは `resource_changes` 以外にもさまざまな情報を持っている" 2021
  • Web ブラウザ上で Wasmを使ってOpen Policy Agent (OPA) を実行 - Qiita

    はじめに 汎用ポリシーエンジンである Open Policy Agent では、WebAssembly 形式でポリシーを配布可能です。記事では、WebAssembly 形式で出力された Open Policy Agent のポリシーを Web ブラウザで評価することを試してみた内容を紹介します。 Open Policy Agent とは Open Policy Agent (OPA) は OSS の軽量で汎用的なポリシーエンジンです。開発時や運用時におけるルール(ポリシー)を事前に定義することで、ポリシーに反する情報を検出できます。OPA はポリシーを定義するための宣言型言語 Rego と、ポリシー評価のためのシンプルな API を提供しています。 WebAssembly とは WebAssembly とは、 Web ブラウザ上で実行可能なバイナリコードの仕様です。C/C++, Rust

    Web ブラウザ上で Wasmを使ってOpen Policy Agent (OPA) を実行 - Qiita
    sh19910711
    sh19910711 2024/05/08
    "OPA; Open Policy Agent: 開発時や運用時におけるルールを事前に定義 + ポリシーを WebAssembly 形式で出力する機能があり + さまざまなプラットフォーム上で OPA のポリシーを評価できる" 2021
  • YAML におけるノルウェー問題(The Norway Problem) - てくなべ (tekunabe)

    いろいろな書き方ができる真偽値 たとえば Ansible の Playbook では、真偽値を指定する時に、true/false 、yes/no などいろいろな書き方ができてしまいます。 去年、Ansible のコミュニティでは、ドキュメント上どう統一するのがいいかの投票がありました。 ansbile のドキュメントにおけるにおける boolean は yes/no が遣われがちだったが、ansilbe-lint では true/false でないとエラーになる。どうしたもんでしょという issue。https://t.co/dcNl9R83sl— よこち (@akira6592) 2022年8月3日 github.com 現在 true/false への書き換えが進んでいます。yamllint のデフォルトでも true/false を正としています。 不都合 ただ統一感がなくて混乱する

    YAML におけるノルウェー問題(The Norway Problem) - てくなべ (tekunabe)
    sh19910711
    sh19910711 2023/03/20
    "Ansible の Playbook では、真偽値を指定する時に、true/false 、yes/no などいろいろ + ドキュメント上どう統一するのがいいかの投票 / ノルウェー問題: Norway の 略称 NO をそのまま指定してしまうと False になるという話"
  • Print strings without quotes · Issue #250 · jqlang/jq

    sh19910711
    sh19910711 2018/05/20
    “jq -r (or jq --raw-output)”
  • JSONをインタラクティブに掘り下げるコマンド jid - Qiita

    はじめに 私はCLIを利用することが多いのもあり、 jq は今やJSONを利用する上は欠かせないツールとなっています。 ただ ・ jqのクエリを書くことなれるまで少し時間がかかる ・ クエリを書くことに慣れたとしても、初見だったりして 構造を把握していないJSONに関しては非常に手間 でみたいな感じだなと思っていました。 インタラクティブに jq のクエリを書いていければいいのに、と思ってツールを探しました(CLI限定で)が、あまり良さそうなものが見つかりませんでした。 そこで、Golangで何か作ってみたいのもあったので、作ったのが jid というツールです。 リポジトリ Github : simeji/jid インストール 以下からバイナリダウンロードしてzip解凍するだけです。 https://github.com/simeji/jid/releases Macの場合はbrewで入れ

    JSONをインタラクティブに掘り下げるコマンド jid - Qiita
  • GitHub - jpmens/jo: JSON output from a shell

    You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

    GitHub - jpmens/jo: JSON output from a shell
  • 1