0. はじめに こんにちは。都内でエンジニアをしている、@gkzvoiceです。本記事は、jsonをいいかんじに出力したり、加工できるjqコマンドのラッパーのyqコマンドの使い方備忘録です。 1. yqコマンドとは kislyuk/yq: Command-line YAML and XML processor - jq wrapper for YAML/XML documents YAML/XMLを操作する際に使うjqコマンドのラッパー Yaml/XMLをgrepみたいに抽出 いいかんじに整形もしてくれる なので、数千行のmanifestやplaybookに対してgrepしたり、Gitlab Runner上でmanifestの一部をsedしていたことをyqコマンドでシュッとすることもできます。いいことずくめのyqコマンドなのですが、いざ触ってみたら、以下のような問題点を感じました。 2.
この記事は Emacs Advent Calendar 2020 の 8 日目の記事です。 こんにちは。 普段は {Python,Ruby,Vue,React} あたりで Web アプリケーションを書いたり、機械学習などをしている Emacser です。 趣味は日本語で、好きな言語学者は高橋太郎先生や三浦つとむ先生です。 今回はちょっと前に作った jq.el について書いてみます。 僕個人は Advent Calendar で何か作ってみた系の記事は正直興醒めしてしまうタチなのですが、他にネタを思いつきませんでした、申し訳ありません せっかくなので jq.el を作って公開した上で得た学びについても書きたいと思います。 jq.el について 名前からお気付きの方も多いと思いますが jq.el は CLI 向け JSON 処理系の一つである jq の Emacs Lisp binding で
はじめに 前回の記事でAWS CLIコマンドのJSONデータをjqコマンドで操作したら大変便利だったので紹介します。 jqコマンドとは JSONデータをsedやgrep、awkのようにデータ抽出、変換、集計してくれるツールです。 AWS CLIのの出力形式は、複数の出力形式がサポートされていますが、デフォルトではJSONで出力されます。 AWS CLIでも--filtersや--queryを使えば抽出や変換できますが、AWS CLI以外のJSONデータ(公開されている様々なAPIが、ほぼJSONで出力)を操作するとき、jqコマンドのようなツールを覚えておくと便利かなと考えました。 公開API(例) 使い方 jqは各種OSにインストールして利用できます。今回はmacOS Catalinaにインストールした環境で操作していきます。 バージョン確認コマンドが出力されればOKです。 % jq --
ijq: Interactive jq
#ijq Interactive jq tool. Like jqplay for the commandline. #Demo #Installation #Install from package manager #Download a pre-compiled release Select the version you want to download from sourcehut and download one of the pre-compiled releases from that page. Then extract the archive and copy the binary and, optionally, the man page to the correct location. Example: wget https://git.sr.ht/~gpanders
jqで簡易テンプレート - ちなみに
たとえばSlackの Incoming Webhook でメッセージを送るときに、メッセージ部分だけを置き換えてJSONを組み立てたいことがあります。 プログラミング言語が使えるなら簡単なんですが、ちょっと大げさな気もするので jq だけでJSONを組み立てられるとべんりそうです。 {"text":"hi"} このようなJSONを組み立てて送信したいとして、"hi" の部分を変数にしてみます。 {"text":$text} この $text の部分を任意の文字列に置き換えるには --arg オプションを使います。(-n / -c) $ jq -n -c --arg text hi '{"text":$text}' {"text":"hi"} 今回のケースでは不要ですが文字列以外の値に置き換えるには --argjson オプションを使うことが出来ます。 $ jq -n -c --argjso
エンジニアになって以来あまりシェルを触ることがなく、必要に迫られてシェルを改めて勉強し始めてからは、シェルの表現力の高さをようやく実感しています。 今回はコマンドラインでJSONを操作するjqで少し複雑な条件式を書く時のサンプルをまとめてみました。 selectでフィルタリングをする まずはこのようなJSONデータを用意します。(今回はスペースの都合上、配列に一つの要素だけを含みますが、実際には不特定多数の要素が入っていることを想定します) { "items": [ { "rendered_body": "<h1>Example</h1>", "body": "# Example", "coediting": false, "comments_count": 100, "created_at": "2000-01-01T00:00:00+00:00", "group": { "create
Parsing JSON at the CLI: A Practical Introduction to `jq` (and more!) | Sequoia McDowell
jq is a command line tool for parsing and modifying JSON. It is useful for extracting relevant bits of information from tools that output JSON, or REST APIs that return JSON. Mac users can install jq using homebrew (brew install jq); see here for more install options. In this post we'll examine a couple "real world" examples of using jq, but let's start with... jq BasicsThe most basic use is just
jq コマンドで日付を扱うときに、出力する日付のフォーマットを変更したり、タイムゾーンを UTC から JST に変更する機会があったので備忘録。jq Manual (Dates) に載っているコマンドを参考に整理したものになります。jq のバージョンは 1.6。 前回書いた集計方法の記事も併せてどうぞ。 目次 strptime() で受けて、strftime() でフォーマットする strptime() と strftime() で使えるフォーマット文字列 ISO 8601 形式の場合は専用の機能が使える macOS の jq では、ミリ秒を perse しようとするとエラーに UTC から JST に変換 strptime() のフォーマット文字列 %z に注意 strptime() で受けて、strftime() でフォーマットする 基本はこの形。日付文字列を strptime()で
yq | v4.x | yq
a lightweight and portable command-line YAML processor. yq uses jq like syntax but works with yaml files as well as json. It doesn't yet support everything jq does - but it does support the most common operations and functions, and more is being added continuously. yq is written in go - so you can download a dependency free binary for your platform and you are good to go! If you prefer there are a
jq kung fu
Your query: .[1] Input JSON (sample data from JSONPlaceholder): [ { "postId": 1, "id": 4, "name": "alias odio sit", "email": "[email protected]", "body": "non et atque\noccaecati deserunt quas accusantium unde odit nobis qui voluptatem\nquia voluptas consequuntur itaque dolor\net qui rerum deleniti ut occaecati" }, { "postId": 1, "id": 5, "name": "vero eaque aliquid doloribus et culpa", "email": "
たとえば {"users":[{"id":1,"name":"taro"},{"id":2,"name":"hanako"}]} のようなJSONがあったとして、 1 taro 2 hanako のように整形して表示させたかった 結論（2020年8月30日追記） jq単体でできた。コメントしてくださった方ありがとうございます cat test.json| jq '.users[] | (.id|tostring) + " " + .name' -r jqコマンド内でパイプのように繋げる方法があった。idでtostringしているのはJSONの数値型だとjqが認識してしまうため。実際つけないと jq: error (at <stdin>:1): number (1) and string (" ") cannot be added とエラーになる。 以下過去の戯れ言 結論 jq単体ではできな
コマンドラインJSONプロセッサJQをWebAssemblyでブラウザに移植する - Robert Aboukhali氏とのQ&A
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
以前flutterのバージョン切り替えをCI環境で動的にやる記事の中で、yamlの指定したキーを取り出すのに yqコマンドを使っていたのですが、このyqの利用に関してハマったことをメモとして残しておきます。 takamii.hatenablog.com yqとは yqとはjqのyaml版でyamlに対してクエリを発行して部分的な文字列を出力するコマンドです。 jqはこちら。 stedolan.github.io "yq" でググると2つのyqがヒットする Googleで yq を検索すると、なんと全く異なる2種類がヒットします。 https://www.google.com/search?q=yq Python製のyq 1つ目はpythonベースの yq コマンドです。 github.com kislyuk.github.io pypi.org yq takes YAML input, c
jq Cheet Sheet
jq-cheetsheet.md Processing JSON using jq jq is useful to slice, filter, map and transform structured json data. Installing jq On Mac OS brew install jq On AWS Linux Not available as yum install on our current AMI. It should be on the latest AMI though: https://aws.amazon.com/amazon-linux-ami/2015.09-release-notes/ Installing from the source proved to be tricky. Useful arguments When running jq, t
jqコマンドでJSONを操作・分析する
どうもoreoです。 今回はJSONからの値取得、集計、整形などができるjqコマンドについて記載します！JSONを分析する際に大活躍です。 1 下準備 1-1 使用するJSONデータ Star WarsAPIから取得したこちらのデータをjqコマンドでいじってみたいと思います。 people.json { "count": 82, "next": "https://swapi.dev/api/people/?page=2", "previous": null, "results": [ { "name": "Luke Skywalker", "height": "172", "mass": "77", "hair_color": "blond", "skin_color": "fair", "eye_color": "blue", "birth_year": "19BBY", "gender
こんにちは、エクスチュアの權泳東(権泳東/コン・ヨンドン)です。 新型コロナウイルスによる外出自粛の中、せっかくなのでこの時間を使ってLinuxのコマンドラインを勉強しましょう。 コマンドラインでササっとJSONファイルをCSVファイルに変換出来るとイザという時に役立ちます。(弊社調べ) まずは対象となるデータですが、Linuxのコンソールからコロナウイルスの状況を確認する方法があるのでこれを使います。 curlというCLIのHTTPクライアントを使います。 Coronavirus Tracker Coronavirs Trackerは、世界中のCOVID-19の感染状況の数字をテキストで表示してくれるサービスです。 $ curl https://corona-stats.online/ このように表示されます。 なお、日本だけに絞りたい場合はこうです。 国名で絞れます。 $ curl h
JSON, CSV, Excel, Parquet 等の様々なデータ形式に SQL クエリを実行できる dsq コマンドが便利。 - 全力で怠けたい
はじめに 対応しているデータ形式 類似のツールとの比較 バージョン インストール方法 基本的な使い方 ファイルに対して SQL クエリを実行する 標準入力に対して SQL クエリを実行する クエリ結果を整形する 複数のファイルに対して SQL クエリを実行する 複数のファイルを JOIN する データ形式が異なるファイルを JOIN する 任意のデータ形式から JSON ヘの変換 オブジェクト内にネストしている配列に SQL クエリを実行する ネストしているオブジェクトから値を取得する ネストしている配列から値を取得する 正規表現のサポート その他 カラムの出力順 スキーマの推測 入力ファイルのキャッシュ REPL CSV と TSV ファイル内の数値の変換 参考サイト JSON, CSV, Excel, Parquet 等の様々なデータ形式に SQL クエリを実行できる dsq コマンド
jq で エポックミリ秒を変換したい - Qiita
ｊｑ 便利だよね。何でも jq 使っちゃいます。 エポックミリ秒を jq だけで可視化出来たら素敵だなと思って調べました。 ですが、 jq では日付のパースを ISO8601 準拠のエポック秒までしか出来ません。 仕方ないので、1000 で割りましょう。
- jtc is a simple yet very powerful and efficient cli utility tool to process and manipulate JSON data jtc offers following features (a short list of main features): simple user interface allowing applying a bulk of changes in a single or chained sets of commands featured walk-path interface lets extracting any combination of data from sourced JSON trees extracted data is representable either as f
jq で IP アドレスを sort_by しようと思ったがうまくいかなかったので大人しく sort -V を使った | DevelopersIO
コンバンハ、千葉（幸）です。 AWS サービスの IP レンジの確認にip-ranges.jsonを jq でフィルタリングすることがしばしばあります。 そのまま実行すると IP プレフィックスは整列されていない状態で出力されるため、ソートしたいと考えました。 jq の機能に sort が含まれているため、そちらでなんとかできないかと思い試してみました。 まとめ jq の sort_byを使用すると文字列としてソートされるため期待した並びにならない jq でソートするのは諦めてパイプしてsortを使用しよう sortを使用する場合は-Vオプションを使用しよう （追記）jq だけでも split() や map() を使用すれば実現できる……! ip-ranges.json に jq を使用する AWS サービスが使用する IP アドレス範囲は、ip-ranges.jsonとして公開されてい
<ul> <li><a href=""><img src="img1.jpg" alt=""></a></li> <li><a href=""><img src="img2.jpg" alt=""></a></li> <li><a href=""><img src="img3.jpg" alt=""></a></li> </ul> <div class="modal"> <div class="bigimg"><img src="" alt=""></div> <p class="close-btn"><a href="">✖</a></p> </div> サンプルでは、「ul」で複数画像が並ぶリストをマークアップしています。 その後に「modal」のクラスをつけたdiv要素を置き、その中に「bigimg」のクラスを付けたdiv要素を入れ、さらにその子要素として「img」タグを記述します。
ごく稀にbashなどのシェルや、CLIプログラムで使用するプログラムから日本語などをURIエンコードしたいことがあると思います。 そのためにrubyやnode.jsを動かすのも面倒だなぁ、と思っていたのですがjqでもできることがわかったのでメモしておきます。 やり方$ echo "日本語" | jq -Rr @uri %E6%97%A5%E6%9C%AC%E8%AA%9E # echoには改行(\n)が含まれるがそれも含める場合 $ echo "日本語" | jq -sRr @uri %E6%97%A5%E6%9C%AC%E8%AA%9E%0Aオプションの説明-R, --raw-input: JSONとしてパースせず、行ごとに文字列として処理を行う-r, --raw-output: 文字列として出力を行う@uri: percent-encoding を行うほかにもこんなのがありました。(j
GitHub - odnoletkov/advent-of-code-jq: Solving Advent of Code with jq
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
An Introduction to JQ
Explore the power of jq for JSON processing in this article. If you’re a jq aficionado, discover how Earthly can streamline your JSON tasks and enhance your build pipelines. Learn more. Background: Fingers, Head, and Google Whenever I reach a stopping point in my work, I use a bash alias called gwip1 to create a ‘work in progress’ commit. It happens without conscious thinking on my part. The same
GitHub - maiha/xq.cr: Command-line XML processor inspired by `jq`
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
業務で最近JSONをjqで弄ることが多くなったので、jqを使って遊んでたらCSVができましたという話です。 問題 元となるJSONはこんな感じです。 {"col_chr1": "hoge", "col_num": 23, "col_bl1": false} {"col_num": 24, "col_bl1": true, "col_bl2": true, "col_chr2": "nya-n"} {"col_chr1": "hoge", "col_num": 2, "col_bl2": false}
jqで以下のことをやりたくて、ちょっと悩んだ末にできたのでメモ。 やりたかったこと 以下のような配列を含む1つのオブジェクトを、 { "pod": { "name": "mypod" }, "containers": [ { "name": "mycontainer1", "usage": { "cpu": "50" } }, { "name": "mycontainer2", "usage": { "cpu": "100" } } ] }
GitHub - sibprogrammer/xq: Command-line XML and HTML beautifier and content extractor
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
jqを使っていて「特定の文字列を含んでない」レコードをselectしたいみたいなケースの話 感覚的には条件式に!をつけて否定したものを条件として使いたかったがそういう書き方はできない 調べてみたら次のスレッドで言及されていた jq - How to filter a json that does not contain - Stack Overflow stackoverflow.com true/false に対してパイプでnotに渡してあげればよいらしい サンプルを用意していくつか試してみる sample.json [ { "name": "hoge 1.1.1", "flag": true }, { "name": "fuga 2.1.1", "flag": false }, { "name": "3.3.3", "flag": true } ] flagだけ取り出してみる $ ca
.[] .["prop"] .prop .prop1, .prop2 オブジェクトの生成 keys has()
jQueryで要素の表示・非表示をする方法についてまとめてみました。 よりよい方法やバグ等ございましたら、アドバイスいただけると光栄です。 まず、要素の表示・非表示をするには以下の３種類の方法があります。 １．要素の非表示 ２．要素の表示 ３．要素の表示・非表示の切り替え １．要素の非表示 下記HTMLファイルがあった時に表示されている要素を隠すには、複数の方法があります。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
yqコマンド(jq wrapper for YAML)使い方備忘録
jq.el というライブラリを作って学んだこと - Qiita
JSONデータの操作にjqコマンド使ってみたら扱いやすかったので紹介したい | DevelopersIO
jqを使って少し複雑な条件式でフィルタリングする方法をまとめてみた - Qiita
jqコマンドで日付のフォーマット変更とタイムゾーン変更
jqコマンドで複数フィールドの値を１行に表示させる - 動かざることバグの如し
jqのyaml版コマンド yq は2種類ある - つばくろぐ @takamii228
Linux Tips: コマンドラインでJSONをCSVに変換する
GitHub - ldn-softdev/jtc: JSON processing utility
【jQuery】選んだ画像が拡大表示になるモーダルの作成方法を解説します！ | Webクリエイター自省録
jqでURIエンコードする
Keyが揃ってないJSONデータをjqでワンライナーでヘッダ付きCSVに変換する - Qiita
jqで入れ子の配列を展開して複数のオブジェクトにする - Qiita
GitHub - bfrg/vim-jqplay: Run jq interactively in Vim
jqで条件にマッチしないデータをnotとselectで除外する - notebook
jq入門 (全10回) - プログラミングならドットインストール
jQueryで要素の表示・非表示を切り替える方法について - Qiita