jq工具及其常用用法
近来在工作中处理JSON处理较多,深入研究了一下jq,之前对jq的使用一直停留在JSON数据格式化的层面,实际它的能力远不止于此。
在处理JSON数据时,我们经常需要在命令行中进行过滤、查询和编辑的操作。jq是一个强大的命令行JSON处理工具, 它可以让我们轻松地对JSON数据进行各种操作。本文将简要介绍jq的基本概念和常用功能,并提供一些实际的例子。
一、jq简介
jq是一个轻量级且灵活的命令行JSON处理器。它允许你基于键、值和数组索引来提取、过滤和修改JSON数据。jq主要有以下特性:
基于流式处理,适用于大型JSON数据文件。
提供了丰富的操作符和函数,与 Unix 的管道(pipe)和 I/O 重定向兼容。
支持条件过滤、字符串操作、数学运算和自定义函数等高级功能。
二、安装jq
在大多数Linux发行版上,可以通过包管理器轻松安装jq:
在基于Debian的发行版上:
sudo apt-get install jq
在基于RHEL的发行版上:
sudo yum install jq
在Arch Linux上:
sudo pacman -S jq
在macOS上,可以使用Homebrew安装:
brew install jq
三、常用jq用法
以下是jq的一些常见用法。
1. 读取属性值
要从输入的JSON对象中提取属性值,可以使用.
操作符。
举例:有一个名为sample.json
的文件,内容如下:
{
"name": "Alice",
"age": 30,
"city": "New York"
}
提取名字:
cat sample.json | jq '.name'
输出结果:
"Alice"
2. 过滤数组元素
要对数组元素进行过滤,可以使用[]
操作符。
举例:有一个名为students.json
的文件,内容如下:
[
{
"name": "Alice",
"age": 30,
"city": "New York"
},
{
"name": "Bob",
"age": 25,
"city": "San Francisco"
},
{
"name": "Charlie",
"age": 23,
"city": "Los Angeles"
}
]
提取所有名字:
cat students.json | jq '.[].name'
输出结果:
"Alice"
"Bob"
"Charlie"
3. 选择特定数组元素
如果要返回具有某些属性的特定元素,则可以使用选择器。例如,要选择年龄超过25岁的学生:
cat students.json | jq '.[] | select(.age > 25)'
输出结果:
{
"name": "Alice",
"age": 30,
"city": "New York"
}
4. 排序和唯一化数组
可以使用sort
,sort_by()
和unique
函数对数组进行操作。
例如,对来自sample-array.json
文件的年龄进行排序和去重:
[30, 20, 25, 30, 25, 20]
排序且去重:
cat sample-array.json | jq 'unique | sort'
输出结果:
[
20,
25,
30
]
5. 修改数据
除了筛选和查询,jq还支持创建和修改数据。例如,为students.json
中的每个学生添加 “isActive” 属性:
cat students.json | jq '.[] | {name, age, city, isActive: true}'
输出结果:
{
"name": "Alice",
"age": 30,
"city": "New York",
"isActive": true
}
{
"name": "Bob",
"age": 25,
"city": "San Francisco",
"isActive": true
}
{
"name": "Charlie",
"age": 23,
"city": "Los Angeles",
"isActive": true
}
四、总结
jq是个非常强大的命令行JSON处理工具,支持各种数据操作功能,能够帮助你在处理JSON数据时更加便捷和高效。本文列举了一些常用的jq使用案例,但jq的功能远不止于此。更多丰富的功能可以在官方文档(点击查看)中找到。 熟练掌握jq有助于提高命令行处理JSON数据的能力,为其它处理和分析工具提供更方便的数据源。
作者:京东物流 张涛
来源:京东云开发者社区 自猿其说Tech 转载请注明来源
jq工具及其常用用法的更多相关文章
- web报表工具FineReport常用函数的用法总结(日期和时间函数)
web报表工具FineReport常用函数的用法总结(日期和时间函数) 说明:凡函数中以日期作为参数因子的,其中日期的形式都必须是yy/mm/dd.而且必须用英文环境下双引号(" " ...
- MySQL的mysqldump工具的基本用法
导出要用到MySQL的mysqldump工具,基本用法是: shell> mysqldump [OPTIONS] database [tables] 如果你不给定任何表,整个数据库将 ...
- linux 系统监控、诊断工具之 lsof 用法简介
1.lsof 简介 lsof 是 Linux 下的一个非常实用的系统级的监控.诊断工具. 它的意思是 List Open Files,很容易你就记住了它是 "ls + of"的组合 ...
- grep知识及常用用法梳理
1. grep语法及其参数说明 grep是文本搜索工具,能根据用户指定的'PATTERN模式'目标文本进行逐行匹配检查,注意grep默认会以 行 为单位打印匹配到的行. 以下是grep命令的语法及常用 ...
- centos的vi常用用法
centos的vi常用用法 vi编辑器是所有Unix及Linux系统下标准的编辑器,它的强大不逊色于任何最新的文本编辑器,这里只是简单地介绍一下它的用法和一小部分指令.由于对Unix及Linux系统的 ...
- MySql与SqlServer的一些常用用法的差别
MySql与SqlServer的一些常用用法的差别 本文为转载 本文将主要列出MySql与SqlServer不同的地方,且以常用的存储过程的相关内容为主. 1. 标识符限定符 SqlServer [] ...
- [转]ssh常用用法小结
ssh常用用法小结 1.连接到远程主机: 命令格式 : ssh name@remoteserver 或者 ssh remoteserver -l name 说明:以上两种方式都可以远程登录到远程主机, ...
- 【三支火把】---一份程序看懂C程序printf()的几种常用用法
闲来继续巩固我的学习之路,今天略微整理了一下,C程序中Printf()的一些常用用法,虽然自己以前好像会,但是不够系统,今天大致整理了一些,先贴上来看看,以后在看到其他,继续补充,希望能帮到一些像我一 ...
- grep参数说明及常用用法
grep参数说明及常用用法 趁着午休的时间把自己经常使用的一些grep命令整理一下. 方便以后查看. 后续会逐步把awk/sed/find等常用的命令理一理. 增强下记忆. 也算是对得起自己了. ^^ ...
- ssh常用用法小结
ssh常用用法小结 1.连接到远程主机: 命令格式 : ssh name@remoteserver 或者 ssh remoteserver -l name 说明:以上两种方式都可以远程登录到远程主机, ...
随机推荐
- Java正三角、倒三角
正三角 public static void main(String[] args) { // 正三角 int num = 8; for(int i = 1;i<=num;i++) { for( ...
- 2023-07-01:redis过期策略都有哪些?LRU 算法知道吗?
2023-07-01:redis过期策略都有哪些?LRU 算法知道吗? 答案2023-07-01: 缓存淘汰算法(过期策略) 当Redis的内存超出物理内存限制时,内存中的数据就会频繁地与磁盘进行交换 ...
- 深入浅出security学习笔记
第一章 导入web和security依赖,然后默认提供了一个基于内存的UserDetailsServiceAutoConfiguration如下 会读取写入的user配置,SecurityProper ...
- 自学前端-HTML5+CSS-综合案例一-热词
综合案例一-热词 目录 综合案例一-热词 1.设计需求 2.设计所需标签和CSS样式 3.设计具体步骤 4.遇到的问题 设计图如下 1.设计需求 ①需要鼠标放上去有显示透明 ②需要点击后跳转到相应页面 ...
- 在DevExpress的GridView的列中,动态创建列的时候,绑定不同的编辑处理控件
在使用DevExpress的GridView的时候,我们为了方便,往往使用一些扩展函数,动态创建GridView列的编辑控件对象,然后我们可以灵活的对内容进行编辑或者使用一些弹出的对话框窗体进行处理内 ...
- 【AltWalker】模型驱动:轻松实现自动化测试用例的自动生成和组织执行
模型驱动的自动化测试 模型驱动的自动化测试(Model-Based Testing, 后文中我们将简称为MBT)是一种软件测试方法,它将系统的行为表示为一个或多个模型,然后从模型中自动生成和执行测试用 ...
- TypeScript: 类型别名
类型别名 在 TYPESCRIPT 中,类型别名可以使用 TYPE 关键字来定义.类型别名可以方便地定义一个类型,并为其起一个易于理解的名称,以便在其他地方引用该类型时使用. 示例 type MySt ...
- Notepad正则表达式用法
https://blog.csdn.net/cuckoo1/article/details/52165449
- 通过 tree shaking 移除无用代码
tree shaking 依赖于ES Module 的静态语法分析,在项目编译时移除无用的代码以减少文件体积. usedExports 在文件中,我们可能定义了变量但是暂时又没有用到,这样会造成空间的 ...
- Matlab机器人工具箱安装教程
参考以下博客 https://blog.csdn.net/AprilsHell/article/details/90722892