背景 kafka早期作为一个日志消息系统,很受运维欢迎的,配合ELK玩起来很happy,在kafka慢慢的转向流式平台的过程中,开发也慢慢介入了,一些业务系统也开始和kafka对接起来了,也还是很受大家欢迎的,由于业务需要,一部分小白也就免不了接触kafka了,这些小白总是会安奈不住好奇心,要精确的查看kafka中的某一条数据,作为服务提供方,我也很方啊,该怎么怼?业务方不敢得罪啊,只能写consumer去消费,然后人肉查询. 需求 有什么方法能直接查询kafka中已有的数据呢?那时候prest…

Elasticsearch的查询语言(DSL)真是不好写,偏偏查询的功能千奇百怪,filter/query/match/agg/geo各种各样,不管你是通过封装JSON还是通过python/java的api进行封装,都非常不方便. 最近发现了一个插件,Elasticsearch-SQL可以用sql查询Elasticsearch,感觉这个轮子造的真是好. Elasticsearch-sql的项目地址:https://github.com/NLPchina/elasticsearch-sql 1.简…

[kafka KSQL]游戏日志统计分析(1) 以游戏结算日志为例,展示利用KSQL对日志进行统计分析的过程. 启动confluent cd ~/Documents/install/confluent-5.0.1/ bin/confluent start 查看kafka主题列表 bin/kafka-topics --list --zookeeper localhost:2181 创建接受游戏结算日志的topic bin/kafka-topics --create --zookeeper loca…

2001 年 MySQL 发布 3.23 版本,自此便开始获得广泛应用,随着不断地升级迭代,至今 MySQL 已经走过了 20 个年头. 为了充分发挥 MySQL 的性能并顺利地使用,就必须正确理解其设计思想,因此,了解 MySQL 的逻辑架构是必要的.本文将通过一条 SQL 查询语句的具体执行过程来详细介绍 MySQL 架构中的各个组件. MySQL 逻辑架构概览 MySQL 最重要.最与众不同的特性就是它的可插拔存储引擎架构(pluggable storage engine architec…

常见优化Sql查询性能的方法有哪些? 1.查询条件减少使用函数,避免全表扫描 2.减少不必要的表连接 3.有些数据操作的业务逻辑可以放到应用层进行实现 4.可以使用with as 5.使用“临时表”暂存中间结果 6.不要把SQL语句写得太复杂 7.不能循环执行查询 8.用 exists 代替 in 9.表关联关系不要太纠结 10.查询多用索引列取查,用charindex或者like[0-9]来代替%%…

在我们做各类统计和各类报表的时候,会有各种各样的查询要求.条件 这篇主要记录一个常见的统计查询 要求如下: 统计一段时间内,每天注册人数,如果某天没有人注册则显示为0 现在建个简单的表来试试 建表语句如下: CREATE TABLE [dbo].[UserInfo]( ,) NOT NULL, ) NOT NULL, [URegTime] [datetime] NOT NULL, CONSTRAINT [PK_UserInfo] PRIMARY KEY CLUSTERED ( [UserID]…

三.查看数据库的SQL 1 .查看表空间的名称及大小 select  t.tablespace_name,  round ( sum (bytes / ( 1024 * 1024 )), 0 ) ts_size from  dba_tablespaces t, dba_data_files d where  t.tablespace_name  =  d.tablespace_name group   by  t.tablespace_name; 2 .查看表空间物理文件的名称及大小 selec…

如何用一个SQL查询出一个班级各个学科第N名是谁? 首先贴出建表语句,方便大家本地测试: -- 建表语句 CREATE TABLE score ( id INT NOT NULL auto_increment, `name` VARCHAR (20) NOT NULL DEFAULT '' COMMENT '姓名', sub VARCHAR (20) NOT NULL DEFAULT '' COMMENT '学科', score INT NOT NULL DEFAULT 0 COMMENT '分…

SQL查询第m条到第n条的方法 如表名为GOOD Sselect top (n-m) * from GOODS where (某一列名) not in (select top m (某一列名) from GOODS)…

1.使用字符串作为条件查询 $user = M('User'); var_dump($user->where('id=1 AND user="蜡笔小新"')->select()); //最终生成的 SQL 语句 SELECT * FROM `think_user` WHERE ( id=1 AND user="蜡笔小新" ) 2.使用索引数组作为查询条件 $user = M('User'); $condition['id'] = 1; $conditio…