完美的【去重留一】SQL

DELETE consum_record FROM consum_record, ( SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING ) t2 WHERE consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary an…

thinkphp去重统计数据sql

DISTINCT 方法用于返回唯一不同的值官方文档给出的示例: $Model->distinct(true)->field('userName')->select(); 解析的SQL:SELECT DISTINCT `userName` FROM `table` 去重统计: $totalRows = $this->where($where)->count('DISTINCT mobilePhone') 解析的SQL:SELECT COUNT(DISTINCT mobileP…

判断list数组里的json对象有无重复，有则去重留1个

查找有无重复的 var personLength = [{ certType: '2015-10-12', certCode:'Apple'}, { certType: '2015-10-12', certCode:'Apple'}, { certType: '2015-10-13', certCode :'Apple' }] var find = false; for(var i = 0; i < personLength.length; i++){ for(var j = i + 1; j…

最有效地优化 Microsoft SQL Server 的性能

为了最有效地优化 Microsoft SQL Server 的性能,您必须明确当情况不断变化时,性能将在哪些方面得到最大程度的改进,并集中分析这些方面.否则,在这些问题上您可能花费大量的时间和精力,而性能却得不到明显的改善. 以下大部分信息并不解决由多用户并发使用而引起的性能问题.“Maximizing Database Consistency and Concurrency”(数据库一致性和并发性的最大化)一文以及其他知识库文章将对这个复杂的主题做单独的讨论,前者可从 SQL Server…

SQL修炼道路上必看的书籍

1 SQL应用重构 9787111263586 2 SQL 必知必会(第3版) 9787115162601 3 SQL Server 2005高级程序设计 9787115170798 4 SQL 解惑(第2版) 9787115174345 5 SQL Server 2005编程艺术 9787115179357 6 SQL Server 2005范例代码查询辞典 9787115179586 7 SQL编程风格 9787115185822 8 SQL Server求生秘籍 9787115191113…

SQL——按照季度，固定时间段，分组统计数据

最近在工作中接到了一个需求,要求统计当月以10天为一个周期,每个周期的数据汇总信息.假设有一张表如下: 表table_test中 ID AMOUNT CREATE_DATE 1 50 2017-01-01 2 50 2017-01-09 3 50 2017-01-11 4 …

sql 基础练习计算7天各个时间点的总和 group by order mysql一次查询多个表

SQL 基础练习 -- 创建数据库 CREATE DATABASE school CHARACTER SET UTF8; -- 使用数据库 USE school; -- id: 学生的id -- name:学生的名字 -- nickname:学生的昵称 -- sex:性别 -- in_time: 入学的时间 CREATE TABLE students ( id INT NOT NULL AUTO_INCREMENT PRIMARY KEY, name ) NOT NULL, nickname )…

Spark SQL和CSl

目录 1 2 3 4 1 import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession} object Demo1Sess { def main(args: Array[String]): Unit = { val spark: SparkSession = SparkSession.builder() .master("local") .appName("Demo1Sess") // 设置spark…

SQL连接查询优化[姊妹篇.第五弹]

上篇的sql优化篇章,更多偏向于优化的思想概念,先前抛出的4个优化问题中,篇幅过长,只对前两个问题进行了解析. 接下来我们一起来谈谈sql的连接查询优化,更偏向于实际运用,并对如下两个问题进行探讨.篇幅过长,请耐心看完. 1.嵌套查询.HASH连接.排序合并连接.笛卡尔连接等怎样玩能达到最优? 2. IN 与 EXISTS 谁快谁慢? 嵌套循环(NESTED LOOPS) 嵌套循环的算法:驱动表返回一行数据,通过连接列传值给被驱动表,驱动表返回多少行,被驱动表就要被扫描多少次. 这里我补充一下驱…

django 问题综合

orm部分本篇文章我会持续更新,把开发中遇到的一切orm相关的问题都放在这里 mysql索引报错使用django 的orm,数据库用的mysql,在使用makemigrations和migrate生成数据库表时,报如下错误: Traceback (most recent call last): File "manage.py", line 15, in <module> execute_from_command_line(sys.argv) File "C:\…

SPA游标采集之去除重复

注:转:http://shsnc2014.blog.163.com/blog/static/2403690822014102411217903/ 当我们做数据库升级项目的时候,我们一般会去做性能回归测试,通俗一点来说,就是把10g生产库的语句拿到11g生产环境上运行,如果发现运行过程中,由于优化器.实例参数等改变导致执行计划变化,最终导致性能退化的语句,需要拿出来单独进行分析及验证.要做这个事情,首先我们需要把我们的10g上的语句给采集出来,采集方法分为以下几种方式. cursor cache…

【MySQL】【1】表中存在重复记录，删除保留其中一条

--删除题库(TABLE_Q )中,标题(TITLE )和类型(TYPE )都相同的数据,仅保留ID最小的一条 DELETE TABLE_Q FROM TABLE_Q, ( ) T2 WHERE TABLE_Q.TITLE = T2.TITLE AND OTC_QUESTION_BANK.TYPE = T2.TYPE AND OTC_QUESTION_BANK.QUEST_NO > T2.QUEST_NO; 备注: 在Mysql中是不能删除查询出来的记录的,所以Oracle的写法在MySQL里执…

Oracle性能优化之 Oracle里的优化器

优化器(optimizer)是oracle数据库内置的一个核心子系统.优化器的目的是按照一定的判断原则来得到它认为的目标SQL在当前的情形下的最高效的执行路径,也就是为了得到目标SQL的最佳执行计划.依据所选择执行计划时所用的判断原则,oracle数据库里的优化器又分为RBO(基于原则的优化器)和CBO(基于成本的优化器,SQL的成本根据统计信息算出)两种. 一.RBO Oracle会在代码里事先为各种类型的执行路径定一个等级,一共15个等级,从等级1到等级15,oracle认为等级1的执行路径…

spring boot(五)：spring data jpa的使用

在上篇文章springboot(二):web综合开发中简单介绍了一下spring data jpa的基础性使用,这篇文章将更加全面的介绍spring data jpa 常见用法以及注意事项使用spring data jpa 开发时,发现国内对spring boot jpa全面介绍的文章比较少案例也比较零碎,因此写文章总结一下.本人也正在翻译Spring Data JPA 参考指南,有兴趣的同学欢迎联系我,一起加入翻译中! spring data jpa介绍首先了解JPA是什么? JPA(Ja…

Mysql慢查询和慢查询日志分析

Mysql慢查询和慢查询日志分析众所周知,大访问量的情况下,可添加节点或改变架构可有效的缓解数据库压力,不过一切的原点,都是从单台mysql开始的.下面总结一些使用过或者研究过的经验,从配置以及调节索引的方面入手,对mysql进行一些优化. 第一步应该做的就是排查问题,找出瓶颈,所以,先从日志入手开启慢查询日志 mysql>show variables like "%slow%"; 查看慢查询配置,没有则在my.cnf中添加,如下 log-slow-queries …

Mysql 慢查询和慢查询日志分析

众所周知,大访问量的情况下,可添加节点或改变架构可有效的缓解数据库压力,不过一切的原点,都是从单台mysql开始的.下面总结一些使用过或者研究过的经验,从配置以及调节索引的方面入手,对mysql进行一些优化.第一步应该做的就是排查问题,找出瓶颈,所以,先从日志入手开启慢查询日志mysql>show variables like “%slow%”; 查看慢查询配置,没有则在my.cnf中添加,如下 log-slow-queries = /data/mysqldata/slowquery.log #…

mysqlsla 分析mysql慢查询日志

发现有一个工具mysqlsla,分析查询日志比 mysqldumpslow分析的会更清晰明了! 安装mysqlsla: 下载mysqlsla-2.03.tar.gz [root@yoon export]# tar -xvf mysqlsla-2.03.tar.gz [root@yoon export]# yum install *DBI* [root@yoon mysqlsla-2.03]# perl Makefile.PLCan't locate Time/HiRes.pm in @INC (…

mysqlsla慢查询分析工具教程

mysqlsla是一款帮助语句分析.过滤.和排序的功能,能够处理MySQL慢查询日志.二进制日志等.整体来说, 功能非常强大. 能制作SQL查询数据报表,分析包括执行频率, 数据量, 查询消耗等. 且该工具自带相似SQL语句去重的功能,能按照指定方式进行排序(比如分析慢查询日志的时候,让其按照SQL语句执行时间逆排序,就能很方便的定位出问题所在) + ------------- 安装mysqlsla慢查询日志分析工具 ------------- + yum -y install perl-Ext…

mysql slow log分析工具的比较

mysql 中的 slow log 是用来记录执行时间较长(超过 long_query_time 秒)的 sql 的一种日志工具. 启用 slow log 在 my.cnf 中设置 [mysqld] slow_query_log=on slow_query_log_file=mysql-slow 重启 MySQL 服务. 五款常用工具 mysqldumpslow mysqlsla myprofi mysql-explain-slow-log mysql-log-filter mysq…

构建微服务：Spring boot

构建微服务:Spring boot 在上篇文章构建微服务:Spring boot 提高篇中简单介绍了一下spring data jpa的基础性使用,这篇文章将更加全面的介绍spring data jpa 常见用法以及注意事项前几篇文章地址: 构建微服务:Spring boot 入门篇构建微服务:Spring boot 提高篇构建微服务:Spring boot中Redis的使用构建微服务:thymeleaf使用详解作者:纯洁的微笑出处:http://www.ityouknow.com/…

开启Mysql慢查询来优化mysql

开启Mysql慢查询来优化mysql 优化sql语句是优化数据库的一个很重要的方面,那么怎么发现那些耗时耗资源的sql语句呢,开启Mysql慢查询! 1.查看是否开启慢查询,默认情况下是关闭的.你的mysql最好在5.1版本以上 mysql> show variables like "%slow%"; +---------------------+--------------------------------------------------------- ---------…

MySQL慢查询日志分析

一:查询slow log的状态,如示例代码所示,则slow log已经开启. mysql> show variables like '%slow%'; +---------------------+------------------------------------------+ | Variable_name | Value | +---------------------+------------------------------------------+ | log_slow_que…

JavaScript系列-----对象基于哈希存储（<Key，Value>之Key篇）（1）

1.Hash表的结构首先,允许我们花一点时间来简单介绍hash表. 1.什么是hash表 hash表是一种二维结构,管理着一对对<Key,Value>这样的键值对,Hash表的结构如下图所示: 如上图所示,左侧部分是一个一维顺序存储的数组,数组单元格里的内容是指向另一个链式数组的指针.图中绿色部分是<Key,Value>,绿色部分右侧的白色部分是指向下一对键值对的指针. hash表的工作原理: (1).第一步先根据给定的key和散列算法得到具体的散列值,也就是对应的数组下标.…

Spring Boot-------JPA基础及查询规则

JPA基础及查询规则 JPA JPA是Java Persistence API的简称,中文名Java持久层API,是JDK 5.0注解或XML描述对象-关系表的映射关系,并将运行期的实体对象持久化到数据库中. JPA框架中支持大数据集.事务.并发等容器级事务,这使得 JPA 超越了简单持久化框架的局限,在企业应用发挥更大的作用. Spring Boot使用JPA 首先在idea中创建项目的时候你就需要选择JPA这一项,就会自动的在pom.xml文件中引入JPA的jar包创建一个BaseDAO来…

「mysql优化专题」什么是慢查询？如何通过慢查询日志优化？（10）

日志就跟人们写的日记一样,记录着过往的事情.但是人的日记是主观的(记自己想记的内容),而数据库的日志是客观的,根据记录内容分为以下好几种日志(技术文): a.错误日志:记录启动.运行或停止mysqld时出现的问题. b.通用日志:记录建立的客户端连接和执行的语句. c.更新日志:记录更改数据的语句.该日志在MySQL 5.1中已不再使用. d.二进制日志:记录所有更改数据的语句.还用于复制. e.慢查询日志:记录所有执行时间超过long_query_time秒的所有查询或不使用索引的查询. f.…

SpringBoot入门：Spring Data JPA 和 JPA（理论）

参考链接: Spring Data JPA - Reference Documentation Spring Data JPA--参考文档中文版纯洁的微笑:http://www.ityouknow.com/ springboot(二):web综合开发 http://www.ityouknow.com/springboot/2016/02/03/springboot(%E4%BA%8C)-web%E7%BB%BC%E5%90%88%E5%BC%80%E5%8F%91.html spring…

group by搭配 order by解决排序问题

问题 Ftravel_id Facct_no Froute_code Fmodify_time 41010020180725102219102000010452 1359c027b0a15266418643239300118 4101001701E214 2018-07-25 10:22:19 41010020180725102749102000010453 1359c027b0a15266418643239300118 4101001701E214 2018-07-25 10:27:49 41…