手动删除es文件并释放磁盘空间
1.停掉服务
systemctl stop xsdaemon.service
2.删掉索引
rm -rf /home/storager/c3dceb5e-bacc-4a27-983a-360c12192439/sxzlog/下面的sxzlog
3.cat /etc/crontab
/opt/xslog/maintainlog.sh 30
 
4.开启服务
 
 手动删除es某个索引
systemctl stop xsdaemon.service
pkill -9 xslog
curl -XDELETE 'localhost:9200/sxzlog-2018.03.01-*?pretty'
curl -XDELETE 'localhost:9200/sxzlog-2018.05.25-urllog?pretty'
 
 
 
 
 
 
日志队形对应   curl 'localhost:9200/_cat/indices?v'   索引查询
 sxzlog-2017.12.25-urllog -----Url日志
sxzlog-2017.12.25-dnslog  ------DNS日志
sxzlog-2017.12.25-idlog  -----用户认证日志
sxzlog-2017.12.25-gamelog  -------游戏日志
sxzlog-2017.12.25-redirectlog  ------重定向日志
sxzlog-2017.12.25-picfile  -----图片浏览和文件下载日志
sxzlog-2017.12.25-othlog  ----包括微信日志、QQ日志、虚拟身份日志(WangWang/WeiBo/mail)
sxzlog-2017.12.25-filedwlog ----只针对于QQ和微信中的图片和是视频日志
sxzlog-2017.12.25-phonemsg ------手机信息 
 curl 'localhost:9200/_cat/indices?v' 
 
 /opt/xslog下面

mkdir /D

chown -R elasticsearch:elasticsearch /D 

/opt/xslog/el_status.sh add 执行es的监控

/opt/xslog/mem_con.sh add  监控xslog的内存使用和根下面的磁盘占用情况

pkill -9 logserver ;./logserver -d 1 -p 8002

查询最近一天数据总量

 SELECT
  partition_name part, 
  partition_expression expr, 
  partition_description descr, 
  table_rows 
FROM
  INFORMATION_SCHEMA.partitions 
WHERE
  TABLE_SCHEMA = schema() 
  AND TABLE_NAME='tburllog';
  
ssh导出游戏数据为xls格式

select 需要导出的数据1,需要导出的数据2, from 数据库表 where 导出过滤条件 into outfile '要导出文件名以及格式'

SELECT node,inet_ntoa(srcip),srcport,inet_ntoa(dstip),dstport,mac,act,data1,type FROM tbnetlog WHERE type='gamelog' and date between '20171130' and '20121202' into outfile '/home/mysql/test.xls';

参考:https://www.cnblogs.com/luxiaojun/p/6543912.html

debug调试日志和数据查询的更多相关文章

  1. 在Lua中封装一个调试日志(附lua时间格式)

    --自己封装一个Debug调试日志 Debug={} Info={} local function writeMsgToFile(filepath,msg) end function Debug.Lo ...

  2. pt-query-digest怎么分析慢查询日志分析数据

    在进行使用linux系统作为服务器的情况,那几需要进行对linux的服务器进行性能上数据进行抓取之后,就需要对数据中内容进行分析,看数据库中内容是否存在瓶颈上的问题,在进行获取到的数据的慢查日志,将使 ...

  3. NodeJS学习笔记 进阶 (11)Nodejs 进阶:调试日志打印:debug模块

    个人总结:读完这篇文章需要5分钟,讲解了debug模块的使用 摘选自网络 前言 在node程序开发中时,经常需要打印调试日志.用的比较多的是debug模块,比如express框架中就用到了.下文简单举 ...

  4. MR单元测试以及DeBug调试

    Hadoop的MapReduce程序提交到集群环境中运行,出问题时定位非常麻烦,有时需要一遍遍修改代码和打印日志来排查问题,哪怕是比较小的问题.如果数据量很大的话调试起来就相当耗费时间. 而且,Map ...

  5. 微服务日志监控与查询logstash + kafka + elasticsearch

    使用 logstash + kafka + elasticsearch 实现日志监控 https://blog.csdn.net/github_39939645/article/details/788 ...

  6. 比hive快10倍的大数据查询利器presto部署

    目前最流行的大数据查询引擎非hive莫属,它是基于MR的类SQL查询工具,会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛, 让一般的业务人员也可以直接对大数据进行查询. ...

  7. mysql基础之日志管理(查询日志、慢查询日志、错误日志、二进制日志、中继日志、事务日志)

    日志文件记录了MySQL数据库的各种类型的活动,MySQL数据库中常见的日志文件有 查询日志,慢查询日志,错误日志,二进制日志,中继日志 ,事务日志. 修改配置或者想要使配置永久生效需将内容写入配置文 ...

  8. 【开源】OSharp3.0框架解说系列(6.2):操作日志与数据日志

    OSharp是什么? OSharp是个快速开发框架,但不是一个大而全的包罗万象的框架,严格的说,OSharp中什么都没有实现.与其他大而全的框架最大的不同点,就是OSharp只做抽象封装,不做实现.依 ...

  9. paip.提升效率--调试--日志系统日志参数含义---python

    paip.提升效率--调试--日志系统日志参数含义---python #同时向控制台和文件输出日志 #日志参数含义 import logging log_format = '%(filename)s ...

随机推荐

  1. SQL Server创建事务——锁

    参考地址:http://www.cnblogs.com/knowledgesea/p/3714417.html 事务定义: 事务是作为单个逻辑单元执行的一系列操作,它是一个不可分割的工作逻辑单元.它包 ...

  2. android上传图片、视频、文件,服务端使用wcf接收

    最近一直在搞android上传图片.视频.文件,服务端使用wcf接收,本文对调试中的遇到的问题进行记录. 首先android上传一些小图片是比较容易的一天下来差不多就能调试出来,但是上传一些大的文件时 ...

  3. 002-jdk10安装

    下载地址: 1.百度云下载地址.(当然也可以官网下载,都一样) 地址:https://pan.baidu.com/s/13oZh_5tXb_Xadg9f-y2Idw 密码:a9h8 安装jdk: 2. ...

  4. Winter-2-STL-A Argus 解题报告及测试数据

    Time Limit:2000MS     Memory Limit:65536KB Description A data stream is a real-time, continuous, ord ...

  5. SSH的加入顺序*(转)

    首先创建一个 New  =>  Web Project  起名 demo 然后在项目名称上 点击鼠标右键 选择 MyEclipse => Add Speing Capabilites... ...

  6. etcd:从应用场景到实现原理的全方位解读 转自infoq

    转自 infoq etcd:从应用场景到实现原理的全方位解读 http://www.infoq.com/cn/articles/etcd-interpretation-application-scen ...

  7. SpringBoot入门学习(三)

    基于第二讲,这一讲我们主要讲解包含以下内容 springBoot添加对freemarker的支持 使用@RestController处理ajax请求 使用@PathVariable注解获取url参数 ...

  8. AJAX POST请求中参数以form data和request payload形式在php中的获取方式

    一.MINE TYPE问题: php对mime type为“application/x-www-form-urlencoded”(表单提交)和“multipart/form-data”(文件上传)的P ...

  9. 关于STM8S使用硬件SPI收发问题

    源: 关于STM8S使用硬件SPI收发问题

  10. 20145314郑凯杰 《Java程序设计》第8周学习总结

    20145314郑凯杰 <Java程序设计>第8周学习总结 教材学习内容总结 代码已托管 第十五章 通用API ①日志: 日志对信息安全意义重大,审计.取证.入侵检测等都会用到日志信息 使 ...