主要实现了在后台查看日志列表及打包下载功能. 由于用到了PHP压缩功能,特此记录下. 压缩下载类: Hzip.php <?php /** * Created by PhpStorm. * @author: YJC * @date: 2017/1/4 */ namespace Yjc; use ZipArchive; class Hzip { /** * Add files and sub-directories in a folder to zip file. * @param string $…

SqlServer2008日志压缩语句如下: USE [master] GO ALTER DATABASE DBName SET RECOVERY SIMPLE WITH NO_WAIT GO ALTER DATABASE DBName SET RECOVERY SIMPLE --简单模式 GO USE DBName GO , TRUNCATEONLY) GO USE [master] GO ALTER DATABASE DBName SET RECOVERY FULL WITH NO_WAIT…

背景 刚毕业那几年有幸进入了当时非常热门的某社交网站,在数据平台部从事大数据开发相关的工作.从日志收集.存储.数据仓库建设.数据统计.数据展示都接触了一遍,比较早的赶上了大数据热这波浪潮.虽然今天的人工智能的热度要远高于大数据,但是大家还是不能否定大数据在人工智能中不可取代的地位. 话回正题,当时遇到了一个需要解决的问题就是如何快速对日志进行压缩.那时一天的日志量大概是3TB左右,共100+种日志,最大的一个日志一天要1TB,最小的日志只有几十M.统计需求大部分是用HIVE完成,HIVE中的表每…

最近做了一些有关批量压缩下载的功能,网上也找了一些资源,但都不是太全面,所以自己整理一份,已备不时之需. 直接上代码: // 获取项目路径 private static String WEBCLASS_PATH = Thread.currentThread().getContextClassLoader().getResource("").getPath(); // 获取webinf路径 private static String WEBINF_PATH = WEBCLASS_PATH…

Shell + crontab 实现日志压缩归档 crontab # archive the ats log days. */ * * * * root /bin/>& shell #!/bin/bash # Author : standby # Date : -- # Description : Archive the live log, keep the lastest days. logdir="/data/ats/logs" TODAY=`date -d &quo…

linux下的日志压缩脚本: #!/bin/bash #第一步:先定义项目列表如下: projects="project-a project-b project-c project-d" #第二步:循环项目列表: for project in $projects do #第三步:切换到每一个的项目列表下的info_log目录下,查找以数字0-9结尾的日志文件 #将日志文件压缩并打包,然后删除压缩前的日志文件. cd /opt/soft/$project/info_log -]$` do…

1.概述 最近有些同学在学习Kafka时,问到Kafka的日志压缩(Log Compaction)问题,对于Kafka的日志压缩有些疑惑,今天笔者就为大家来剖析一下Kafka的日志压缩的相关内容. 2.内容 2.1 日志压缩是什么? Kafka是一个基于Log的流处理系统,一个Topic可以有若干个Partition,Partition是复制的基本单元,在一个Broker节点上,一个Partition的数据文件可以存储在若干个独立磁盘目录中,每个Partition的日志文件存储的时候又会被分成一…

我看了很多网上的demo,先生成ZIP压缩文件,然后再下载. 我这里是生成ZIP文件流 进行下载.(核心代码没多少,就是一些业务代码) @RequestMapping(value = "/") public ResponseEntity<byte[]> downloadInterviewFile() throws Exception { // 根据面试官主键编码 下载文件 List<InterviewFile> interviewFiles = this.int…

将文件夹保留目录打包为 ZIP 压缩包并下载 上周做了一个需求,要求将数据库保存的 html 界面取出后将服务器下的css和js文件一起打包压缩为ZIP文件,返回给前台:在数据库中保存的是html标签,查出后,我把这些内容写入css和js等其他文件所在目录的一个文件内,然后将这整个文件夹压缩打包下载,解决过程中遇到了下载出来后并没有保存层级目录,在查了好久方法后完成了如下版本,已经可以正常下载并保留层级目录. 话不多说,直接上代码,有不足的地方希望大哥们提出来一起探讨 //ZIP文件包压缩下载…

书接上文Raft Part C | MIT 6.824 Lab2C Persistence. 实验准备 实验代码:git://g.csail.mit.edu/6.824-golabs-2021/src/raft 如何测试:go test -run 2D -race 相关论文:Raft Extended Section 7 实验指导:6.824 Lab 2: Raft (mit.edu) 实验目标 实现Snapshot.CondInstallSnapshot.InstallSnapshot RPC…

/*php多文件压缩并且下载*/ function addFileToZip($path,$zip){ $handler=opendir($path); //打开当前文件夹由$path指定. while(($filename=readdir($handler))!==false){ if($filename != "." && $filename != ".."){//文件夹文件名字为'.'和‘..’,不要对他们进行操作 if(is_dir($pat…

MS SQL性能是很不错的,但是数据库用了一段时间之后,数据库却变得很大,实际的数据量不大.一般都是数据库日志引起的!数据库日志的增长可以达到好几百M. DUMP TRANSACTION [数据库名] WITH NO_LOG BACKUP LOG [数据库名] WITH NO_LOG DBCC SHRINKDATABASE([数据库名]) 点击执行!这样子数据库就操作成功了. 程序里面的方法: 压缩数据库日志 --1.清空日志 exec('DUMP TRANSACTION ['+@dbname+…

ZipClass.cs  这个是一个压缩文件的类,可直接复制使用,使用到的命名空间是 using System.IO;using ICSharpCode.SharpZipLib;using ICSharpCode.SharpZipLib.Checksums;using ICSharpCode.SharpZipLib.Zip; 请自行网上查找此压缩程序集下载使用 public class ZipClass { #region ZipFileDictory /// <summary> /// 递归…

压缩文件相关的类: public class ZIPCompressUtil { public static Tuple<bool, Stream> Zip(string strZipTopDirectoryPath, int intZipLevel, string strPassword, string[] filesOrDirectoriesPaths) { try { List<string> AllFilesPath = new List<string>();…

有时候会有多个附件一起下载的需求,这个时候最好就是打包下载了 首先下面这段代码是正常的单个下载 public void Download(@RequestParam("file_path") String file_path, HttpServletResponse response) { logger.info("try to download file, the filePath : " + file_path); int i = file_path.lastI…

适用于SQL Server 2005的方法 --------------------------------------------- 复制代码 代码如下: USE DNName GO 1,清理日志 复制代码 代码如下: Backup Log DNName WITH no_log GO 2,截断事务日志 复制代码 代码如下: DUMP TRANSACTION DNName WITH no_log GO 3,收缩 两种方式: 1):压缩数据库 DBCC SHRINKDATABASE(库名) GO…

最近实现了网宿cdn,阿里云cdn,腾讯cdn的日志统一格式下载程序,使用简单方便,有需要详见代码: https://github.com/mikeluwen/CdnLogDownload…

将文件夹压缩后下载: @Slf4j public class Test { private static final String BASE_PATH = "/root/doc/"; private static final String TEMP_PATH = "/root/temp/"; private static final String FILE_NAME = "测试"; @RequestMapping(value = "do…

/** * * @param page * @param rows * @param works * @return * @author ffwwzz 下载zip * @throws IOException * @throws InterruptedException */ @RequestMapping("/download") @ResponseBody public CommonResult download(HttpServletRequest req, HttpServlet…

@GetMapping(value = "/find") public String findfile(String filePath, String fileNames, HttpServletResponse response) { initFtpClient(); FtpUtils f = new FtpUtils(); boolean b = false; try { b = f.downloadFile(filePath, fileNames, response, ftpCl…

1.aspx <%@ Page Language="C#" AutoEventWireup="true" CodeBehind="Default.aspx.cs" Inherits="MultipleFileDownLoadSample._Default" %> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" &…

public static void zipFiles(File[] srcfile,ServletOutputStream sos){ byte[] buf=new byte[1024]; try { //ZipOutputStream类:完成文件或文件夹的压缩 ZipOutputStream out=new ZipOutputStream(sos); for(int i=0;i<srcfile.length;i++){ FileInputStream in=new FileInputStre…

var fs = Response.OutputStream; using (ZipFile zip = new ZipFile(System.Text.Encoding.UTF8)) //编码是解决中文问题 { foreach (var order in orders) { foreach (var orderItem in order.OrderItems) { "); var orderPro = orderItem.Product; if (orderPro != null) { fil…

Resetting  first dirty ofset to log start  offset 2971862 since the checkpointed offset 12675089 is invalid reruirement failed 11302544 messages in segment  __consumer_offsets-31/000000000000169538124.log  but offset map can only 5033164, you can inc…

 今天分享下昨天做的一个东西 asp.net 的文件  zip 批量下载,首先你需要去 到http://dotnetzip.codeplex.com这个站点下载zip 的包,在里面找到 Ionic.Zip.dll  引用到你的项目中去 /// <summary> /// 批量zip下载 /// </summary> /// <param name="Listimg">这里Listimg 是一个数组类型</param> public voi…

<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/2002/xmlspec/dtd/2.10/xmlspec.dtd"> <!-- status : 这个用于设置log4j2自身内部的信息输出,可以不设置,当设置成tra…

技术栈: canvas jszip.js(网页端压缩解压缩插件JSZIP库) FileSaver.js(文件保存到本地库) 直接解读源码: <div class="cont"> <div class="uploadBtn">选择图片<input name="file" accept="image/png, image/jpeg" multiple type="file" id=…

# 技术栈 canvas jszip.js(网页端压缩解压缩插件JSZIP库) FileSaver.js(文件保存到本地库) 在线预览:http://htmlpreview.github.io/?https://github.com/xiaoqiuxiong/imageCompressionTool/master/index.html github: https://github.com/xiaoqiuxiong/imageCompressionTool 解读 以上的工具,暂时只是配置了允许pn…

USE [{数据库名称}] DECLARE @bakfile nvarchar(100) SET @bakfile='E:\DbLogs\log_bak_'+CONVERT(nvarchar(8),GETDATE(),112)+'.log' --备份日志压缩文件路径 BACKUP LOG [{数据库名称}] TO DISK= @bakfile WITH RETAINDAYS= 1,COMPRESSION --备份日志 DBCC SHRINKFILE (N'{数据库日志文件逻辑名称}', 0) G…

原文:http://www.iis.net/learn/manage/provisioning-and-managing-iis/managing-iis-log-file-storage Overview IIS日志会消耗大量的硬盘空间,有潜在写满整个硬盘空间的风险. 为了解决这个问题很多用户会选择关闭日志.幸运的是 这里有些其它的选择: 压缩日志文件夹 把日志文件夹转移到远程系统上去 通过script删除老的日志Delete old log files by script. 通过IIS Lo…