文件并发(日志处理)--队列--Redis+Log4Net
多线程操作同一个文件时会出现并发问题。解决的一个办法就是给文件加锁(lock),但是这样的话,一个线程操作文件时,其它的都得等待,这样的话性能非常差。另外一个解决方案,就是先将数据放在队列中,然后开启一个线程,负责从队列中取出数据,再写到文件中。
在这之前,有必要先了解下Redis,关于Redis的介绍可以参考我的这篇博文:ASP.NET Redis 开发
Redis工具和所需资料代码全下载,地址:http://pan.baidu.com/s/155F6A
下面我们讲解一个实际项目中应用的案例,关于日志的处理.这里是使用ASP.NET MVC项目作为Demo。
方式一:使用队列
思路:把所有产生的日志信息存放到一个队列里面,然后通过新建一个线程,不断的从这个队列里面读取异常信息,然后往日志里面写。也就是所谓的生产者、消费者模式。
1、新建一个类MyErrorAttribute,
- using System.Web.Mvc;
- public class MyErrorAttribute : HandleErrorAttribute
- {
- public static Queue<Exception> ExceptionQueue = new Queue<Exception>();
- public override void OnException(ExceptionContext filterContext)
- {
- ExceptionQueue.Enqueue(filterContext.Exception);
- filterContext.HttpContext.Response.Redirect("~/Error.html");
- base.OnException(filterContext);
- }
- }
2、在FilterConfig类中进行如下修改:
- public class FilterConfig
- {
- public static void RegisterGlobalFilters(GlobalFilterCollection filters)
- {
- //filters.Add(new HandleErrorAttribute());
- filters.Add(new MyErrorAttribute());
- }
- string filePath = Server.MapPath("~/Logs/");
- ThreadPool.QueueUserWorkItem(o => {
- while(true)
- {
- if (MyErrorAttribute.ExceptionQueue.Count > 0)
- {
- Exception ex = MyErrorAttribute.ExceptionQueue.Dequeue();
- if (ex != null)
- {
- string fileName = filePath + DateTime.Now.ToString("yyyy-MM-dd") + ".txt";
- File.AppendAllText(fileName, ex.Message);
- }
- else
- {
- Thread.Sleep(50);
- }
- }
- else
- {
- Thread.Sleep(50);
- }
- }
- });
方式二:使用Redis与Log4Net完成分布式日志记录
Log4Net是用来记录日志的,可以将程序运行过程中的信息输出到一些地方(文件、数据库、EventLog等),日志就是程序的黑匣子,可以通过
日志查看系统的运行过程,从而发现系统的问题。日志的作用:将运行过程的步骤、成功失败记录下来,将关键性的数据记录下来分析系统问题所在。
对于网站来讲,不能把异常信息显示给用户,异常信息只能记录到日志,出了问题把日志文件发给开发人员,就能知道问题所在。
配置Log4Net环境
(1)新建一个WebApplication
(2)添加对log4net.dll的引用(bin\net\2.0\release 不能引用debug版本)(把相应的dll文件拷贝到项目中的lib文件夹下。)
(3)在Web.Config (或App.Config)添加配置
(4)初始化:在程序最开始加入log4net.Config.XmlConfigurator.Configure()
在要打印日志的地方LogManager.GetLogger(typeof(Program)).Debug(“信息”); 。通过LogManager.GetLogger传递要记录的日志类类名获得这个类的ILog(这样在日志文件中就能看到这条日志是哪个类输出的了),然后调用Debug方法输出消息。因为一个类内部不止一个地方要打印日志,所以一般把ILog声明为一个static字段。
Private static ILog logger=LogManager.GetLogger(typeof(Test))
输出错误信息用ILog.Error方法,第二个参数可以传递Exception对象。log.Error("***错误"+ex),log.Error("***错误",ex)
Appender:可以将日志输出到不同的地方,不同的输出目标对应不同的Appender:RollingFileAppender(滚动文件)、AdoNetAppender(数据库)、SmtpAppender (邮件)等。
level(级别):标识这条日志信息的重要级别None>Fatal>ERROR>WARN>DEBUG>INFO>ALL,设定一个
Level,那么低于这个Level的日志是不会被写到Appender中的.
Log4Net还可以设定多个Appender,可以实现同时将日志记录到文件、数据、发送邮件等;可以设定不同的Appender的不同的Level,可以实现普通级别都记录到文件,Error以上级别发送邮件;可以实现对不同的类设定不同的Appender;还可以自定义Appender,这样可以自己实现将Error信息发短信等.
示例:
1、配置Log4Net,在Web.config中添加如下配置:
- <configSections>
- <!-- For more information on Entity Framework configuration, visit http://go.microsoft.com/fwlink/?LinkID=237468 -->
- <section name="entityFramework" type="System.Data.Entity.Internal.ConfigFile.EntityFrameworkSection, EntityFramework, Version=5.0.0.0,
- Culture=neutral, PublicKeyToken=b77a5c561934e089" requirePermission="false" />
- <section name="log4net" type="log4net.Config.Log4NetConfigurationSectionHandler, log4net"/>
- </configSections>
- <log4net>
- <!-- OFF, FATAL, ERROR, WARN, INFO, DEBUG, ALL -->
- <!-- Set root logger level to ERROR and its appenders -->
- <root>
- <level value="ALL"/>
- <appender-ref ref="SysAppender"/>
- </root>
- <!-- Print only messages of level DEBUG or above in the packages -->
- <logger name="WebLogger">
- <level value="DEBUG"/>
- </logger>
- <appender name="SysAppender" type="log4net.Appender.RollingFileAppender,log4net" >
- <param name="File" value="App_Data/" />
- <param name="AppendToFile" value="true" />
- <param name="RollingStyle" value="Date" />
- <param name="DatePattern" value=""Logs_"yyyyMMdd".txt"" />
- <param name="StaticLogFileName" value="false" />
- <layout type="log4net.Layout.PatternLayout,log4net">
- <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
- <param name="Header" value="----------------------header--------------------------" />
- <param name="Footer" value="----------------------footer--------------------------" />
- </layout>
- </appender>
- <appender name="consoleApp" type="log4net.Appender.ConsoleAppender,log4net">
- <layout type="log4net.Layout.PatternLayout,log4net">
- <param name="ConversionPattern" value="%d [%t] %-5p %c - %m%n" />
- </layout>
- </appender>
- </log4net>
2、添加ServiceStack.dll、ServiceStack.Interfaces.dll、ServiceStack.ServiceInterface.dll、log4net.dll的引用,然后新建一个类MyErrorAttribute,
- using System.Web.Mvc;
- using ServiceStack.Redis;
- public static IRedisClientsManager clientsManager = new PooledRedisClientManager(new string[] { "127.0.0.1:6379"});
- public static IRedisClient redisClient = clientsManager.GetClient();
- public override void OnException(ExceptionContext filterContext)
- {
- redisClient.EnqueueItemOnList("errorMsg", filterContext.Exception.ToString());
- filterContext.HttpContext.Response.Redirect("~/Error.html");
- base.OnException(filterContext);
- }
3、在FilterConfig类中进行如下修改:
- public class FilterConfig
- {
- public static void RegisterGlobalFilters(GlobalFilterCollection filters)
- {
- //filters.Add(new HandleErrorAttribute());
- //filters.Add(new MyErrorAttribute());
- filters.Add(new MyExceptionAttribute());
- }
- }
4、在Gobal.asax.cs中的Application_Start事件里添加如下代码:
- log4net.Config.XmlConfigurator.Configure(); //获取Log4Net配置信息
- ThreadPool.QueueUserWorkItem(o =>
- {
- while (true)
- {
- if (MyExceptionAttribute.redisClient.GetListCount("errorMsg") > 0)
- {
- string msg = MyExceptionAttribute.redisClient.DequeueItemFromList("errorMsg");
- if (!string.IsNullOrEmpty(msg))
- {
- ILog logger=LogManager.GetLogger("testError");
- logger.Error(msg); //将异常信息写入Log4Net中
- }
- else
- {
- Thread.Sleep(50);
- }
- }
- else
- {
- Thread.Sleep(50);
- }
- }
- });
文件并发(日志处理)--队列--Redis+Log4Net的更多相关文章
- 【.Net】文件并发(日志处理)--队列--Redis+Log4Net
多线程操作同一个文件时会出现并发问题.解决的一个办法就是给文件加锁(lock),但是这样的话,一个线程操作文件时,其它的都得等待,这样的话性能非常差.另外一个解决方案,就是先将数据放在队列中,然后开启 ...
- 队列--Redis+Log4Net
队列--Redis+Log4Net Redis简介 Redis是一个开源的,使用C语言编写,面向“键/值”对类型数据的分布式NoSQL数据库系统,特点是高性能,持久存储,适应高并发的应用场景.Redi ...
- 【高并发简单解决方案】redis队列缓存 + mysql 批量入库 + php离线整合
需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中:存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮. 问题分析 思考:应用网站架构的衍化过程中,应用最新的框 ...
- 【高并发简单解决方案】redis缓存队列+mysql 批量入库+php离线整合
原文出处: 崔小拽 需求背景:有个调用统计日志存储和统计需求,要求存储到mysql中:存储数据高峰能达到日均千万,瓶颈在于直接入库并发太高,可能会把mysql干垮. 问题分析 思考:应用网站架构的衍化 ...
- 基于log4net的支持动态文件名、按日期和大小自动分割文件的日志组件
最近处理一个日志功能,用log4net的配置不能完全满足要求,所以在其基础上简单封装了一下,支持以下功能: 1 零配置 内置默认配置,引用dll后不需要添加或修改任何配置文件也可以使用 2 动态指定文 ...
- CoreJava_线程并发(堵塞队列):在某个目录下搜索含有某keyword的文件
Java多线程编程是很考验一个程序猿水平的. 传统的WEB程序中.由于框架提供了太多的健壮性.并发性.可靠性的支持,所以我们都是将全部的注意力放到了业务实现上.我们不过依照业务逻辑的要求.不停的积累自 ...
- .NET文件并发与RabbitMQ(初探RabbitMQ)
本文版权归博客园和作者吴双本人共同所有.欢迎转载,转载和爬虫请注明原文地址:http://www.cnblogs.com/tdws/p/5860668.html 想必MQ这两个字母对于各位前辈们和老司 ...
- Go项目实战:打造高并发日志采集系统(二)
日志统计系统的整体思路就是监控各个文件夹下的日志,实时获取日志写入内容并写入kafka队列,写入kafka队列可以在高并发时排队,而且达到了逻辑解耦合的目的.然后从kafka队列中读出数据,根据实际需 ...
- Go项目实战:打造高并发日志采集系统(一)
项目结构 本系列文章意在记录如何搭建一个高可用的日志采集系统,实际项目中会有多个日志文件分布在服务器各个文件夹,这些日志记录了不同的功能.随着业务的增多,日志文件也再增多,企业中常常需要实现一个独立的 ...
随机推荐
- jquery.validate 基础
<!doctype html> <html lang="en"> <head> <meta charset="UTF-8&quo ...
- 【WP开发】在手机屏幕点亮时播放声音
今天说的内容有点流氓,请诸君在开发应用时谨慎使用. 那么,这活儿到底有多流氓呢? 先介绍一下要实现的功能:当用户按电源键(也可以是双击屏幕)点亮手机的屏幕时播放一下短音乐,而且应用程序可以不在前台运行 ...
- Android开发实践:编译VLC-for-android
最近在Android做流媒体相关的开发,一直想学习一下强大的VLC,正好趁此机会研究研究VLC-for-android的代码,看看优秀的开源音视频播放器是如何实现的.本文总结下在Linux平台下如何编 ...
- Surface Normal Averaging
Surface Normal Averaging eryar@163.com 摘要Abstract:正确设置网格面上点的法向,对几何体在光照等情况下显示得更真实,这样就可以减少顶点数量,提高渲染速度. ...
- 学习WPF——使用Font-Awesome图标字体
图标字体介绍 在介绍图标字体之前,不得不介绍图标格式ICON ICON是一种图标格式,我们操作系统中各种应用程序都包含一个图标 比如QQ程序的图标是一个可爱的企鹅,我的电脑是一个显示器图标 ----- ...
- hibernate(四)ID生成策略
一.ID生成策略配置 1.ID生成方式在xml中配置方式: <?xml version="1.0"?> <!DOCTYPE hibernate-mapping P ...
- photoshop学习目录
前面的话 前端工程师最基本的工作是切图.photoshop用的6不6,对于工作效率有很大的影响.小火柴将前端工程师需要掌握的photoshop的知识和技能进行了梳理和归纳,总结成以下目录 目录 前端工 ...
- SpaceBase – 基于 Sass 的响应式 CSS 框架
SpaceBase 是一个基于 Sass 的响应式 CSS 框架.SpaceBase 是可以在建立和定制您的需要的一个样板层,它结合最佳实践为今天的响应式网页与我们对每一个项目中使用的核心组件. 在线 ...
- 使用 CSS3 & jQuery 制作漂亮的书签动画
今天的教程是关于创建使用 CSS 旋转变换和 JavaScript 制作动画书签效果.我们的想法是展现出样书状结构,使单一的色板或列表点击切换.当点击其中一项,我们就会旋转以显示所选择的项目. 在线演 ...
- JavaScript中以一个方法作为参数的写法
前言,我们写js的时候,经常会看到一些方法,比如说: $("#ids").click(function( alert("Click me"); )); ---- ...