全局变量 写MapReduce程序时候,有时候须要用到全局变量,经常使用的全局变量实现由三种方式: 通过作业的Configuration传递全局变量.作业初始化的时候.conf.set(),须要的时候.再用conf.get()读出来.缺点:不能共享较大的数据. 通过distributedcache 通过HDFS实现:即将全局变量写入一个文件,须要的时候,从该文件读取出来 发现问题 全局变量的代码设置例如以下,在Mapper中通过Configuration无法读出配置"deadline"…

一个朋友QQ群里说网站启动后会cpu很高,想要帮忙看一下dump. 1．打开windbg加载dump文件后第一个命令lmf,这个命令显示加载的dll以及路径,这样子可以找个dll来帮忙加载sos,(额,我记不住load那么长的路径啊) 0:000> lmf start end module name …… 00007ffb`a3750000 00007ffb`a375a000 version C:\Windows\System32\version.dll 00007ffb`a37e0000 00…

我拖着疲惫的身躯,努力打开眼皮在写...... 昨晚弄到12点,我感觉应该弄好了. 故事开头是这样的:我呢朋友有个网站需要开发,我当时没时间就包给外面的公司了,由于外面公司维护费用比较贵. 那么网站维护就交给我了,我呢做软件开发很多年了,没用过PHP,所以算是新手. 年前开始的某一天网站首页突然就被修改了,点链接都停在首页,且偶尔会打开菲律宾的博彩网站. 这下我开始紧张了,这网站访问量还比较大,不能出乱子啊. 1.爱理不理 那么我赶快请外包公司的帮我看看,可能是开发阶段结束了,没有给维护费用.…

前言 任何系统不管在什么阶段都需要关注生产环境错误日志,最近几个月内,发现偶尔会出现数据库死锁情况.以前碰到的数据库类错误大部分是SQL语法造成的错误,来到新东家之后才第一次碰到死锁情况,以前是搞游戏开发,现在是搞电商类开发,可能是不同的项目不同的业务的原因吧,查阅了各种资料后发现,是我想错了:(.一般业务瓶颈在数据库层,对于数据库层的问题需要重点关注,以为死锁这种情况是很严重的问题,这个要分情况,偶尔死锁对业务不会有太大的影响,我又想错了:(. 虫子发现  第一次发现死锁很惊讶,这个是什么鬼?…

背景 产品使用MySQL来存储报警服务产生的报警.在报警服务的组件中使用ADO接口 客户方有两台计算机,一台计算机A用来组态,且可以对设备进行调试,操作系统是Win7 64bit 专业版,安装了VS2010:另一台计算机B用作验收后生产环境中使用,操作系统是Win 2008 R2 标准版 我个人在公司的工作机的操作环境是win10 64bit 企业版 问题 在客户公司时,组态.开发.调试都是在计算机A上进行的,运行也是在计算机A上.一切都很正常.当调试完后,就从现场回到杭州,可是后续又出现了一些…

作为程序员,开发程序是基本功,而调试程序也是必不可少的技能之一.软件在主体功能开发完成后会经历各个阶段的测试,才会被发布.在测试过程中,出现较多的可能就是内存泄漏,句柄泄漏,异常崩溃等属于非功能型的软件Bug.而Windows作为一个相当成熟的平台,对于软件的调试也支持很到位.今天想要记录的是这次调查的一个模块的句柄泄漏问题. 关于句柄泄漏的文章网上很多,很多关于调试的书籍中也有说明,而且有些也比较详细.之前也解决过这类的问题,所以毫不在意.先介绍一下基本情况:工作机是Windows 7 64b…

通常我们想获得系统的一些路径时,都会使用一些Shell函数.比如SHGetSpecialFolderPath,SHGetFolderPath,SHGetKnownFolderPath等,传入我们想要的路径的CSIDL即可.通常情况下都会得到我们想要的结果.但是也存在例外. 目前从事的工业监控软件的研发,一般的监控软件通常都是属于中大型的系统,还包括组态期和运行期,所以复杂度相对来说还是比较高的.上周测试团队报告了一个Bug,在运行期时,监控日志的保存按钮点击没反应.咋一看,就感觉好像是类似Fil…

先道歉,<Power Query数据清洗实战>里,有虫-- 谢谢大家帮忙捉虫了. 谢谢法叔,他捉了四只--(汗) 112页第倒第二行,[追加查询],应是[合并查询]. 151.154.155页,8.3小节中前三个吃货表,都是转成妥妥的二维表? 好吧,这是个有争议的问题,那三个成型的吃货表,猛一看确实是一维表,但是也可以把"原产地""类别""美味等级"三个元素看成同一元素,这又成二维表了.其实一维表和二维表都不是官方给出的名词,而是用户…

本章要讲的是PHP的全局变量. 这里讲个小故事: 很多年前,一个很聪明的小偷,想去偷一户人家的钱.可是他偷不到主人的钥匙,怎么办呢? 他想到了一个办法,去之前嚼了一块口香糖,口香糖的牌子是“大大泡泡糖”. 这里我们来讲个泡泡糖的插曲. 不知道大家小时候有没有吃过“大大泡泡糖”.绿箭一开始在中国面世的时候并不被老百姓接受,那时的人还没有嚼口香糖的习惯(如口气清新.时尚啥的完全没有概念),于是箭牌公司("大大"其实就是这个公司的产品)的老外在收购了一家糖果公司后推出了大大泡泡糖. 这里老外…

作者:朱金灿 来源:http://blog.csdn.net/clever101 这里说的除虫是指排除bug的意思.今天排除了一个有意思的bug,其中的场景大致是这样的:现在你要统计一个文件夹下非隐藏文件的数目(包含它的子文件夹),很快你写出这样的代码: //dirName --文件夹路径 //nImgNum --文件数量 bool StatFiles(std::string& dirName,int& nImgNum) { std::string tempFileFind = dirNa…

了解一些技巧助你减少代码查错时间. -- Maria Mckinley 在周五的下午三点钟(为什么是这个时间?因为事情总会在周五下午三点钟发生),你收到一条通知,客户发现你的软件出现一个错误.在有了初步的怀疑后,你联系运维,查看你的软件日志以了解发生了什么,因为你记得收到过日志已经搬家了的通知. 结果这些日志被转移到了你获取不到的地方,但它们正在导入到一个网页应用中——所以到时候你可以用这个漂亮的应用来检索日志,但是,这个应用现在还没完成.这个应用预计会在几天内完成.我知道,你觉得这完全不切实际…

事件回顾 做了一个移动端的页面,测试的时候出现了一个诡异的 bug.别的浏览器都好好的,就 ios 的 Safari 浏览器页面停止了渲染,似乎是有一段 js 文件没有载入.但是奇怪的是,同一型号的 iphone 的 Safari 浏览器,有些可以,有些不行,一度让我以为不可能是代码的问题(如果是代码的问题,应该都挂才科学啊),而是个别机器的原因.但是最后的最后,定位出来的原因是 Safari 开启了 无痕浏览模式! 就是这样: DEBUG 当然,除了 Safari 开启了无痕浏览外,另一个重要…

大约有一年整没有写一篇博客了,由于各种原(jia)因(ban)导致闲暇时间要么拿着IPad看岛国奇怪的片(dong)子(hua).要么拿着kindle看各种各样的资(xiao)料(shuo).本来想写的一个介绍MEF的专题也果断在完成50%后砍掉,结果这两天想准备点关于IOC(不是国际奥委会那个IOC)的内部材料,发现之前准备的一些资料也已经顺手删掉了,可惜可惜. 不说别的了,就说这两天自己给自己挖的一个坑.说起来还挺有趣的,原因不复杂,就是最基本的知识点,只是手头的模块略复杂,一开始还真没猜到…

最近在做的一个网站发生了一个很诡异的BUG: 使用IE浏览页面时,一切都挺正常: 而使用Firefox浏览时,发现某些页面元素之间的距离比预期的要宽很多,HTML元素本身的hight.padding和margin值都很正常,只是元素之间像是增加了一个空行或一个类似于DIV的块级元素:用F12调出开发者工具查看后却没有发现任何多出的HTML元素或多余的代码; 再用Chrome进行查看,页面的显示效果和firefox一样,但是用F12查看后,发现确实是增加了多余的一行,表现为增加了一个空白字符串,但…

 作者:朱金灿 来源:http://blog.csdn.net/clever101 同事反映在在项目中使用C#程序调用我们部门编写的C++模块出现一个诡异错误:在调用A算法失败后,其它算法均不能调用成功,但是程序并没有崩溃. C#程序是通过调用C接口函数,然后C接口函数来调用C++函数.C接口函数的代码大致如下: try { CPlusPlusFunction(); // C++函数 } catch(exception &e) { errorlog<<_T("异常错误为:…

背景 近期线上MySQL 5.7.20集群不定期(多则三周,短则一两天)出现主库mysql crash.触发主从切换问题,堆栈信息如下: 从堆栈信息可以明显看出,在调用 try_acquire_lock_impl 时触发的crash. 分析 在官方Bug库未搜到类似问题,转而从代码库入手,搜到对应的BUG -- 8bc828b982f678d6b57c1853bbe78080c8f84e84: BUG#26502135: MYSQLD SEGFAULTS IN MDL_CONTEXT::TRY_…

WinDbg是微软发布的一款相当优秀的源码级(source-level)调试工具,可以用于Kernel模式调试和用户模式调试,还可以调试Dump文件. 1. WinDbg介绍:    Debugging Tools and Symbols: Getting Startedhttp://www.microsoft.com/whdc/devtools/debugging/debugstart.mspx    A word for WinDbghttp://mtaulty.com/communitys…

<Unix/Linux日志分析与流量监控>书稿完成 近日,历时3年创作的75万字书稿已完成,本书紧紧围绕网络安全的主题,对各种Unix/Linux系统及网络服务日志进行了全面系统的讲解,从系统的原始日志(RawLog)采集与分析讲起,逐步深入到日志审计与取证环节,在本书提供多个案例,每个案例都以一种生动的记事手法讲述了网络遭到入侵之后,管理人员开展系统取证和恢复的过程,采用带有故事情节的案例分析手法,使读者身临其境的检验自己的应急响应和计算机取证能力.本书以运维工程师的视角,通过各种日志,脚本…

http://www.shouce.ren/post/d/id/112300    黑客攻防实战入门与提高.pdfhttp://www.shouce.ren/post/d/id/112299    黑客入门新手特训.pdfhttp://www.shouce.ren/post/d/id/112298    黑客与设计-剖析设计之美的秘密(彩印).pdfhttp://www.shouce.ren/post/d/id/112297    鸟哥的LINUX私房菜:服务器架设篇 (第二版).pdfhttp…

早前公司领导提出让开发自测,测试么也做做开发.当然了,为了保证自测质量,测试用例仍需测试提供,所以为了提高开发自测的效率和质量,我们开发了捉虫记.捉虫记是一个完整的Spring MVC项目,现已开源,希望感兴趣的可以一起完善(详见Todo List)项目地址:youzan/bugCatcher    捉虫记 [ Spring | Spring MVC | Mybatis | Spring Security | jQuery | Bootstrap ] 捉虫记简介 捉虫记 设计初衷是为了方便开发人…

前言 好久没写了, 主要是太忙了, 本篇记一下今天解决的一个问题吧, 耗了我大半天的时间才解决 问题 今天在调试代码时, 发现了一个诡异的问题, 我之前写了一个接口, 作用是接收上传的文件, 因为这个接口需要一定的权限控制, 所以我写了3个装饰器在上面, 这个项目是用的 flask, 代码类似于 @app.route('/upload', methods=['POST']) @login_requireds @verify_requireds @upload_requireds def uplo…

mapreduce 全局变量共享 在编写MapReduce程序时,经常会遇到这样的问题,全局变量如何保存?如何让每个处理都能获取保存的这些全局变量?使用全局变量是不可避免的,但是 在MapRdeuce中直接使用代码级别的全局变量是不现实的.主要是因为继承Mapper基类的Map阶段类的运行和继承Reducer基类的 Reduce阶段类的运行都是独立的,并不共享一个Java虚拟机的资源,因此,下面介绍三种在MapReduce编程中相对有效的设置全局共享数据的方 法. 1,读写HDFS文件 在Map…

本文记录了我在实际工作中关于数据库操作上一些小经验,也是新手入门golang时我认为一定会碰到问题,没有什么高大上的东西,所以希望能抛砖引玉,也算是对这个问题的一次总结. 其实我也是一个新手,机缘巧合几个月前开始做golang开发,以前一直是以.NET技术栈为主,文章如有错误不吝指正. 访问数据库 相信大家第一次碰到这个问题的时候应该和我一样,去网上找个例子参考一下.没错,这样的例子一搜一大把,于是我们很容易(抄)写了如下一段代码: import ( "fmt" "datab…

淘宝自从2010开始规模使用MySQL,替换了之前商品.交易.用户等原基于IOE方案的核心数据库,目前已部署数千台规模.同时和Oracle, Percona, Mariadb等上游厂商有良好合作,共向上游提交20多个Patch.目前淘宝核心系统研发部数据库组,根据淘宝的业务需求,改进数据库和提升性能,提供高性能.可扩展的.稳定可靠的数据库(存储)解决方案. 目前有以下几个方向:单机,提升单机数据库的性能,增加我们所需特性:集群,提供性能扩展,可靠性,可能涉及分布式事务处理:IO存储体系,跟踪IO…

编者按:淘宝自从2010开始规模使用MySQL,替换了之前商品.交易.用户等原基于IOE方案的核心数据库,目前已部署数千台规模.同时和Oracle, Percona, Mariadb等上游厂商有良好合作,共向上游提交20多个Patch.目前淘宝核心系统研发部数据库组,根据淘宝的业务需求,改进数据库和提升性能,提供高性能.可扩展的.稳定可靠的数据库(存储)解决方案. 目前有以下几个方向:单机,提升单机数据库的性能,增加我们所需特性:集群,提供性能扩展,可靠性,可能涉及分布式事务处理:IO存储体系,…

问题 1． 如何访问会话变量(session)? A．通过$_GET B．通过$_POST C．通过$_REQUEST D．通过全局变量 E．以上都不对 2． 哪个函数能让服务器输出如下 header? set-Cookie: foo=bar; 答案:_______________ 3． 在忽略浏览器 bug 的正常情况下,如何用一个与先前设置的域名(domain)不同的新 域名来访问某个 cookie? A．通过 HTTP_REMOTE_COOKIE 访问 B．不可能 C．在调用 setcoo…

今年的软件自由日(SFD),我在广州Linux用户组的线下活动上做了一个分享,主题叫做<做一名开源社区的扫地僧(上)>.我把演讲的内容重新整理扩充, 写出了文字版, 希望可以跟更多朋友分享. 金庸笔下有一个传奇人物,人称扫地僧,身世隐秘,武功绝顶.小说中的扫地僧一出现就是个高手,没人知道高手怎么炼成的.这种"扫地僧",实在可望不可及. 然而,还有另一种扫地僧,人人都可以效仿,人人都可以做到,不妨称之为"山寨扫地僧". 最近流传一个真实的故事, 有个广外宿…

内核月报2014-11-draft MySQL· 捉虫动态·OPTIMIZE 不存在的表 bug 描述 这是一个和 GTID 相关的Bug,也就是说5.6才会有,并且出现这个 bug 需要满足条件: 做修改性质的表管理操作,如 OPTIMIZE/ANALYZE/REPAIR 可以,CHECK 就不可以 操作对应的表不存在 gtid_next 被设置为一个固定的值,并且 binlog 开启 在同时满足这3种条件下,会发现记录binlog时,对应的 Gtid_log_event 中的UUID会记为…

要说现在工程师最重要的能力,我觉得工程能力要排第一. 就算现在大厂面试经常要手撕算法,也是更偏向考查代码工程实现的能力,之前在群里看到这样的图片,就觉得很离谱. 算法与工程实现 在 Sentinel-Go 中,一个很核心的算法是流控(限流)算法. 流控可能每个人都听过,但真要手写一个,还是有些困难.为什么流控算法难写?以我的感觉是算法和工程实现上存在一定差异,虽然算法好理解,但却没法照着实现. 举个例子,令牌桶算法很好理解,只需给定一个桶,以恒定的速率往桶内放令牌,满了则丢弃,执行任务前先去桶里…

hello大家好,我是小楼. 不知道大家还记不记得我上次找到了一个Go的Benchmark执行会超时的Bug?就是这篇文章<我好像发现了一个Go的Bug?>. 之后我就向Go提交了一个PR进行修复,本想等着代码被Merge进去,以后也可以吹牛说自己是个Go的Contributor,但事情并不顺利,今天就来分享一下这次失败的代码提交. 第一次提交 在我意识到Bug时,就迫不及待想去修复,于是有了这一次提交. 在说代码前,先说点关于Go仓库的问题,Go并没有直接托管在github,而是自建的Ger…