我造的这个"轮子"指的是集低代码开发与运维为一体的平台,为什么说它不是"圆"的,因为它有些与众不同,甚至可以说是有些另类.至于为什么造这个"轮子",以及另类在什么地方且听我慢慢道来. 一.痛苦的编码岁月   我是一个70后码农,开发过不计其数的系统,小到进销存大到电商.物联网甚至是省级平台.每次项目开始都要经历从技术选型.架构设计.开发.测试及最终生产环境部署运维等多个步骤.小项目还好随便一个单体架构就可以搞定,大项目特别是数据量较大的不仔细…

前言 vczh本名陈梓瀚,不过大家更愿意叫他「轮子哥」,毕业于华南理工大学软件学院.vczh大学时代就在微软实习,毕业后即加入微软.开始时是在微软上海,后来进入北京的微软亚洲研究院.现已移居美国西雅图,在Office组做工程师. 大家一方面对其高强度关注妹子,更新频繁,"轮带逛"的称号褒贬不一:另一方面大家对其技术也有所疑惑,但是不可否认的是他技术还是比大多数人厉害的! 轮子哥在编译和图形学上面有着深厚的造诣,有兴趣的可以看下: 进入2012 -- 回顾我走过的编程之路. 后来我因为一…

比方说你要在C++/PHP里实现一个函数Image get_image(string id),不同的图片有1万张(用户头像),你可以把它们存在一个目录/文件夹里,然后fopen()再fread. 你也可以把它们存在一个SQLite数据库images.db里,调用SQLite来读取,"35% Faster Than The Filesystem".你还可以把它们放在一个大文件images.dat里,自己在前面放个索引--为啥要造轮子,还不如SQLite圆? PHP自5.3.0起默认启用S…

想了好久还是决定要写... Day0 Day-5得感冒一直没好,连磕5天药丸. 早晨得知爸妈都要上班并不能送我到校的消息,于是计划10:30集合,定表8:45准备自己走去学校. 然后平常睡得有点晚,结果10点才被妈妈的电话叫醒..... 强行打到了出租车卡时到校.... 路上被ShallWe拉着打王者荣耀,一起的还有TA爷,然后被教唆开了热点.... 大概三个人胜负2-6到站,烧了300+M流量. 晚上试机,第一次见正方形的电脑,连平常的书大小都不到,感觉很蛋疼... 随手敲了一个Tarjan,…

写在前面 最近一年来,我都在做公司的RTB广告系统,包括SSP曝光服务,ADX服务和DSP系统.因为是第一次在公司用Go语言实现这么一个大的系统,中间因为各种原因造了很多轮子.现在稍微有点时间,觉着有必要总结这一年来用Go造轮子的经验和不足. 集群中遇到的配置文件管理问题 RTB广告系统中涉及到的服务程序并不算很多,但是因为RTB系统会面临很多的流量,而且为了确保可用性,最基本的就是多实例组成集群,同时考虑到后续业务增长,集群的扩缩容也是要做的.我们在设计的时候,基于ZoooKeeper做了服务…

未来10年将是大数据,人工智能爆发的时代,到时将会有大量的企业需要借助大数据,而Java最大的优势就是它在大数据领域的地位,目前很多的大数据架构都是通过Java来完成的. 在这个Android.iOS相继没落,PHP相继饱和的时候,只有Java大数据保持着旺盛的需求.那么,Java大数据需要学习什么技术呢? 首先我们要学习Java语言和Linux操作系统.很多人入门编程语言就是Java,你或许还不知道Java的方向有JavaSE.JavaEE.JavaME,学习Java大数据需要学习JavaSE…

本文主要分析 C.C++98.C++11.Java 与 Go,主要论述语言的关键能力.在论述的过程中会结合华为各语言编程专家和华为电信软件内部的骨干开发人员的交流,摒弃语言偏好或者语言教派之争,尽量以客观公正的角度来论述下各个语言的特点和不足,对语言选型作为一个客观的参考. 把这些写出来,期望得到大家的指正与反馈,让整个分析更客观,性能方面,着重对 Go 做深入剖析参考.内容很多,期望不会让你望而却步. 语言整体概要 1.Go 在并发方面, goroutine 和 channel 机制提供了语言…

平时工作的时候,经常会遇到这种事情,从一个大表A中,抽取字段a在一个相对较小B的表的数据,比如,从一个详单表中,抽取几万个用户号码的话单出来.这种时候,一般来说, 做关联查询: create table A1 as select A.* from 详单表 A,号码表 B wherea.号码 = b.号码 当然这个语句根据情况不一样有很多中写法,但是,不管是哪种写法,这个语句最大的问题是,如果数据量大,你非常纠结他到底能不能跑完,有时候一个事情,要求2个小时干完,现在跑了1个小时,你说到底要不要结…

一.前言 微软的Visual Studio非常强大,可以无缝结合Git或自家的TFS(Team Foundation Server),进行项目管理非常方便,从需求分析.开发.测试.维护,几乎可以贯穿软件开发的整个生命周期.这篇文章将会详细介绍如何使用Visual Studio结合TFS进行项目管理. 二.什么是TFS TFS是一种为 Microsoft 产品提供 源代码管理. 数据收集. 报告和项目跟踪,而为协作 软件开发 的项目. 可作为独立的软件,或 Visual Studio Team S…

上期回顾 上一期:NanoProfiler - 适合生产环境的性能监控类库 之 基本功能篇 上次介绍了NanoProfiler的基本功能,提到,NanoProfiler实现了MiniProfiler欠缺的多线程和异步代码的支持,并且,由于采用不同的内部数据结构,NanoProfiler拥有更高的执行效率,而且占用极少的系统资源,因此,是适合在生产环境下使用的性能监控类库.并且,我们也提到了,NanoProfiler设计理念的另一大不同,即面向大数据分析. 这一期,我重点介绍一下NanoProfi…

说到大家电电商,大家都会想起天猫.京东.苏宁易购.国美在线等各大电商平台,他们这一次的双十一又实现了较大规模的增长,而各大电商平台家电辉煌战绩的背后实际上是各大品牌家电的成功. 格力今年双十一当天创下了全品类合计超过7亿的销售额:美的系双十一期间全网销售额更是突破了27亿元:TCL双十一的全品销售额也突破了10亿,其中曲面电视突破了26000台,空调销售额增长了202%,白电同比增长70%,健康电器同比增长208%,通讯也增长了95%:海尔在天猫的销售额也达到了10.5亿:海信全渠道电视销售了近…

——把数据从分散统一集中到数据中心 基于HP分布式并行计算/存储技术构建的云监控系统即是通过“云高清摄像机”及IaaS和PaaS监控系统平台,根据用户所需(SaaS)将多路监控数据流传送给“云端”,除了提供传统的监控服务外,还提供了对PB级大数据的高性能IO并发集中存储.查询和分析等数据应用服务,从而可以实现更高的非结构化数据管理,解决了监控系统中对于大数据安全.分析和备份等问题,用户也可以通过任意方式,任意终端按需实现对视频监控的需要. 数据驱动手段在一定程度上帮助了监管部门提高了工作效率.传…

什么是OJ Online Judge系统(简称OJ)是一个在线的判题系统.用户可以在线提交程序源代码,系统对源代码进行编译和执行,并通过预先设计的测试数据来检验程序源代码的正确性. 一个用户提交的程序在Online Judge系统下执行时将受到比较严格的限制,包括运行时间限制,内存使用限制和安全限制等.用户程序执行的结果将被Online Judge系统捕捉并保存,然后再转交给一个裁判程序.该裁判程序或者比较用户程序的输出数据和标准输出样例的差别,或者检验用户程序的输出数据是否满足一定的逻辑条件.…

http://blog.csdn.net/jacktan/article/details/9200979 大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的组织,至少在互联网上已经被吹嘘成无所不能的超级战舰.好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据,说真的,到目前为止就和云计算一样,让我总觉得像是在看电影<云图>——云里雾里的感觉.或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面,但是您…

大数据的热度在持续的升温,继云计算之后大数据成为又一大众所追捧的新星.我们暂不去讨论大数据到底是否适用于您的组织,至少在互联网上已经被吹嘘成无所不能的超级战舰.好像一夜之间我们就从互联网时代跳跃进了大数据时代!关于到底什么是大数据,说真的,到目前为止就和云计算一样,让我总觉得像是在看电影<云图>——云里雾里的感觉.或许那些正在向你推销大数据产品的公司会对您描绘一幅乌托邦似的美丽画面,但是您至少要保持清醒的头脑,认真仔细的慎问一下自己,我们公司真的需要大数据吗? 做为一家第三方支付公司,数据的确…

一.git诞生 同生活中的许多伟大事件一样,Git 诞生于一个极富纷争大举创新的年代.1991年,Linus创建了开源的Linux,并且有着为数众多的参与者.虽然有世界各地的志愿者为Linux编写代码,但是绝大多数的 Linux 内核维护工作都花在了提交补丁和保存归档的繁琐事务上(1991-2002年间).在这期间,所有的源代码都是由Linus手工合并.因为Linus坚定地反对CVS和SVN,这些集中式的版本控制系统(集中式和分布式我们会在接下来的内容讲解)不但速度慢,而且必须联网才能使用.虽然…

hadoop大数据处理之表与表的连接 前言:  hadoop中表连接其实类似于我们用sqlserver对数据进行跨表查询时运用的inner join一样,两个连接的数据要有关系连接起来,中间必须有一个相等的字段进行连接,其实hadoop的表连接就是对文本的处理,处理的文本中有一部分的内容是一样的,然后把这鞋大量的数据按照中间的一个相同的部分进行连接,用来解决大数据在关系型数据库查询困难的问题. 之前一直做c#语言的开发是一个本本分分做网站开发的程序员,像对hadoop这类用java语言做开发的内…

案例分析 处理kafka consumer的程序的时候,发现如下错误: ERROR [2016-07-22 07:16:02,466] com.flow.kafka.consumer.main.KafkaConsumer: Unexpected Error Occurred ! kafka.common.MessageSizeTooLargeException: Found a message larger than the maximum fetch size of this consumer…

这段时间 有一点心很浮躁,不过希望自己马上要矫正过来.好好学习编程!这段时间我想好好地研究一下TCP/IP协议和网络传输这块!加油 一.TCP/IP模型 TCP/IP协议模型(Transmission Control Protocol/Internet Protocol),包含了一系列构成互联网基础的网络协议,是Internet的核心协议. 基于TCP/IP的参考模型将协议分成四个层次,它们分别是链路层.网络层.传输层和应用层.下图表示TCP/IP模型与OSI模型各层的对照关系. TCP/IP协…

福建工程学院第十二届ACM程序设计大赛真题 AC的故事大结局山寨版(下) TimeLimit:2000MS  MemoryLimit:128MB 64-bit integer IO format:%lld 已解决 | 点击收藏 Problem Description 小A算出幕后黑手的人员是如此之多,知道在我们华夏,手段通天者必然身居高位,仅仅靠他们的力量恐怕难以和他们对抗. 于是小A和小C找到了以前认识的检察官侯亮平,告诉侯亮平事情的始末后,他们立马通知赵东来安排了人手准备逮捕嫌疑人祁同伟(这…

庞姬桦女士毕业于北京大学和美国哥伦比亚大学,目前担任PayPal公司消费者风险管理总监,负责通过大数据实现对互联网金融风险的侦测.跟踪.管控和防范.在加入PayPal之前,曾任职于渣打银行(中国)和美国运通公司,具有超过15年的银行风险管理和研发丰富从业经验. 导言 DataPipeline致力于帮助企业打通内外部的各种数据,小微企业的贷款是涵盖大量内外部数据源的一个典型场景,无论是贷前.贷中还是贷后,都需要融合大量的.及时的数据以判断小微企业的经营水平.传统的做法看的是纸质的报表,近几年的做法…

(纯兴趣测评,非广告) 最近逛X宝,看到了这个古董级MP3播放器居然还在售,于是脑抽+情怀泛滥买了一个. 然后呢,从遥远的深圳跨越好几千公里邮过来了这个玩意: 那节南孚5号电池是我自己的,是为了对比一下大小,注意是5号大电池,不是它使用的7号小电池.第一眼看外观还行吧,卡扣固定的外壳,没有螺丝,颜色是十年前经典的地摊银(十五年前买过一个五块钱的FM收音机也是这个颜色):但是仔细一看做工感人,塑料外壳缝隙“巨大”,连储存卡槽有有点外露,但是该卡住的卡扣没有没卡住的,谢天谢地不会散架.不过去掉邮费十…

AC的故事大结局山寨版(下) TimeLimit:2000MS  MemoryLimit:128MB 64-bit integer IO format:%lld   Problem Description 小A算出幕后黑手的人员是如此之多,知道在我们华夏,手段通天者必然身居高位,仅仅靠他们的力量恐怕难以和他们对抗. 于是小A和小C找到了以前认识的检察官侯亮平,告诉侯亮平事情的始末后,他们立马通知赵东来安排了人手准备逮捕嫌疑人祁同伟(这么大的事居然没有事先向上级汇报就擅自行动). 现在警厅里只有P…

本文原名“Don't use Hadoop when your data isn't that big ”,出自有着多年从业经验的数据科学家Chris Stucchio,纽约大学柯朗研究所博士后,搞过高频交易平台,当过创业公司的CTO,更习惯称自己为统计学者.对了,他现在自己创业,提供数据分析.推荐优化咨询服务,他的邮件是:stucchio@gmail.com . “你有多少大数据和Hadoop的经验?”他们问我.我一直在用Hadoop,但很少处理几TB以上的任务.我基本上只是一个大数据新手——…

http://blog.csdn.net/believefym/article/details/1162461 在做tcp发送大文件的问题时,怎么读取大文件,现在还没有这方面的需求,留作以后处理: 在处理一般的文件(文本/非文本),这些足够了.然而在处理比较大的文件如几十M, 几百M, 甚至上G的文件, 这时再用一般手段处理,系统就显的力不从心了 要把文件读出,再写进,耗费的是CPU利用率与内存以及IO的频繁操作.这显然是令用户难以忍受的 为了解决这个吃内存,占CPU,以及IO瓶颈,window…

Beta现场答辩 互评反馈 各组对于 麻瓜制造者 的评价与建议 队伍名 评价与建议 *** 功能继续完善,二手市场有闲鱼这条大鱼,要继续体现区域性的优势 *** web端的UI很好看,但安卓和web相比不是一个画风 *** 界面美观 *** ui还好 *** 界面很棒 *** 界面中规中矩,功能与现存软件变化不大,希望能够拓展些新颖功能. *** 错过了展示 *** 聊天功能可以更加完善,界面尽可能更加精美. *** 总体还行,就是ui界面再接再厉 *** 大部分功能都完善了,软件还多测试,确保…

Redis学习笔记----Redis在windows上的安装配置和使用 Redis简介 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和hash(哈希类型).这些数据类型都支持push/pop.add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memca…

前几天用多线程实现了创建小球并移动,想到大鱼吃小鱼,便突发奇想要写一个大球吃小球.首先第一步自然是先把界面弄好啦 public class BallUI extends JPanel { private ArrayList<Ball> li = new ArrayList<Ball>(); public static void main(String[] args) { BallUI bu = new BallUI(); bu.UI(); } public void UI() {…

https://www.leiphone.com/news/201709/AzBc9Sg44fs57hyY.html 推荐另一篇很好的总结:变形卷积核.可分离卷积?卷积神经网络中十大拍案叫绝的操作. 这篇总结很专业,并且很好的回答了评论中的疑问: Depthwise Separable Convolution 就是卷积加 group 吧? 这篇文章里是这么说的: 要注意的是,Group conv 是一种 channel 分组的方式,Depthwise +Pointwise 是卷积的方式,只是 S…

引言 文件操作是应用程序最为基本的功能之一,Win32 API和MFC均提供有支持文件处理的函数和类,常用的有Win32 API的CreateFile().WriteFile().ReadFile()和MFC提供的CFile类等.一般来说,以上这些函数可以满足大多数 场合的要求,但是对于某些特殊应用领域所需要的动辄几十GB.几百GB.乃至几TB的海量存储,再以通常的文件处理方法进行处理显然是行不通的.目前,对 于上述这种大文件的操作一般是以内存映射文件的方式来加以处理的,本文下面将针对这种Win…