前言 前段时间一直在用自己写的遗传算法框架测试算法在优化力场参数的效果,但是跑起来效率很慢,因为适应度函数需要调用多次力场程序计算能量,但是还是比我预想中的慢我也没有及时对程序进行profiling和优化.直到放假前在github有个使用gaft做SVM参数优化的童鞋开了个issue中说道在gaft优化的过程中会大量调用适应度函数,这才使我在国庆放假期间对gaft进行了profiling找到程序瓶颈并针对性的优化. 本文就记录下自己gaft做profiling并优化的过程以及优化的效果. 正文…

本篇并非介绍如何从0开始开发遗传算法框架,反而推荐各位使用已有的GA库jenetics来做遗传算法. GA算法的逻辑还是贴下: 好了,下面介绍的是基于jenetics开发的更贴近业务侧的框架,以及使用方法. pom依赖,毕竟java的嘛,就不要用matlab.R.python这些了 <!-- https://mvnrepository.com/artifact/io.jenetics/jenetics --> <dependency> <groupId>io.jenet…

  背景   结合上一篇CLion之C++框架篇-优化框架,引入boost(三),继续进行框架优化!在项目中,我们经常会通过get方式拉取第三方资源,这一版优化引入类库curl,用来拉取第三方资源库.   开源框架代码:https://github.com/rtxbc/cplus/tree/master/work   配置使用   cmake_minimum_required(VERSION 3.11.2) project(work) message(STATUS "start load boo…

  背景   结合上一篇CLion之C++框架篇-优化框架,单元测试(二),继续进行框架优化!这一版优化引入一个我们日常经常使用的操作库Boost,估算使用频率在70%以上!   Boost的优势在哪里? 1.Boost是一个功能强大.构造精巧.跨平台.开源并且完全免费的C++程序库,有着“C++‘准’标准库”的美誉. 2.它由C++标准委员会部分成员所设立的Boost社区开发并维护: 3.使用了许多现代C++编程技术,内容涵盖字符串处理.正则表达式.容器与数据结构.并发编程.函数式编程.泛型编…

转自:http://blog.csdn.net/u010954257/article/details/54178160 最近在做一个大并发服务的测试(目前测到86万,当然有大量长连接,每天打的日志高到170多g,不打算继续测了),业务系统为反向代理ATS,服务的内容为动态域名,大部分的url很长,不过打开后的值只是0或1这样的标记. 当服务器在几万并发时,一般不需要考虑TCP连接消耗内存的问题,但当服务器承载几十万并发时,会暴漏出各种的问题,因此不得不考虑TCP连接对内存资源的消耗,当然跑到86…

Laravel是一套简洁.优雅的php Web开发框架(PHP Web Framework).它可以让你从杂乱的代码中解脱出来,可以帮你构建一个完美的网络app,而且每行代码都简洁.富于表达力.而性能一直是Laravel框架为人诟病的一点,所以调优Laravel程序算是一个必学的技能. 本文主要是分享一些关于开发的最佳实践和调优技巧.PHP程序Laravel框架的优化技巧_Laravel_Laravel框架_课课家 1.配置信息缓存 artisanconfig:cache 使用以下Artisan…

性能一直是 Laravel 框架为人诟病的一个点,所以调优 Laravel 程序算是一个必学的技能. 接下来分享一些开发的最佳实践,还有调优技巧,大家有别的建议也欢迎留言讨论 1.配置缓存信息 使用laravel自带的artisan命令,将所有config里面的配置都缓存到一个文件里. php artisan config:cache 所有缓存信息会被 bootstrap/cache/config.php 文件里,也可以用以下命令来删除该缓存信息: php artisan config:clea…

背景   结合上一篇CLion之C++框架篇-安装工具,基础框架的搭建(一),继续进行框架优化!   googletest(GTest)是Google开源的C++测试框架,与CLion组合,对C++环境开发真算得上是双剑合璧.   我的目标是在CLion工程中集成GTest,进行框架优化.     安装GTest   源码位置:https://github.com/google/googletest 下载地址为:https://github.com/google/googletest/archi…

对于前端工程师来说,浏览器缓存优化是个永远的话题.前几天看了知乎上的一个问答:<大公司里怎样开发和部署前端代码?>,深以为然,所以决心使用 FIS 来优化自身的前端文件. 我们的项目使用了 go 语言的 revel 做 web 框架.这个框架的目录结构混合了前后端的文件,没法做到前后端开发的完全分离.所以我们要做的第一步,就是分离前后端的文件. 分离前后端 因为已经决定使用 FIS 来优化前端,所以特别利用了 FIS 的编译文件这个功能.既然没法做到完全的前后端分离,至少也要分离一部分吧. 首…

Jenkins K8S Slave 调度效率优化 by yue994488@126.com 使用kubernetes为测试工具Gatling进行大规模压测,压测期间发现Jenkins调度压测实例较慢,单批几百实例需要十分钟左右也不能保证完整调度. 结合Jenkins Master源码 和Jenkins Kubernetes插件源码,对调度进行了细节的优化.调优过程中目标实例个数都设为300,调优后可以大体上允许一分钟内从Jenkins Master调度完毕.如果目标实例个数线性增加,调度的时间也…

MySQL 5.6.30 问题背景 由于爬虫抓取的数据不断增多,这两天在不断对数据库以及查询语句进行优化,其中一个表结构如下: CREATE TABLE `newspaper_article` ( `id` varchar(50) NOT NULL COMMENT '编号', `title` varchar(190) NOT NULL COMMENT '标题', `author` varchar(255) DEFAULT NULL COMMENT '作者', `date` date NULL D…

遇到性能问题的sql如下: sql1: UPDATE amlclientlevel a SET    a.client_value = (SELECT l.client_value                          FROM   amlclientdynamiclevel l                          WHERE  l.inner_client_id = a.inner_client_id) WHERE  a.client_value = 0       …

微服务框架下,一个服务依赖于很多服务.在高并发访问下,系统所依赖的服务的稳定性对系统的影响非常大,依赖有很多不可控的因素,比如网络连接变慢,资源突然繁忙,暂时不可用,服务脱机等,一个被调用服务出问题可能导致调用者不能正常调用其他服务.我们要构建稳定.可靠的分布式系统,就必须要有一套容错方法来应对这些情况. Hystrix是Netflix开源的一款容错框架,包含常用的容错方法:线程池隔离.信号量隔离.熔断(Circuit Breaker).降级回退(Fallback),还支持请求缓存(Reques…

laravel 优化 7 Performance Optimization Tips for the Laravel Developer 运行 php artisan optimize php artisan config:cache #緩存配置 php artisan route:cache # 緩存路由 清空配置和路由緩存 php artisan config:clear php artisan route:clear PHP中开启gzip压缩的2种方法 服務器設置開啓了 gzip…

常规调优手段 Fetch抓取 某些情况查询不必用MapReduce计算,比如select*,可以直接读取文件 本地模式 有时数据量比较小,hive可以通过本地模式在单台机器上处理所有任务,对于小数据集,执行时间可以被明显缩短. JVM重用 对于大量小文件,可开启JVM重用,即多个任务共用一个JVM而不用频繁开启和关闭 推测执行 对于一些bug或者资源分配不均等情况拖后腿的MapReduce任务,会推测出这样的任务并且开启备份任务,与该任务处理同一份数据,最终选用快的那个作为结果 严格模式(开启后…

理论部分 一个long占8byte,大多数应用业数值不超过int每次传输多4byte会很浪费 有没有什么办法可以压缩long或int呢? 答案是有的,原理好简单,如果数值不超过int.max_value的话就"自动变成"int类型 现在问题又出现了读取时如果知道原来的类型是什么? 可以先写一个byte是什么类型,再写入值,读时先读一个byte,根据类型做不同解释 源码解读 public abstract class PacketUtil { public final static by…

模块1 :getdata.py 读取测试用例test_case.xlsx,返回测试用例结果 import json from openpyxl import load_workbook class DoExcel: """ :get_data 读取execl中的测试数据 :write_data 将测试结果写入excel中 """ def get_data(self): """读取excel中的登录信息存储到列表中&q…

在项目开发中,需要写个windows服务从sqlserver复制数据到mysql(5.6.13 Win64(x86_64)),然后对这些数据进行计算分析.每15分钟复制一次,每次复制大概200条数据,每隔1小时对新同步的数据进行计算. 我们的mysql服务器是个破台式机,如下:(最初4G内存) 随着时间推移,数据量不断增加,目前数据表有7295400条数据.眼看着同步数据耗时越来越长,从最初的10秒左右,到目前的7,8分钟,有时更甚达到十几分钟.计算服务耗时从最初的几分钟到目前的40多分钟.磁盘…

机器学习算法实践:Platt SMO 和遗传算法优化 SVM 之前实现了简单的SMO算法来优化SVM的对偶问题,其中在选取α的时候使用的是两重循环通过完全随机的方式选取,具体的实现参考<机器学习算法实践-SVM中的SMO算法>.(http://pytlab.github.io/2017/09/01/机器学习算法实践-SVM中的SMO算法/) 本文在之前简化版SMO算法的基础上实现了使用启发式选取α对的方式的Platt SMO算法来优化SVM.另外由于最近自己也实现了一个遗传算法框架GAFT,便…

机器学习算法实践:Platt SMO 和遗传算法优化 SVM 之前实现了简单的SMO算法来优化SVM的对偶问题,其中在选取α的时候使用的是两重循环通过完全随机的方式选取,具体的实现参考<机器学习算法实践-SVM中的SMO算法>.(http://pytlab.github.io/2017/09/01/机器学习算法实践-SVM中的SMO算法/) 本文在之前简化版SMO算法的基础上实现了使用启发式选取α对的方式的Platt SMO算法来优化SVM.另外由于最近自己也实现了一个遗传算法框架GAFT,便…

前言 本文对遗传算法中的几种选择策略进行了总结, 其中包括: Proportionate Roulette Wheel Selection Linear Ranking Selection Exponential Ranking Selection Tournament Selection 对于每种选择策略我都使用Python进行了相应的实现并以内置插件的形式整合进了本人所写的遗传算法框架GAFT中.对需要使用遗传算法优化问题以及学习遗传算法的童鞋可以作为参考. 项目链接: GitHub: ht…

前言 本文中作者使用MPI的Python接口mpi4py来将自己的遗传算法框架GAFT进行多进程并行加速.并对加速效果进行了简单测试. 项目链接: GitHub: https://github.com/PytLab/gaft PyPI: https://pypi.python.org/pypi/gaft 正文 我们在用遗传算法优化目标函数的时候,函数通常都是高维函数,其导数一般比较难求取.这样我们的适应度函数计算通常都是比较费时的计算. 例如在使用遗传算法寻找最优结构时候通常需要调用量化软件进行…

在本系列的第一篇随笔<Entity Framework 实体框架的形成之旅--基于泛型的仓储模式的实体框架(1)>中介绍了Entity Framework 实体框架的一些基础知识,以及构建了一个简单的基于泛型的仓储模式的框架,例子也呈现了一个实体框架应用的雏形,本篇继续介绍这个主题,继续深化介绍Entity Framework 实体框架的知识,以及持续优化这个仓储模式的实体框架,主要介绍业务逻辑层的构建,以及利用Unity和反射进行动态的对象注册. 1.EDMX文件位置的调整 我们从上篇例子,…

首先定义:待优化参数:  ,目标函数: ,初始学习率 . 而后,开始进行迭代优化.在每个epoch  : 计算目标函数关于当前参数的梯度:  根据历史梯度计算一阶动量和二阶动量:, 计算当前时刻的下降梯度:  根据下降梯度进行更新:  掌握了这个框架,你可以轻轻松松设计自己的优化算法. 一阶动量.二阶动量概念的引入,一个框架纳入所有优化算法,更清晰 一个框架看懂优化算法之异同 SGD/AdaGrad/Adam Adam那么棒,为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习…

Adam那么棒,为什么还对SGD念念不忘 (1) —— 一个框架看懂优化算法 机器学习界有一群炼丹师,他们每天的日常是: 拿来药材(数据),架起八卦炉(模型),点着六味真火(优化算法),就摇着蒲扇等着丹药出炉了. 不过,当过厨子的都知道,同样的食材,同样的菜谱,但火候不一样了,这出来的口味可是千差万别.火小了夹生,火大了易糊,火不匀则半生半糊. 机器学习也是一样,模型优化算法的选择直接关系到最终模型的性能.有时候效果不好,未必是特征的问题或者模型设计的问题,很可能就是优化算法的问题. 说到优化算…

机器学习界有一群炼丹师,他们每天的日常是: 拿来药材(数据),架起八卦炉(模型),点着六味真火(优化算法),就摇着蒲扇等着丹药出炉了. 不过,当过厨子的都知道,同样的食材,同样的菜谱,但火候不一样了,这出来的口味可是千差万别.火小了夹生,火大了易糊,火不匀则半生半糊. 机器学习也是一样,模型优化算法的选择直接关系到最终模型的性能.有时候效果不好,未必是特征的问题或者模型设计的问题,很可能就是优化算法的问题. 说到优化算法,入门级必从SGD学起,老司机则会告诉你更好的还有AdaGrad/AdaDe…

主要更新: 1:增加AR.Global.GetUser() 方法返回当前登陆者的用户信息. 2:重写AR.Combobox 支持下拉树. 3:调整及扩展Input下拉的配置参数. 4:优化及新增AR.Combobox相关的方法. 5:重写层级表头的配置及算法. 6:扩展下拉数据的参数. 7:重写Excel导入模块. 8:重写Excel导出相关. 9:部分参数简化和名称调整. 从旧版本升级的注意事项: 1:Config_Excel表字段变更:新增(WhereType.AcceptType)两字段,…

在本人写的前一篇文章中,谈及有关如何利用Netty开发实现,高性能RPC服务器的一些设计思路.设计原理,以及具体的实现方案(具体参见:谈谈如何使用Netty开发实现高性能的RPC服务器).在文章的最后提及到,其实基于该方案设计的RPC服务器的处理性能,还有优化的余地.于是利用周末的时间,在原来NettyRPC框架的基础上,加以优化重构,本次主要优化改造点如下: 1.NettyRPC中对RPC消息进行编码.解码采用的是Netty自带的ObjectEncoder.ObjectDecoder(对象编码…

常用的数据库: 1). Sql Server2). Access3). Oracle4). Sysbase5). MySql6). Informix7). FoxPro8). PostgreSQL9). IBM 的DB2 2.特点. -oracle: 1.数据库安全性很高,很适合做大型数据库.支持多种系统平台(HPUX.SUNOS.OSF/1.VMS. WINDOWS.WINDOWS/NT.OS/2). 2.支持客户机/服务器体系结构及混合的体系结构(集中式.分布式. 客户机/服务器). -sq…

PS:渐渐明白,在实验室呆三年都不如在企业呆一年... 学习内容: 1.使用AbActivity内部封装的方法实现进度框,Toast框,弹出框,确认框...   AndBase中AbActivity封装好了许多方法提供我们去使用,使得在使用的时候更加的方便,只需要传递相关参数即可..省去了我们自己使用基础的函数进行构造...   就好比进度框,Toast框,弹出框,确认框...这些基本的东西都在AndBase的AbActivity封装好了...我们只需要传递参数调用其中内部的方法就可以完成这些视…