本文由  网易云发布. 作者:冯宇 本篇文章仅限内部分享,如需转载,请联系网易获取授权. 背景 最近开始使用了新版本的Kylin,在此之前对于新版本的了解只是代码实现和一些简单的新功能测试,但是并没有导入实际场景的数据做分析和查询,线上Hadoop稳定之后,逐渐得将一些老需求往新的环境迁移,基于以前的调研,新版本(V2,版本为1.5.2)的Kylin提供了几个比较显著的功能和优化: 新的度量类型,包括TOPN.基于bitmap的精确distinct count和RAW.自定义度量框架,用户可以定

通用Linux内核优化配置 针对CentOS6.CentOS7.Redhat6.Redhat7等系统 net.ipv4.ip_forward = net.ipv4.conf. net.ipv4.conf. kernel.sysrq = kernel.core_uses_pid = kernel.unknown_nmi_panic = kernel.msgmnb = kernel.msgmax = kernel.shmmax = kernel.shmall = vm.swappiness = ne

Tomcat自身的调优是针对conf/server.xml中的几个参数的调优设置.首先是对这几个参数的含义要有深刻而清楚的理解.以tomcat8.5为例,讲解参数. 同时也得认识到一点,tomcat调优也受制于linux内核.linux内核对tcp连接也有几个参数可以调优. 因此我们可以将tomcat调优分为linux内核优化.java虚拟机调优和tomcat自身的优化. 一.Tomcat自身优化 1. maxThreads :tomcat创建的最大线程数,也就是同时处理的请求最大并发数.默认值

Nginx代理服务内核优化 # Kernel sysctl configuration file for Red Hat Linux # # For binary values, 0 is disabled, 1 is enabled. See sysctl(8) and # sysctl.conf(5) for more details. # Controls IP packet forwarding net.ipv4.ip_forward = 0 # Controls source rout

nginx指令中的优化(配置文件) worker_processes 8; nginx进程数,建议按照cpu数目来指定,一般为它的倍数. worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000; 为每个进程分配cpu,上例中将8个进程分配到8个cpu,当然可以写多个,或者将一个进程分配到多个cpu. worker_rlimit_nofile 102400; 这个指令是指

背景:对vps小资源的实践中对,https://justwinit.cn/post/7536/ 的再优化,再实践,再优化,特别是Nginx,PHP,内核: 零)Nginx: error_log /data/logs/nginx_error.log notice; #Specifies the value for maximum file descriptors that can be opened by this process. worker_rlimit_nofile 51200; PHP:

Most setup guides for Nginx tell you the basics - apt-get a package, modify a few lines here and there, and you've got a web server! And, in most cases, a vanilla nginx install will work just fine for serving your website. However, if you're REALLY t

配置NFS服务端 nfs01上安装软件 [root@nfs01 ~]# yum install nfs-utils rpcbind -y nfs-utils:NFS服务的主程序,包括rpc.nfsd.rpc.mountd这两个daemons和相关文档说明,以及执行命令文件等. rpebind:RPC程序,rpcbind服务用来完成端口和功能的对应映射工作,在提供NFS服务之前必须启动rpcbind服务. 检查RPM包: [root@nfs01 ~]# rpm -qa nfs-utils rpcb

一:内核简介 内核是操作系统最基本的部分.它是为众多应用程序提供对计算机硬件的安全访问的一部分软件,这种访问是有限的,并且内核决定一个程序在什么时候对某部分硬件操作多长时间. 内核的分类可分为单内核和双内核以及微内核.严格地说,内核并不是计算机系统中必要的组成部分. 什么是内核? 内核,是一个操作系统的核心.是基于硬件的第一层软件扩充,提供操作系统的最基本的功能,是操作系统工作的基础,它负责管理系统的进程.内存.内核体系结构.设备驱动程序.文件和网络系统,决定着系统的性能和稳定性. 二:查看系统

所谓内核优化,主要是在 linux 中针对业务服务应用而进行的系统内核参数优化,优化并无特殊的 标准,下面以常见生产环境 linux 的内核优化为例讲解,仅供大家参考: 内核调优 #vi /etc/sysctl.cof net.ipv4.tcp_fin_timeout = 2 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_keepalive_time =

经过近两年时间的优化和打磨,Apache ShardingSphere 5.0.0 GA 版终于在本月正式发布,相比于 4.1.1 GA 版,5.0.0 GA 版在内核层面进行了大量的优化.首先,基于可插拔架构对内核进行了全面改造,内核中的各个功能可以任意组合并叠加使用.其次,为了提升 SQL 分布式查询能力,5.0.0 GA 版打造了全新的Federation 执行引擎,来满足用户复杂的业务场景.此外,5.0.0 GA 版在内核功能 API 层面也进行了大量优化,旨在降低用户使用这些功能的成本

http://www.linuxidc.com/Linux/2012-11/75151.htm以下Linux 系统内核优化配置均经在线业务系统测试,服务器运行状态良好,用了一些时间整理,现和大家分享一下,如有那位高人看到配置上有问题,请给与指出!# Controls the use of TCP syncookies#表示开启重用.允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭:net.ipv4.tcp_syncookies = 1#一个布尔类型的标志,控制着

A.关闭selinux(可以预防nginx修改根目录后访问出现404或者403) vi /etc/selinux/config SELINUX=disabled B.修改打开最大文件数句柄也就是 socket数 vi /etc/security/limits.conf 添加 * soft nofile * hard nofile 或者使用以下方式 "echo ""ulimit -SHn 102400"" >> /etc/rc.local #设置

转自:http://blog.csdn.net/joker0910/article/details/7171626 内核使用了大量不同的宏来标记具有不同作用的函数和数据结构.如宏__init .__devinit 等.这些宏在include/linux/init.h 头文件中定义.编译器通过这些宏可以把代码优化放到合适的内存位置,以减少内存占用和提高内核效率. 下面是一些常用的宏: ·   __init ,标记内核启动时使用的初始化代码,内核启动完成后不再需要.以此标记的代码位于.init.te

声明:本文档来自互联网整理部份加自已实验部份所得: TCP 相关部份   经常使用名词说明: retries(再试).   TCP server <---> client通信状态     SYN---------------->         <--------------SYN,ACK           ACK--------------->                                          建立连接            Data1--

 以下为部分优化参数,具体优化方法还要看情况而定 [root@localhost ~]# vi /etc/sysctl.conf    #末尾添加如下参数 net.ipv4.tcp_syncookies = 1            #1是开启SYN Cookies,当出现SYN等待队列溢出时,启用Cookies来处,理,可防范少量SYN攻击,默认是0关闭 net.ipv4.tcp_tw_reuse = 1             #1是开启重用,允许讲TIME_AIT sockets重新用于新

 相信做运维的同仁,进行运维环境初建时,必须要考虑到操作系统内核参数的优化问题,本人经历数次的运维环境重建后,决定要自行收集一份比较完善的系统内核参数优化说明文件出来,于是就有了下文,本文当前值是官方默认参数,建议参数直接添加于sysctl -a输出的结果每一行的后面,希望对运维的同仁做系统内核参数调优时有所帮助.废话不多讲,直接上干货! #3.10.0-862.el7.x86_64#CentOS Linux release 7.5.1804 abi.vsyscall32 = 1crypto.f

修改内核配置文件 vim /etc/sysctl.conf 刷新配置文件 sysctl -p 关ipv6 net.ipv6.conf.all.disable_ipv6 = net.ipv6.conf.default.disable_ipv6 = 避免放大攻击 net.ipv4.icmp_echo_ignore_broadcasts = 开启恶意的icmp错误消息保护 net.ipv4.icmp_ignore_bogus_error_responses = 关闭路由转发 net.ipv4.ip_f

内核参数的优化示例: /etc/sysctl.conf net.ipv4.tcp_max_tw_buckets = // timewait的数量,默认是180000. net.ipv4.ip_local_port_range = // 允许系统打开的端口范围. net.ipv4.tcp_tw_recycle = 启用timewait快速回收. net.ipv4.tcp_tw_reuse = // 开启重用.允许将TIME-WAIT sockets重新用于新的TCP连接. net.ipv4.tcp

由于默认的linux内核参数考虑的是最通用场景,这明显不符合用于支持高并发访问的Web服务器的定义,所以需要修改Linux内核参数,是的Nginx可以拥有更高的性能: 在优化内核时,可以做的事情很多,不过,我们通常会根据业务特点来进行调整,当Nginx作为静态web内容服务器.反向代理或者提供压缩服务器的服务器时,期内核参数的调整都是不同的,这里针对最通用的.使Nginx支持更多并发请求的TCP网络参数做简单的配置: 首先,你需要修改/etc/sysctl.conf来更改内核参数. fs.fil

net.ipv4.ip_forward = #该文件内容为0,表示禁止数据包转发,1表示允许 net.ipv4.conf.default.rp_filter = #是否忽略arp请求 net.ipv4.conf.default.accept_source_route = # 是否接受源路由(source route) net.ipv4.conf.all.secure_redirects = # 如果服务器不作为网关/路由器,该值建议设置为0 kernel.sysrq = # 是否开启sysrq,