今天来给大家分享下这两天遇到的一个问题,服务器被挖矿了,把我的排查记录分享下,希望能帮到有需要的同学。

问题原因


多台服务器持续告警CPU过高,服务器为K8s的应用节点,正常情况下CPU使用率都挺低的,通过排查是原因是被挖矿了,下面为定位过程

定位过程


登陆问题主机10.92.0.X,通过执行top命令查看资源使用情况如下

cpu使用率基本跑满(用户态),没有发现可疑的进程,初步怀疑可能是进程在哪里隐藏了

执行命令ps -aux --sort=-pcpu|head -10

嗯哼,藏得够深的,可还是被揪出来啦

这个eta可能是起的一个守护进程,用于唤起上面圈起来的python进程,

这个脚本的用途是,链接远程服务"http://g.upxmr.com:999/version.txt",并下载 写入到本地隐藏文件/tmp/.x,然后执行

注意:这个执行文件会修改服务器的一些配置,如dns,hosts,定时任务,创建可执行文件

查看dns

果然dns被修改了

查看定时任务

一般情况使用crontab -l是看不到的,需要查看/etc/crontab,

发现定时任务被加入了一条

0 */8 * * * root /usr/lib/libiacpkmn.so.3

根据定时任务中的可疑文件所在路径/usr/lib/libiacpkmn.so.3,

排查中发现/etc/rc.d/init.d/,/usr/bin/存在可执行文件nfstruncate,

在rc0.d-rc6.d目录下都存在S01nfstruncate文件,可能是自启动文件

现在排查的很明朗了,接下来着手清理工作

1. 阻断挖矿程序链接外网服务(很重要)

在/etc/hosts里增加一条

127.0.0.1 g.upxmr.com

阻断挖矿程序链接外网下载可执行文件,不加了的话干掉服务又会起来(除非把服务器网断了)

2. 干掉可疑程序“ata”进程

[root@dtdream-common-prod-nginx-03 ~]# kill -9 70497

再次查看发现cpu使用率降下来了,挖矿程序也没启动了。

3. 删除定时任务及文件

根据上面定时任务截图,需要彻底删除该脚本文件 /usr/lib/libiacpkmn.so.3 。

执行

[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3

结果显示删除文件没权限,很奇怪,使用

[root@dtdream-common-prod-nginx-03 ~]#lsattr /usr/lib/libiacpkmn.so.3

发现文件被锁住了,很好解决,解锁再删就行了。

[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/lib/libiacpkmn.so.3[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/lib/libiacpkmn.so.3

删除nfstruncate

[root@dtdream-common-prod-nginx-03 ~]#chattr -i /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /usr/bin/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#chattr -i /etc/init.d/nfstruncate[root@dtdream-common-prod-nginx-03 ~]#rm -rf /etc/init.d/nfstruncate

删除软连

[root@dtdream-common-prod-nginx-03 ~]# find / -name "S01nfs*"/etc/rc.d/rc1.d/S01nfstruncate/etc/rc.d/rc2.d/S01nfstruncate/etc/rc.d/rc4.d/S01nfstruncate/etc/rc.d/rc3.d/S01nfstruncate/etc/rc.d/rc6.d/S01nfstruncate/etc/rc.d/rc5.d/S01nfstruncate/etc/rc.d/rc0.d/S01nfstruncate[root@dtdream-common-prod-nginx-03 ~]#find / -name "S01nfs*"|xargs rm -f

操作完之后, 长时间观察CPU无再升高

结论:问题是初步解决了,但是根源还没找到,因为我们的服务都是部署在内网的,挖矿程序是从哪个入口侵入的还有待排查

这次分享希望对也中挖矿程序的同学, 提供一些排查思路

往期文章一览

1、Kubernetes集群搭建之系统初始化配置篇

2、Kubernetes集群搭建之企业级环境中基于Harbor搭建自己的私有仓库

3、Kubernetes集群搭建之Etcd集群配置篇

4、Kubernetes集群搭建之CNI-Flanneld部署篇

5、Kubernetes集群搭建之Master配置篇

6、Kubernetes系列之Coredns and Dashboard介绍篇

END

如果您觉得不错,请别忘了转发、分享、点赞让更多的人去学习, 您的举手之劳,就是对小编最好的支持,非常感谢!

Linux 遭入侵,挖矿进程被隐藏排查记录的更多相关文章

  1. 阿里云kubernetes遭入侵pubg进程占用cpu资源100%解决方法

    发现服务器CPU占用100%,通过top命令发现pubg -c config.json -t 2占用CPU资源,kill进程会自动启动.黑客入侵方式是kubernetes创建pod. Name: ku ...

  2. LINUX系统入侵排查

    当企业发生黑客入侵.系统崩溃或其它影响业务正常运行的安全事件时,急需第一时间进行处理,使企业的网络信息系统在最短时间内恢复正常工作,进一步查找入侵来源,还原入侵事故过程,同时给出解决方案与防范措施,为 ...

  3. linux如和对其他用户隐藏进程?

    Linux kernel 3.2以上,root用户可以设置内核,让普通用户看不到其它用户的进程.适用于有多个用户使用的系统.该功能由内核提供,因此本教程适用于Debian/Ubuntu/RHEL/Ce ...

  4. Linux进程僵死原因排查思路

    常情况下脚本执行时间几秒完成,如果超过很长时间执行完成,可能是进程等待某些资源引起阻塞(假死状态). 场景:xx.perl读取文件并发送邮件 现象:执行脚本的进程僵死(卡住) 排查:ps -ef |g ...

  5. Linux服务器惨遭挖矿

      昨天为了协助客户测试业务,帮客户开通了一台云主机,因为是测试环境所以密码设置的很简单:1qaz@WSX,今天登陆的是否发现密码认证不通过了,确定机器是被黑掉了,估计多半是被国外小哥入侵挖矿了,记录 ...

  6. 记录linux tty的一次软锁排查2

    在复现tty的死锁问题的时候,文洋兄使用了如下的方式: #include <fcntl.h> #include <unistd.h> #include <stdio.h& ...

  7. [转帖]御界预警:3700余台SQL服务器被入侵挖矿 或导致严重信息泄露事件

    御界预警:3700余台SQL服务器被入侵挖矿 或导致严重信息泄露事件 https://zhuanlan.kanxue.com/article-8292.htm sqlserver的弱密码破解和提权攻击 ...

  8. Linux零起点之进程管理----c语言编程

    进程 (Process)是指操作系统中被加载到内存中的.正在运行的应用程序实例.进程是系统资源分配的基本单元,在其生命周期内会使用系统中的各种资源.进程主要由程序.数据以及进程控制快(PCB)3个部分 ...

  9. linux系统编程之进程(八):守护进程详解及创建,daemon()使用

    一,守护进程概述 Linux Daemon(守护进程)是运行在后台的一种特殊进程.它独立于控制终端并且周期性地执行某种任务或等待处理某些发生的事件.它不需要用户输入就能运行而且提供某种服务,不是对整个 ...

随机推荐

  1. pip包导出

    用pip对已有的环境做导出准备 1. 使用pip导出当前环境所有依赖包信息文件 pip freeze > requirements.txt 2. 下载所有依赖包到本地 pip install - ...

  2. 设置和取消git代理

    # 设置socket5代理 git config --global http.proxy 'socks5://127.0.0.1:1087' git config --global https.pro ...

  3. 分分钟解决MySQL查询速度慢与性能差

    阅读本文大概需要 6 分钟. 一.什么影响了数据库查询速度 1.1 影响数据库查询速度的四个因素 1.2 风险分析 QPS: QueriesPerSecond意思是“每秒查询率”,是一台服务器每秒能够 ...

  4. native的详细用法

    目录 1.JNI:Java Native Interface 3.用C语言编写程序本地方法 一.编写带有 native 声明的方法的java类 二.使用 javac 命令编译所编写的java类,生成. ...

  5. 一、OpenStack环境准备及共享组件安装

    一.OpenStack部署环境准备: 1.关闭防火墙所有虚拟机都要操作 # setenforce 0 # systemctl stop firewalld 2.域名解析所有虚拟机都要操作 # cat ...

  6. 使用GitHub作为Maven仓库并引用

    网上太多的博客都是那些傻逼抄袭,然后直接复制粘贴然后就成为自己的博客了,这种人,真的很欠揍,我在网上查了一个下午的资料,终于找到一个写得非常详细的兄弟 链接如下:https://blog.csdn.n ...

  7. PHP 关于判断输入日期是否合法

    合法要求 一年仅十二个月 4,6,9,11月仅30天,1,3,5,7,8,10,12月仅31天 闰年2月29天,否则28天 输入的变量年,月,日为数字 代码: <?php //PHP中判断输入的 ...

  8. 支付宝红包口令自动复制到剪贴板脚本js,安卓,IOS通用版

    有客户找到涛舅舅,要求开发一个可以自动支付宝红包口令的js脚本,经过大量探索和优化,目前此脚本功能已经测试成功! 预期效果: 只要来访用户在当前网页的任意位置点击一下,支付宝红包口令即可复制到用户手机 ...

  9. Android Getting Started

    Building Your First App Creating an Android Project 介绍如何Android开发环境,具体是:怎么使用Eclipse工具 Create a Proje ...

  10. MyBatis3系列__02接口式编程

    hello world MyBatis3支持面向接口编程: 具体做法如下,将helloWorld中的EmployeeMapper.xml文件进行更改: <?xml version="1 ...