Linux 系统出现异常排查思路
16 系统出现异常排查思路
16.1 查看用户信息
16.1.1查看当前的用户
# who
04:39:39 up 1:30, 1 user, load average: 0.01, 0.01, 0.00
USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT
root pts/0 192.168.215.1 04:27 0.00s 0.16s 0.02s w
16.1.2查看最近登录的用户
# last
***************
root pts/2 hadoop2 Sun Oct 16 15:52 - 15:52 (00:00)
root pts/1 192.168.215.1 Sun Oct 16 15:39 - down (00:23)
hadoop pts/0 :0.0 Sun Oct 16 00:33 - down (15:30)
hadoop tty1 :0 Sun Oct 16 00:31 - down (15:31)
reboot system boot 2.6.32-573.el6.x Sun Oct 16 08:16 - 16:03 (07:47)
16.2 查看直线执行的命令
# history
***************
683 last
684 clear
685 last
686 clear
687 history
16.3查看现在运行的进程
# pstree -a
init
├─NetworkManager --pid-file=/var/run/NetworkManager/NetworkManager.pid
├─abrtd
├─acpid
├─atd
├─auditd
│ └─{auditd}
├─bonobo-activati --ac-activate --ior-output-fd=12
*******************
# ps aux
USER PID %CPU %MEM VSZ RSS TTY STAT START TIME COMMAND
root 1 0.0 0.0 19352 1544 ? Ss 03:09 0:02 /sbin/init
root 2 0.0 0.0 0 0 ? S 03:09 0:00 [kthreadd]
root 3 0.0 0.0 0 0 ? S 03:09 0:00 [migration/0]
root 4 0.0 0.0 0 0 ? S 03:09 0:00 [ksoftirqd/0]
root 5 0.0 0.0 0 0 ? S 03:09 0:00 [stopper/0]
16.4查看网络服务的进程
16.4.1查看正在运行的端口
# netstat -nltl
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN
tcp 0 0 127.0.0.1:6010 0.0.0.0:* LISTEN
tcp 0 0 :::2181 :::* LISTEN
tcp 0 0 :::37129 :::* LISTEN
16.4.2正在活跃的端口
# netstat -nulp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
udp 0 0 0.0.0.0:631 0.0.0.0:* 2089/cupsd
16.4.3 查看UNIX活跃的端口
# netstat -nxlp
Active UNIX domain sockets (only servers)
Proto RefCnt Flags Type State I-Node PID/Program name Path
unix 2 [ ACC ] STREAM LISTENING 13954 2136/hald @/var/run/hald/dbus-WAkpL6y5o7
unix 2 [ ACC ] STREAM LISTENING 16245 2614/gnome-session @/tmp/.ICE-unix/2614
unix 2 [ ACC ] STREAM LISTENING 15966 2524/Xorg @/tmp/.X11-unix/X0
unix 2 [ ACC ] STREAM LISTENING 13947 2136/hald @/var/run/hald/dbus-QUMwKtSaJ5
unix 2 [ ACC ] STREAM LISTENING 13818 2089/cupsd /var/run/cups/cups.sock
*********************
16.5查看CPU与内存
16.5.1查看空闲的内存以及内存与硬盘之间的SWAP
# free -m
total used free shared buffers cached
Mem: 1862 475 1386 1 27 202
-/+ buffers/cache: 245 1616
Swap: 2047 0 2047
# free -g
总计 已用 空闲 共享 缓冲/缓存 可用
内存： 15 7 1 0 6 6
交换： 1 0 1
16.6查看运行的详细信息
# uptime
04:59:59 up 1:50, 1 user, load average: 0.00, 0.00, 0.00
当前时间 04:59:59
系统已运行的时间 1:50
当前在线用户 1 user
平均负载：0.00, 0.00, 0.00，最近1分钟、5分钟、15分钟系统的负载
16.7动态查看运行的内存,CPU等信息
# top
top - 12:26:46 up 16:21, 1 user, load average: 0.00, 0.00, 0.00
Tasks: 82 total, 1 running, 81 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.0%us, 0.1%sy, 0.0%ni, 99.7%id, 0.1%wa, 0.0%hi, 0.1%si, 0.0%st
Mem: 1895288k total, 665188k used, 1230100k free, 20628k buffers
Swap: 2097144k total, 0k used, 2097144k free, 80392k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2269 root 20 0 15056 1080 832 R 2.0 0.1 0:00.01 top
1 root 20 0 19356 1536 1228 S 0.0 0.1 0:01.81 init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kthreadd
3 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
4 root 20 0 0 0 0 S 0.0 0.0 0:01.13 ksoftirqd/0
5 root RT 0 0 0 0 S 0.0 0.0 0:00.00 migration/0
6 root RT 0 0 0 0 S 0.0 0.0 0:00.14 watchdog/0
7 root 20 0 0 0 0 S 0.0 0.0 0:41.30 events/0
8 root 20 0 0 0 0 S 0.0 0.0 0:00.00 cgroup
9 root 20 0 0 0 0 S 0.0 0.0 0:00.00 khelper
***********************
16.8 硬件信息
16.8.1系统中所有PCI总线设备或连接到该总线上的所有设备
# lspci
00:00.0 Host bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX Host bridge (rev 01)
00:01.0 PCI bridge: Intel Corporation 440BX/ZX/DX - 82443BX/ZX/DX AGP bridge (rev 01)
00:07.0 ISA bridge: Intel Corporation 82371AB/EB/MB PIIX4 ISA (rev 08)
00:07.1 IDE interface: Intel Corporation 82371AB/EB/MB PIIX4 IDE (rev 01)
00:07.3 Bridge: Intel Corporation 82371AB/EB/MB PIIX4 ACPI (rev 08)
16.8.2查看硬件方面的信息
# ethtool eth0
*******************
Handle 0x0229, DMI type 33, 31 bytes
64-bit Memory Error Information
Type: OK
Granularity: Unknown
Operation: Unknown
Vendor Syndrome: Unknown
Memory Array Address: Unknown
Device Address: Unknown
Resolution: Unknown
Handle 0x022A, DMI type 126, 4 bytes
Inactive
Handle 0x022B, DMI type 127, 4 bytes
End Of Table
16.9 IO的性能
16.9.1 查看磁盘的使用情况
# iostat
Linux 2.6.32-573.el6.x86_64 (hadoop1) 10/21/2016 _x86_64_(1 CPU)
avg-cpu: %user %nice %system %iowait %steal %idle
0.17 0.00 0.56 2.15 0.00 97.11
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 1.49 75.27 10.68 645224 91568
16.9.2 动态的查看服务器的状态值
# vmstat 2 10
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 1322196 30688 298892 0 0 37 5 39 57 0 1 97 2 0
0 0 0 1322140 30688 298920 0 0 0 0 57 84 1 1 99 0 0
*********************
16.9.3实时的对系统的监控
# mpstat 2 10
Linux 2.6.32-573.el6.x86_64 (hadoop1) 10/21/2016 _x86_64_(1 CPU)
05:37:26 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle
05:37:28 AM all 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00
05:37:30 AM all 0.00 0.00 0.50 0.00 0.00 0.00 0.00 0.00 99.50
05:37:32 AM all 0.00 0.00 0.00 0.00 0.00 0.50 0.00 0.00 99.50
*********************
16.9.4动态显示当前的操作IO的进程
# yum -y install dstat
# dstat --top-io --top-bio
----most-expensive---- ----most-expensive----
i/o process | block i/o process
bash 53k 316B|init 19k 198B
sshd: root@ 301B 340B|tpvmlpd2 0 4096B
sshd: root@ 136B 180B|jbd2/sda2-8 0 56k
16.10文件系统以及外接磁盘的信息
16.10.1查看当前的挂在的设备
# mount
/dev/sda2 on / type ext4 (rw)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
/dev/sda1 on /boot type ext4 (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
vmware-vmblock on /var/run/vmblock-fuse type fuse.vmware-vmblock (rw,nosuid,nodev,default_permissions,allow_other)
16.10.2查看是否有专用的文件系统
打开一下文件进行编辑
# cat /etc/fstab
#
# /etc/fstab
# Created by anaconda on Sun Oct 16 07:55:57 2016
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
UUID=b89c0aae-3284-4835-9b1b-04986146cd96 / ext4 defaults 1 1
UUID=a1313d92-6873-402d-95a6-add6cd1321c6 /boot ext4 defaults 1 2
UUID=6a5cde98-2fc5-4d8f-976c-92acb39ab2a9 swap swap defaults 0 0
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
16.10.3查看文件系统的挂在的选项
# vgs
16.10.4查看物理卷的信息
# pvs
16.11查看磁盘的剩余情况
# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda2 18G 6.2G 11G 38% /
tmpfs 932M 72K 932M 1% /dev/shm
/dev/sda1 283M 41M 228M 16% /boot
16.12列出当前系统打开文件的工具
# lsof +D / /* beware not to kill your box */
***************
lsof 3907 root mem REG 8,2 22536 265965 /lib64/libdl-2.12.so
lsof 3907 root mem REG 8,2 1926480 265960 /lib64/libc-2.12.so
lsof 3907 root mem REG 8,2 124624 265966 /lib64/libselinux.so.1
lsof 3907 root mem REG 8,2 99158576 394281 /usr/lib/locale/locale-archive
16.12 内核与网络
16.12.1显示在/proc/sys目录中的内核参数
**************
net.ipv6.nf_conntrack_frag6_high_thresh = 4194304
net.ipv6.ip6frag_secret_interval = 600
net.ipv6.mld_max_msf = 64
net.nf_conntrack_max = 65536
net.unix.max_dgram_qlen = 10
abi.vsyscall32 = 1
crypto.fips_enabled = 0
16.12.2 显示设备的详细信息
irq的序号， 在各自cpu上发生中断的次数，可编程中断控制器，设备名称（request_irq的dev_name字段）
# cat /proc/interrupts
CPU0
0: 261 IO-APIC-edge timer
1: 8 IO-APIC-edge i8042
4: 4838 IO-APIC-edge
8: 1 IO-APIC-edge rtc0
9: 0 IO-APIC-fasteoi acpi
查看链接数据库的信息
# cat /proc/net/ip_conntrack /* may take some time on busy servers */
**************
cat: sys/: Is a directory
cat: tmp/: Is a directory
cat: usr/: Is a directory
cat: var/: Is a directory
16.13查看网络套接字连接情况
# netstat
************
unix 3 [ ] STREAM CONNECTED 13648
unix 3 [ ] STREAM CONNECTED 13647
unix 3 [ ] DGRAM 10073
unix 3 [ ] DGRAM 10072
16.14获取socket统计信息
# ss -s
Total: 602 (kernel 610)
TCP: 15 (estab 4, closed 0, orphaned 0, synrecv 0, timewait 0/0), ports 8
Transport Total IP IPv6
* 610 - -
RAW 0 0 0
UDP 1 1 0
TCP 15 5 10
INET 16 6 10
FRAG 0 0 0
16.15日志消息与内核信息的查看
16.15.1 显示linux内核的环形缓冲区信息
# dmesg [ tail / less / grep / more ]
*************
eth0: no IPv6 routers present
lp: driver loaded but no devices found
ppdev: user-space parallel port driver
hrtimer: interrupt took 2588670 ns
16.15.2查看系统报错日志
# less /var/log/messages
Oct 16 08:16:22 localhost kernel: imklog 5.8.10, log source = /proc/kmsg started.
Oct 16 08:16:22 localhost rsyslogd: [origin software="rsyslogd" swVersion="5.8.10" x-pid="1604" x-info="http://www.rsyslog.com"] start
Oct 16 08:16:22 localhost kernel: Initializing cgroup subsys cpuset
Oct 16 08:16:22 localhost kernel: Initializing cgroup subsys cpu
*************
16.15.3 安全信息和系统登录与网络连接的信息
# less /var/log/secure
Oct 16 08:17:06 localhost sshd[8287]: Server listening on 0.0.0.0 port 22.
Oct 16 08:17:06 localhost sshd[8287]: Server listening on :: port 22.
Oct 16 00:22:58 localhost polkitd(authority=local): Registered Authentication Agent for session /org/freedesktop/ConsoleKit/Session1 (system bus name :1.25 [/usr/libexec/polkit-gnome-authentication-agent-1], object path /org/gnome/PolicyKit1/AuthenticationAgent, locale en_US.UTF-8)
********************
16.16查看定时的任务
16.16.1查看定时任务的运行频率
# ls /etc/cron* + cat
/etc/cron.daily:
cups logrotate makewhatis.cron mlocate.cron prelink readahead.cron tmpwatch
/etc/cron.hourly:
0anacron
/etc/cron.monthly:
readahead-monthly.cron
/etc/cron.weekly:
16.1.2 查看用户是否执行了隐藏的命令
# for user in $(cat /etc/passwd | cut -f1 -d:); do crontab -l -u $user; done
no crontab for root
no crontab for bin
no crontab for daemon
Linux 系统出现异常排查思路的更多相关文章
- Linux入侵类问题排查思路
深入分析,查找入侵原因 一.检查隐藏帐户及弱口令 检查服务器系统及应用帐户是否存在 弱口令: 检查说明:检查管理员帐户.数据库帐户.MySQL 帐户.tomcat 帐户.网站后台管理员帐户等密码设置是 ...
- LInux系统木马植入排查分析 及 应用漏洞修复配置(隐藏bannner版本等)
在日常繁琐的运维工作中,对linux服务器进行安全检查是一个非常重要的环节.今天,分享一下如何检查linux系统是否遭受了入侵? 一.是否入侵检查 1)检查系统日志 检查系统错误登陆日志,统计IP重试 ...
- Linux 服务器性能问题排查思路
一个基于 Linux 操作系统的服务器运行的同时,也会表征出各种各样参数信息.通常来说运维人员.系统管理员会对这些数据会极为敏感,但是这些参数对于开发者来说也十分重要,尤其当你的程序非正常工作的时候, ...
- Linux应急响应入侵排查思路
0x00 前言 当企业发生黑客入侵.系统崩溃或其它影响业务正常运行的安全事件时,急需第一时间进行处理,使企业的网络信息系统在最短时间内恢复正常工作,进一步查找入侵来源,还原入侵事故过程,同时给出解 ...
- Linux运维故障排查思路
linux系统故障 网络问题 linux系统无响应 linux系统无法启动 linux系统故障处理思路 1.重视报错信息,一般情况下此提示基本定位了问题的所在 2.查阅日志文件,系统日志和应用日志 3 ...
- Linux系统故障分析与排查--日志分析
处理Linux系统出现的各种故障时,故障的症状是最先发现的,而导致这以故障的原因才是最终排除故障的关键.熟悉Linux系统的日志管理,了解常见故障的分析与解决办法,将有助于管理员快速定位故障点,“对症 ...
- linux系统故障分析与排查
在处理Linux系统出现的各种故障时,故障的症状是最先发现的,而导致这以故障的原因才是最终排除故障的关键.熟悉Linux系统的日志管理,了解常见故障的分析与解决办法,将有助于管理员快速定位故障点.“对 ...
- Linux服务器被黑 排查思路
目录 一.为何会被入侵? 二.排查 入侵排查 检查是否还存在被登陆可能 计划任务 被修改的文件 筛选日志 日志恢复 找到异常进程-1 找到异常进程-2 找到异常进程-3 找到异常进程-4 三.总结 一 ...
- Linux进程僵死原因排查思路
常情况下脚本执行时间几秒完成,如果超过很长时间执行完成,可能是进程等待某些资源引起阻塞(假死状态). 场景:xx.perl读取文件并发送邮件 现象:执行脚本的进程僵死(卡住) 排查:ps -ef |g ...
- linux系统下病毒排除思路
1.top查看是否有特别吃cpu和内存的进程,病毒进程kill是杀不死的,因为ps命令被修改 2.ls -la /proc/病毒进程pid/ pwd为病毒进程程序目录 一般在/usr/bin下 3. ...
随机推荐
- [转]WorldWind开发中WorldWindowGLCanvas .setPreferredSize()函数找不到
值高温假期,无意翻到了csdn中三维GIS开发的专栏,讲的是worldwind Java三维GIS系统开发的东西,十分感兴趣.恰巧要求的环境已经存在,直接耍起来.将最新的Worldwind和JOGL下 ...
- 在Deepin系统上配置微软Windows远程桌面服务
. 前言 本文主要讲解如何在deepin系统上安装和配置Xrdp远程桌面. Xrdp是微软的远程桌面协议(Remote Desktop Protocol, RDP)的开源版本.在Linux系统上安装X ...
- CDS标准视图：催款代码描述 I_DunningKeyText
视图名称:催款代码描述 I_DunningKeyText 视图类型: 视图代码: 点击查看代码 @EndUserText.label: 'Dunning Key - Text' @Analytics. ...
- MYSQL-收集
1.MySQL敏感数据进行加密的几种方法小结 AES_ENCRYPT和AES_DECRYPT函数 AES(Advanced Encryption Standard)是一种对称加密算法.在MySQL中, ...
- MySQL架构体系-SQL查询执行全过程解析
前言: 一直是想知道一条SQL语句是怎么被执行的,它执行的顺序是怎样的,然后查看总结各方资料,就有了下面这一篇博文了. 本文将从MySQL总体架构--->查询执行流程--->语句执行顺序来 ...
- consul简介
Consul是HashiCorp公司推出的开源工具,用于实现分布式系统的服务发现与配置. Consul是分布式的.高可用的.可横向扩展的.它具备以下特性 : 服务发现:consul通过DNS或者HTT ...
- mac文件目录结构
详解MAC硬盘中各个文件夹 详解MAC硬盘中各个文件夹 打开Macintosh HD你会发现内中有四个文件夹 分别有--应用程序(Applications).系统(System).用户(User).资 ...
- ELB UDP健康检查常见故障分析
本文分享自天翼云开发者社区<ELB UDP健康检查常见故障分析>,作者:王****宁 什么是UDP健康检查 UDP是面向非连接的一种协议,在发送数据前不会通过进行三次握手建立连接,UDP健 ...
- Binomial Sum 学习笔记
- Luogu P3059 Concurrently Balanced Strings G 题解 [ 紫 ] [ 线性 dp ] [ 哈希 ] [ 括号序列 ]
模拟赛搬的题,dp 思路很明显,但难点就在于找到要转移的点在哪. 暴力 首先我们可以先考虑 \(k=1\) 的情况,这应该很好想,就是对于每一个右括号,找到其匹配的左括号,然后进行转移即可,这个过程可 ...