近期有一个朋友的服务器(自己做了网站)好像遭遇了入侵具体现象是 服务器CPU资源长期 100%负载较高。 服务器上面的服务不能正常提供服务。朋友处理了一会没有解决我开始想说我不是搞安全的我怎么会但朋友开出了天价一顿海底捞我在生活和现实面前低头了。 开始上手看看了。二、服务器排查和处理2.1、服务器被入侵的可能原因服务器ssh密码 设置得很简单。腾讯云安全组范围放得很大。使用了宝塔宝塔面板的密码也是很简单的密码(应该不是这个入侵入口)。2.2、排查和处理步骤ps -ef/top找出占用进程最大的服务问题现象ps/top命令 已经被替换了。查找详细的入侵痕迹last或者grep Accepted /var/log/secure。问题现象[rootVM-12-12-centos ~]# grep Accepted /var/log/secure Aug 26 21:51:37 VM-12-12-centos sshd[19822]: Accepted password for root from 34.215.138.2 port 36720 ssh2 Aug 27 08:52:05 VM-12-12-centos sshd[3053]: Accepted password for root from 127.0.0.1 port 57534 ssh2 Aug 27 08:58:50 VM-12-12-centos sshd[7038]: Accepted password for root from 127.0.0.1 port 57548 ssh2 Aug 27 09:10:02 VM-12-12-centos sshd[14830]: Accepted publickey for lighthouse from 106.55.203.49 port 44204 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:10:03 VM-12-12-centos sshd[14913]: Accepted publickey for lighthouse from 81.69.102.49 port 60820 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:14:08 VM-12-12-centos sshd[17307]: Accepted password for root from 127.0.0.1 port 57690 ssh2 Aug 27 09:34:22 VM-12-12-centos sshd[29150]: Accepted publickey for lighthouse from 106.55.203.55 port 38044 ssh2: RSA SHA256:123456/UIbl8 Aug 27 09:34:23 VM-12-12-centos sshd[29233]: Accepted publickey for lighthouse from 81.69.102.60 port 51190 ssh2: RSA SHA256:123456/UIbl8lighthouse 腾讯云轻量服务器我们在这里就可以看到有一些境外IP 34.215.138.2成功登录了这些IP不是我们的正常登录。 在/var/log/secure日志里我看到了IP 34.215.138.2尝试登录不到500次 就已经破解成功了。处理措施这里我们立马采取了第一个措施在腾讯云安全组限制了 SSH 的登录IP 之前的安全组 SSH 是放行所有IP。将 SSH ROOT 密码修改。/root/.ssh/authorized_keys备份并清空。[rootVM-12-12-centos ~]# cp -rp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.bak cp: cannot create regular file ‘/root/.ssh/authorized_keys.bak’: Permission denied这时我们就遇到了权限的问题这个晚点展开讲因为我们已经限制了源IP 所以这个我们可以晚点来处理。查看最近新增的一些用户问题现象cat /etc/passwd处理措施锁定用户[rootVM-12-12-centos ~]# usermod -L sys1我这里不计划去找进程已经在新建一台版本一致的系统 来拷贝top和ps命令需要一小会我们趁这个时间先看看其他因为之前朋友重启过服务器发现服务器启动过一会才会负载较高。我认为入侵者应该放了一些定时任务和启动脚本里面。问题现象定时任务crond读取配置文件会从以下几个路径读取/var/spool/cron/, 由crontab -e进行写入配置文件无需指定用户/etc/crontab只能root进行编辑配置文件需指定用户/etc/cron.d/,在此文件夹下创建定时任务文件配置文件需指定用户/etc/cron.*/var/spool/cron/未找到(后面会说到这里有障眼法)/etc/crontab未找到(后面会说到这里有障眼法)但是我在/var/log/cron一直看到有任务执行。每间隔5分钟。Aug 27 22:00:01 VM-12-12-centos CROND[16839]: (root) CMD (/sbin/httpss /dev/null 21;^M ) Aug 27 22:00:01 VM-12-12-centos CROND[16840]: (root) CMD (/usr/local/qcloud/YunJing/YDCrontab.sh /dev/null 21) Aug 27 22:00:01 VM-12-12-centos CROND[16842]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root ) Aug 27 22:05:01 VM-12-12-centos CROND[17486]: (root) CMD (/usr/lib/mysql/mysql;^Mno crontab for root ) Aug 27 22:05:01 VM-12-12-centos CROND[17487]: (root) CMD (/sbin/httpss /dev/null 21;^M )处理措施这里我们先做的操作就是先把/usr/lib/mysql/mysql和/sbin/httpss给删除。删除的时候还是提示没有权限。我们知道这些文件应该是加琐了所以我开始解锁我们发现chattr也被替换和锁住了。 所以不能操作下去了。开机启动脚本/etc/rc.local 我们也发现了一个脚本。[rootVM-12-12-centos ~]# cat /etc/rc.local #!/bin/bash # THIS FILE IS ADDED FOR COMPATIBILITY PURPOSES # # It is highly advisable to create own systemd services or udev rules # to run scripts during boot instead of using this file. # # In contrast to previous versions due to parallel execution during boot # this script will NOT be run after all other services. # # Please note that you must run chmod x /etc/rc.d/rc.local to ensure # that this script will be executed during boot. /usr/bin/0f4f80f9ab start但是这个文件好像不存在的我们就把这个给注释了。还原更改了top、ps、chattr、lsattr.首先我们从相同版本的机器拷贝了chattr、lsattr 我们得先操作这个 因为我们的top和ps都被锁住了。我将文件上传至/tmp目录然后增加可执行权限然后先给/usr/bin/chattr解除锁定。/tmp/chattr -ai /usr/bin/chattr执行完之后发现还是不能替换/usr/bin/chattr。 最后耗费了一段时间才反应到入侵者可能不仅仅加锁了文件还加锁了/usr/bin/。解锁目录/tmp/chattr -ai /usr/bin/这下才能把/usr/bin/chattr给替换掉。接下来参考这些我们把top和ps、lsattr给还原了。部分截图