#WTF #TalesFromTechSupport

一大早接了个紧急电话。一台重要业务服务器连不上SSH了：

Last login: Thu Jul 11 03:37:35 2024 from [ManageHost_IP]
Could not chdir to home directory /home/mgmtuser: Permission denied
/bin/bash: Permission denied
Connection to [ProdServer_IP] closed.

这很怪，然后我看了一下前一次登录的地址，是管理服务器，这个服务器通常是跑批量脚本的。

同时进来一个新的需求让我看一些机器的DNS问题。我登陆上机器一看，好家伙，同款错误。

简单跑了一下批量脚本一看，50台机器炸掉了。

上来给我来个大的？

问了一下昨天谁跑了批量脚本，然后把脚本拿到手一看...

# ...

# install service files
chmod 644 "$var_a/$var_b"

# ...

然后这两个变量都没有检查是否为空。这就导致了这行命令成了：

chmod 644 /

根目录没了 x 权限，我们的服务器又都是没有root账户需要sudo提权的，这下子是没人登陆的上了。各种非root身份的服务这下子也因为从根目录开始就缺少 chdir() 权限而找不着北了。本地控制台登录也都是秒退，因为连 /bin 都禁止 chdir() ，更何况是运行 /bin/bash 。

拿救援USB盘启动，进去看了一眼，果不其然是根目录缺了 x 权限。

怎么办呢？
只能拿着救援USB和键盘显示器，一台一台修了。

这状况怎么这么眼熟？

哦对，前几天的 CrowdStrike 也得这么修。

笑死，同事写的有问题的脚本导致50台生产系统服务器原地爆炸无法远程操作，只能本地一台一台救援盘去修。

这个事件我称之为：

           CrewStrike