记录一次主机流量异常及排错处理

2011年12月20日 分类: 网来往事

不久前主机发生了一次流量异常，特此记录，以作备忘。

所在主机用的是linode，JP机房，1024的配置，上面还跑着一个流量不算很大的论坛，每个月流量大概在30%左右，于是月末几日经常拿去挂下载，可是这个月月初偶然查了下流量图表，发现了不小的问题：

image

很大的流量有木有？很诡异的IO有木有？第一个感觉就是被DDOS了。（别笑，咱木有经历过吖）

逆向想了下，如果DDOS的话CPU占用应该很高才是。暂时排除了这个可能性。（见CPU图表）

image

磁盘IO也不算很异常：

image

于是直接统计各IP间通信流量，用的工具包是iftop。

image

没有看出很明显的问题，各个ip间的流量都很大，平均流量也很大。这张图还不是很明显。但是值得一提的是，RX和TX基本持平，这是非常有问题的，同时也作为突破口。

接下来想找找linux下有没有以进程RTX作为统计的软件包，找了很久都没找到，作罢。

这时候顺顺提出了个建议，用tcpdump抓包看看，于是运行命令：

tcpdump -w name

预测抓包5-10分钟，再把数据包信息下载回本地看，出乎意料的是，5分钟过去后文件居然50多M，于是重新抓了个1分钟的文件，导入到科来网络分析系统（手头只有这个，习惯了）：

image

就协议来说，TCP中的Other占得的比例非常高，存在疑问，点开看数据包：

image

8090端口害的有木有？努力回想了很久，终于记起来，不知道在大半年前用8090端口开过一个匿名代理！拿自己服务器IP放google了一圈，果然搜到被扫代理的扫走了，于是用iptables 丢弃掉8090端口的TCP数据包：

iptables -I INPUT  -p tcp –dport 8090 -j REJECT

禁止后流量直接就正常了：

image

正常后的流量：（注意纵坐标的变化）

image

 

总结了一下，遇到这种事情一定要及时处理，这个月的流量被蹭代理的用掉至少60%了，还好没有超流量，不然流量费用就贵了去了。另外，服务器环境坚决不用做测试环境，所有的测试应该在本地测试环境测试完毕后再部署到生产环境，不然会导致各种各样的杯具~

标签: ,
发表评论 | Trackback

23 条评论 于 “记录一次主机流量异常及排错处理”

  1. locx
    2011年12月20日23:02
    1

    我弄过一个在线代理,只通过浏览器操作,即使公开了(估计不会有专门的网站收集这个)也压力不大.另外,文中提到的挂下载是怎样实现的?

    回复
  2. conanshang
    2011年12月21日09:31
    2

    唔… 被免费做“好人”了呢… /qy
    果然有关Linux服务器的问题是难不倒灵曦酱的… /sy

    回复
  3. 雨帆
    2011年12月21日14:54
    3

    代理是什么？听起来，好好玩的东西哦~！

    回复
  4. lovee
    2011年12月22日21:20
    4

    话说偶是从来没有注意过流量呢w霓虹的服务器都是不限流量的所以只要不是服务器当机偶都懒得去管有什么问题orz

    回复
  5. 园长
    2011年12月22日23:38
    5

    流量一般不看，卡的才看。。

    回复
  6. Zmsky
    2011年12月23日10:55
    6

    额，就是那个默认的HTTP代理吗？ 我2了。。

    回复
  7. 锦亭二娃
    2011年12月23日18:14
    8

    我很少关注过这些啊

    回复
  8. linfcstmr
    2011年12月25日21:02
    9

    = =
    上个月闲的没事外链图片，访问量3000+流量就完爆了..55555

    另：圣诞快乐

    回复
  9. forever
    2011年12月29日12:56
    11

    流量永远用不完的路过哦。

    回复
  10. licb博客
    2011年12月30日08:08
    12

    学习了！
    ddos 怎么防止呀，有没有比较系统安全方面的文章呢？

    回复
  11. 沉冰浮水
    2011年12月30日12:51
    13

    一直觉当初流量报警是为了骗我买额外流量而谎报的。。然后我确实买了。。~~o(>_<)o ~~泪奔
    ———-
    置百丈玄冰而崩裂，掷须臾池水而漂摇。

    回复
  12. 恋月
    2012年1月1日17:36
    14

    我是来看loli的说“

    回复
  13. illusionwing
    2012年1月8日21:49
    15

    膜拜大大。。遇到这种问题一般都是直接TICKET..

    回复
    • 灵曦
      2012年1月9日21:16
      16

      虽然linode的客服是出了名的厉害，不过麻烦别人总不如自己解决呢，不然下次遇到问题肿么办~

      回复
  14. yucoat
    2012年1月16日16:47
    17

    我还真的没有关注过我的博客的流量使用情况唉~

    回复
  15. 阳光音基
    2012年1月30日09:52
    18

    嗯，说的不错，学习下

    回复
  16. 睡着的水
    2012年2月4日17:53
    19

    过来转转

    回复
    • 灵曦
      2012年2月4日18:15
      20

      谢谢哦~欢迎再来~

      回复
  17. luacloud
    2012年5月8日13:48
    21

    流量被盗很恐怖啊。

    回复
  18. 神爱
    2012年7月23日19:39
    22

    果然给力… /cj

    回复
  19. 科技在线
    2012年7月27日10:41
    23

    给力，有些问题重点在查找问题的方法和思路，问题找到也就好解决了

    回复

灵曦:请留下点什么嗯~