采用时间窗口限值法, 将每次请求(remote_addr)放到 cache中,并设置expired time 为5, 每次请求时query当前的remote_addr的值,大于阀值,就返回error,否则加入cache 并继续进行

也可以根据自己的网站调整限值和时间窗口

由于可能spider会猜出限值,并且24小时访问,那么这只能依靠每天手动分析日志了,这样spider就很明显能看出来了