云服务器如何监控404错误页面？

国内、香港、海外云服务器4核/4G/10M 仅31元每月，点击抢购>>>

TOP云提供高性价比云服务器租用，有中国内地/港澳台、海外等全球各地节点，TOP云国内云服务器只要有域名备案号就能直接用，无须重复备案；港澳台及海外云服务器不用备案，购买之后直接使用，省时省力省心。价格实惠，续费同价，2核2G5M仅需27元每月，8核8G50M仅需66元每月，更多配置套餐请进入下面网址了解：

TOP云总站云服务器：https://topyun.vip/server/buy.html

TOP云C站云服务器：https://c.topyun.vip/cart

在云服务器上监控404错误页面是保障网站用户体验、SEO表现和安全性的重要措施。404错误（页面不存在）可能由链接错误、内容删除、爬虫抓取异常或攻击行为导致。云服务器（如阿里云ECS、腾讯云CVM）结合Web服务器（Nginx/Apache）和监控工具，可实现对404错误的实时检测、告警和优化。以下是系统化的解决方案：

一、404错误监控的核心目标

1. 及时发现：快速定位产生404的页面和请求来源。

2. 分析原因：区分用户误访问、爬虫抓取错误或恶意攻击。

3. 优化修复：通过301重定向、更新链接或修复资源解决404问题。

4. SEO保护：避免大量404影响搜索引擎对网站的信任度。

二、云服务器监控404错误的具体方法

1. 通过Web服务器日志实时监控（基础方案）

Web服务器（Nginx/Apache）默认记录所有请求的状态码，可直接分析日志中的404错误。

(1) Nginx日志监控

• 日志路径：通常为/var/log/nginx/access.log。

• 筛选404错误：

  bash
  # 实时监控最新的404错误（按行输出）
  tail -f /var/log/nginx/access.log | grep ' 404 '
  
  # 统计过去24小时内404错误的URL及出现次数
  awk '$9 == 404 {print $7}' /var/log/nginx/access.log | sort | uniq -c | sort -nr
  
  # 统计404错误的来源IP（识别恶意扫描）
  awk '$9 == 404 {print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr
  

• 日志轮转配置：确保日志不被覆盖（通过logrotate工具）。

(2) Apache日志监控

• 日志路径通常为/var/log/apache2/access.log或/var/log/httpd/access_log，命令与Nginx类似：

  bashawk '$9 == 404 {print $7}' /var/log/apache2/access.log | sort | uniq -c | sort -nr

(3) 时间范围过滤

• 统计特定时间段内的404错误（如最近1小时）：

  bash
  # Nginx示例（按时间戳过滤）
  awk -v date="$(date -d '1 hour ago' '+%d/%b/%Y:%H:%M:%S')" '$4 >= "["date && $9 == 404 {print $7}' /var/log/nginx/access.log
  

2. 通过监控工具实现自动化告警（进阶方案）

(1) ELK Stack（Elasticsearch + Logstash + Kibana）

• Logstash配置：解析Nginx/Apache日志，提取状态码为404的请求。

  conf
  filter {
    if [status] == 404 {
      grok { match => { "message" => "%{COMBINEDAPACHELOG}" } }
      mutate { add_tag => ["404_error"] }
    }
  }
  
  

• Kibana仪表盘：可视化404错误的URL、来源IP、时间分布，设置告警规则。

(2) Prometheus + Grafana

• Blackbox Exporter：主动探测URL并监控状态码。

• 配置示例（blackbox.yml）：

  yaml
  modules:
    http_404_check:
      prober: http
      http:
        valid_status_codes: [] # 不指定合法状态码，任何非2xx/3xx均视为失败
  

• Prometheus告警规则：

  yaml
  - alert: High404Errors
    expr: rate(http_404_total[5m]) > 10
    for: 10m
    labels:
      severity: warning
    annotations:
      summary: "High 404 errors detected ({{ $value }})"
  

(3) 云服务商日志服务

• 阿里云SLS：
  使用SQL查询日志中的404错误：

  sql
  * | select request_uri, count(*) as error_count 
    where status = 404 
    group by request_uri 
    order by error_count desc 
    limit 10
  

• 腾讯云CLB日志分析：
  通过负载均衡日志直接统计404错误。

3. 在应用程序代码中主动捕获404（精准方案）

适用于需要记录额外上下文（如用户ID、请求参数）的场景。

(1) Python Flask示例

python
from flask import Flask, request, jsonify
import logging

app = Flask(__name__)
logging.basicConfig(filename='404_errors.log', level=logging.INFO)

@app.errorhandler(404)
def handle_404(e):
    logging.info(f"404 Error: URL={request.url}, IP={request.remote_addr}, Referrer={request.referrer}")
    return jsonify({"error": "Page not found"}), 404

(2) Node.js Express示例

javascript
const express = require('express');
const fs = require('fs');
const app = express();

app.use((req, res, next) => {
    res.status(404).send('Page not found');
    fs.appendFileSync('404_errors.log', `${new Date().toISOString()} - ${req.url} - ${req.ip}\n`);
});

app.listen(3000);

4. 结合CDN/WAF日志扩展监控（高级方案）

如果使用了CDN（如Cloudflare、阿里云CDN）或WAF（Web应用防火墙），需检查其日志中的404错误：

• Cloudflare日志：
  通过Cloudflare Logs分析http.status_code=404的请求。

• 阿里云WAF日志：
  在WAF控制台查看被拦截或返回404的攻击请求。

三、404错误的常见原因与优化措施

1. 原因分析

2. 优化建议

• 自定义404页面：
  在Nginx/Apache中配置友好的404页面，提升用户体验：

  nginxerror_page 404 /custom_404.html;
  location = /custom_404.html {
      root /var/www/html;
      internal;
  }

• 自动提交死链：
  将404 URL列表提交到Google Search Console和百度站长平台。

• 监控趋势：
  通过Grafana仪表盘设置阈值告警（如每小时404错误超过100次时触发）。

四、总结：404监控完整流程

1. 日志分析：通过grep/awk快速定位404错误。

2. 工具自动化：使用ELK、Prometheus等实现实时监控和告警。

3. 代码捕获：在应用层记录详细上下文。

4. CDN/WAF联动：检查外部服务日志。

5. 优化修复：重定向、提交死链、屏蔽恶意请求。

通过以上方法，可以高效监控云服务器上的404错误，提升网站稳定性和SEO健康度。