Go语言实现简单爬虫项目_Go网络请求实战案例_技术教程

Go爬虫核心是稳定、全面、防封、易维护：需自定义http.Client控制超时/重试/重定向，显式设User-Agent和Cookie管理，用golang.org/x/net/html解析HTML，通过channel限并发并按Host独立节流。

Go 语言写简单爬虫，核心不是“能不能发请求”，而是「怎么发得稳、收得全、不被封、好维护」。直接上 http.Get 能跑通首页，但遇到重定向、Cookie 管理、超时控制、User-Agent 伪造、反爬响应（如 403/429）就立刻卡住。

用 `http.Client` 替代 `http.Get` 控制请求生命周期

http.Get 是便捷封装，底层用默认 http.DefaultClient，但默认值对爬虫极不友好：无超时、无重试、无视重定向策略、无法设 Header。真实场景必须自定义 http.Client。

常见错误是只改 Timeout 却忽略 Transport 的连接池和 Keep-Alive 设置，导致大量 TIME_WAIT 或 DNS 缓存失效。

Timeout 应拆分为 Timeout（总耗时）、IdleConnTimeout（空闲连接复用上限）、TLSHandshakeTimeout（TLS 握手上限）
务必显式设置 User -Agent，否则多数网站返回 403；可用常见浏览器 UA 字符串，如 "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"
禁用自动重定向（CheckRedirect: func(req *http.Request, via []*http.Request) error { return http.ErrUseLastResponse }），便于手动判断跳转逻辑和登录态变化

client := &http.Client{
    Timeout: 10 * time.Second,
    Transport: &http.Transport{
        IdleConnTimeout:        30 * time.Second,
        TLSHandshakeTimeout:    5 * time.Second,
        MaxIdleConns:           100,
        MaxIdleConnsPerHost:    100,
        ForceAttemptHTTP2:      true,
    },
}
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64)")
resp, err := client.Do(req)

解析 HTML 用 `golang.org/x/net/html` 而非正则

用 regexp 提取链接或标题，在嵌套标签、属性换行、HTML 注释等场景下极易误匹配或 panic。标准库 golang.org/x/net/html 是流式解析器，内存友好且健壮。

注意：它不自动处理编码（如 GBK），遇到中文乱码需先用 golang.org/x/net/html/charset 检测并转换；也不支持 CSS 选择器，如需 div.item a.title 这类写法，得搭配第三方库如 github.com/PuerkitoBio/goquery。

遍历节点用 html.NodeTypeElement 判断元素类型，避免误读文本/注释节点
获取属性用 node.Attr 循环查找，node.Attr[i].Key == "href"，别硬索引
文本内容需递归提取子节点中的 Text 类型节点，不能只取 FirstChild.Data

处理重定向、Cookie 和登录态的最小可行方案

很多目标站需要 Cookie 维持会话（如登录后才能访问详情页）。Go 默认 http.Client 自带 Jar，但必须显式初始化，否则重定向后的 Cookie 不会自动携带。

常见坑：用 cookiejar.New(nil) 初始化却忘记传入 &cookiejar.Options{PublicSuffixList: publicsuffix.List}，导致子域名 Cookie 无法共享（如从 login.example.com 登录后，app.example.com 拿不到 Cookie）。

启用 Cookie 管理只需两行：jar, _ := cookiejar.New(&cookiejar.Options{PublicSuffixList: publicsuffix.List})，再赋给 client.Jar = jar
手动注入 Cookie（如已有登录态）：构造 *http.Cookie 后调用 jar.SetCookies(u, []*http.Cookie{cookie})
检查是否已登录：解析响应 HTML 中是否存在 欢迎回来 或 logout 链接，而非只看状态码