Go语言通过goroutine和channel实现高效并发HTTP请求，示例中使用多个goroutine并行执行fetch函数并通过channel接收结果；为避免资源耗尽，可引入sync.WaitGroup与协程池控制并发数；同时需设置超时机制，推荐使用context.WithTimeout进行请求级超时控制，确保程序健壮性。
在Go语言中，实现并发HTTP请求非常简单且高效，得益于其原生支持的goroutine和channel机制。通过合理使用这些特性，可以轻松地同时发起多个HTTP请求，提升程序性能，特别是在需要获取多个独立资源时。
使用Goroutine并发发起HTTP请求
每个HTTP请求可以在独立的goroutine中执行，从而实现并发。标准库net/http本身是线程安全的，可以直接在多个goroutine中调用。
示例代码：
package mainimport ( "fmt" "io/ioutil" "net/http" )
func fetch(url string, ch chan<- string) { resp, err := http.Get(url) if err != nil { ch <- fmt.Sprintf("Error: %s", url) return } defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) ch <- fmt.Sprintf("URL: %s, Status: %d, Body size: %d", url, resp.StatusCode, len(body)) }
func main() { urls := []string{ "https://www./link/5f69e19efaba426d62faeab93c308f5c", "https://www./link/98a733901e53052474f2320d0a3a9473", "https://www./link/c2148796071914983ed6b6e9dbbff735", }
ch := make(chan string, len(urls)) // 缓冲channel避免阻塞 for _, url := range urls { go fetch(url, ch) } for range urls { fmt.Println(<-ch) }}
在这个例子中，每个fetch函数运行在一个独立的goroutine中，结果通过channel返回。主函数等待所有结果返回后打印输出。
控制并发数量：使用WaitGroup与协程池思想
如果请求量很大，直接为每个请求启动goroutine可能导致系统资源耗尽。可以通过sync.WaitGroup配合固定数量的工作协程来控制并发数。
package mainimport ( "fmt" "net/http" "sync" )
func worker(jobs <-chan string, results chan<- string, wg *sync.WaitGroup) { defer wg.Done() for url := range jobs { resp, err := http.Get(url) if err != nil { results <- fmt.Sprintf("Failed: %s", url) continue } results <- fmt.Sprintf("OK: %s, Status: %d", url, resp.StatusCode) resp.Body.Close() } }
func main() { urls := []string{ "https://www./link/4d2fe2e8601f7a8018594d98f28706f2", "https://www./link/98a733901e53052474f2320d0a3a9473", "https://www./link/7ac09a39f051ff62eefbafd363b1bbb3", "https://www./link/dc17d9b4862d86f8054735577c04462a", "https://www./link/0ad3140ed0cf59e84008db87c8c1106c", }
const numWorkers = 3 jobs := make(chan string, len(urls)) results := make(chan string, len(urls)) var wg sync.WaitGroup // 启动工作协程 for i := 0; i < numWorkers; i++ { wg.Add(1) go worker(jobs, results, &wg) } // 发送任务 for _, url := range urls { jobs <- url } close(jobs) // 等待完成并关闭结果通道 go func() { wg.Wait() close(results) }() // 收集结果 for result := range results { fmt.Println(result) }}
这种方式能有效限制同时运行的goroutine数量，避免过多网络连接带来的压力。
超时控制与错误处理
并发请求中必须设置超时，防止某个请求长时间阻塞整个流程。可以通过自定义http.Client来实现。
client := &http.Client{
Timeout: 5 * time.Second,
}
resp, err := client.Get(url)
也可以使用context实现更灵活的超时控制：
ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second) defer cancel()req, _ := http.NewRequestWithContext(ctx, "GET", url, nil) resp, err := http.DefaultClient.Do(req)
结合context可以在请求级别控制超时、取消等行为，更适合复杂场景。
基本上就这些。Go的并发模型让HTTP请求处理变得简洁而强大，关键是合理控制资源、处理错误，并利用channel协调数据流动。不复杂但容易忽略细节。
