基于go 1.19的站点模板爬虫
好像就三步:
1 建立http连接
2 解析html内容
3 递归遍历
创建一个基于 Go 1.19 的网站模板爬虫主要涉及几个步骤，包括设置 HTTP 客户端来获取网页内容、解析 HTML 来提取所需的数据，以及处理可能的并发和错误。下面我会给出一个简单的例子来说明如何使用 Go 编写一个基本的网站爬虫。
首先，确保你安装了 Go。然后，你可以选择使用如 `net/http` 标准库来发送 HTTP 请求，使用 `golang.org/x/net/html` 包来解析 HTML。
下面是一个简单的爬虫示例，它将访问一个网站，下载首页的 HTML，然后提取并打印出所有的超链接（a标签的href属性）：
```go
package main
import (
"fmt"
"golang.org/x/net/html"
"net/http"
"os"
)
// fetchURL 从给定的 URL 中获取 HTML 内容
func fetchURL(url string) (*html.Node, error) {
resp, err := http.Get(url)
if err != nil {
return nil, err
}
defer resp.Body.Close()
if resp.StatusCode != http.StatusOK {
return nil, fmt.Errorf("error getting URL %s: %s", url, resp.Status)
}
doc, err := html.Parse(resp.Body)
if err != nil {
return nil, fmt.Errorf("parsing HTML: %s", err)
}
return doc, nil
}
// extractLinks 递归地检索 HTML 文档中的所有链接
func extractLinks(n *html.Node) {
if n.Type == html.ElementNode && n.Data == "a" {
for _, a := range n.Attr {
if a.Key == "href" {
fmt.Println(a.Val)
break
}
}
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
extractLinks(c)
}
}
func main() {
if len(os.Args) < 2 {
fmt.Println("Usage: go run main.go <url>")
os.Exit(1)
}
url := os.Args[1]
doc, err := fetchURL(url)
if err != nil {
fmt.Fprintln(os.Stderr, "Error fetching URL:", err)
os.Exit(1)
}
extractLinks(doc)
}
```
在这个示例中，我们创建了几个功能：
- `fetchURL` 用于发送 HTTP 请求并解析返回的 HTML。
- `extractLinks` 递归地遍历 HTML 节点，查找并打印 `<a>` 标签的 `href` 属性。
- `main` 函数接受命令行参数作为 URL，调用以上函数来提取链接。
你可以通过运行 `go run main.go [URL]` 来使用这个脚本，其中 `[URL]` 是你想爬取的网站地址。
请注意，大规模使用网络爬虫时需要遵守网站的 `robots.txt` 文件和其他法律法规。同时，网站的结构可能会变化，这可能影响爬虫的正常工作。始终尊重网站所有者的权利和爬取数据的合法性。