当前位置：首页 > news >正文

基于 Go1.19 的站点模板爬虫：构建与实战

news 来源：原创 2024/9/20 8:55:08

引言

随着互联网的发展，网络爬虫已成为数据抓取和分析的重要工具。Go（Golang）语言凭借其高效、简洁的特性，成为构建爬虫的热门选择之一。本文将引导你使用 Go1.19 版本，构建一个基于站点模板的网页爬虫，以抓取指定网站的结构化数据。

环境准备

确保你的开发环境已安装 Go1.19 或更高版本。可以通过以下命令检查 Go 的版本：

Bash

深色版本

1go version

如果尚未安装 Go，可以从官方网站（https://golang.org/dl/）下载并按照指示进行安装。

工程结构

为了组织代码和资源，我们首先创建项目目录结构：

深色版本

1.
2├── cmd
3│   └── crawler.go
4├── internal
5│   ├── scraper
6│   │   └── scraper.go
7│   └── templates
8│       └── site.tmpl
9└── go.mod

cmd 目录下的 crawler.go 用于启动爬虫。internal/scraper 包含爬虫的核心逻辑，internal/templates 存放站点模板。

依赖管理

在项目根目录下创建或更新 go.mod 文件，添加所需的依赖包：

深色版本

1module github.com/yourusername/gocrawler
2
3go 1.19
4
5require (
6    golang.org/x/net v0.0.0-20230511212614-fa735b7d40e0
7    gopkg.in/yaml.v3 v3.0.1
8)

然后运行以下命令以下载并安装依赖：

Bash

深色版本

1go mod download

爬虫核心逻辑

解析模板

在 internal/scraper/scraper.go 中，我们需要定义一个函数来解析站点模板，提取出需要爬取的数据点：

深色版本

1package scraper
2
3import (
4	"fmt"
5	"html/template"
6	"io/ioutil"
7	"net/http"
8	"strings"
9
10	"gopkg.in/yaml.v3"
11)
12
13type SiteTemplate struct {
14	URL   string            `yaml:"url"`
15	Query map[string]string `yaml:"query"`
16}
17
18func LoadSiteTemplate(filename string) (*SiteTemplate, error) {
19	data, err := ioutil.ReadFile(filename)
20	if err != nil {
21		return nil, err
22	}
23
24	var templateConfig SiteTemplate
25	err = yaml.Unmarshal(data, &templateConfig)
26	if err != nil {
27		return nil, err
28	}
29
30	return &templateConfig, nil
31}
32
33func FetchAndParse(url string, query map[string]string) (string, error) {
34	client := &http.Client{}
35	req, err := http.NewRequest("GET", url, nil)
36	if err != nil {
37		return "", err
38	}
39
40	for k, v := range query {
41		req.URL.RawQuery = strings.Join([]string{req.URL.RawQuery, fmt.Sprintf("%s=%s", k, v)}, "&")
42	}
43
44	resp, err := client.Do(req)
45	if err != nil {
46		return "", err
47	}
48	defer resp.Body.Close()
49
50	bodyBytes, err := ioutil.ReadAll(resp.Body)
51	if err != nil {
52		return "", err
53	}
54
55	return string(bodyBytes), nil
56}
57
58func ParsePage(htmlContent string, template *template.Template) (map[string]interface{}, error) {
59	var data = make(map[string]interface{})
60	err := template.Execute(funcMap, htmlContent, &data)
61	if err != nil {
62		return nil, err
63	}
64
65	return data, nil
66}

爬虫启动器

在 cmd/crawler.go 中，我们将定义爬虫的入口函数：

深色版本

1package main
2
3import (
4	"log"
5	"os"
6
7	"github.com/yourusername/gocrawler/internal/scraper"
8)
9
10func main() {
11	templatePath := "./internal/templates/site.tmpl"
12	siteTemplate, err := scraper.LoadSiteTemplate(templatePath)
13	if err != nil {
14		log.Fatalf("Error loading template: %v", err)
15	}
16
17	tmpl, err := template.ParseFiles(templatePath)
18	if err != nil {
19		log.Fatalf("Error parsing template: %v", err)
20	}
21
22	htmlContent, err := scraper.FetchAndParse(siteTemplate.URL, siteTemplate.Query)
23	if err != nil {
24		log.Fatalf("Error fetching page: %v", err)
25	}
26
27	parsedData, err := scraper.ParsePage(htmlContent, tmpl)
28	if err != nil {
29		log.Fatalf("Error parsing page: %v", err)
30	}
31
32	log.Printf("Parsed Data: %+v", parsedData)
33}

定义站点模板

在 internal/templates/site.tmpl 文件中，定义你的站点模板，使用 HTML 模板语法和 {{ . }} 占位符来提取数据：

Html

深色版本

1<!-- Example template -->
2<html>
3<head>
4<title>{{ .Title }}</title>
5</head>
6<body>
7<h1>Welcome to {{ .SiteName }}</h1>
8<ul>
9{{ range .Posts }}
10<li><a href="{{ .URL }}">{{ .Title }}</a></li>
11{{ end }}
12</ul>
13</body>
14</html>