Golang根据书籍ISBN爬取豆瓣评分和评论数

源代码

```go
package main

import (
	"fmt"
	"net/http"
	"os"
	"regexp"
	"time"
)

//定义httpClient，用于发起请求，获取网页内容
func HttpGet(url string) (result string, err error) {
	resp, err1 := http.Get(url) //发送get请求
	if err1 != nil {
		err = err1
		return
	}
	//延迟关闭连接
	defer resp.Body.Close()

//读取网页内容
	buf := make([]byte, 4*1024)
	for {
		n, _ := resp.Body.Read(buf)
		if n == 0 {
			break
		}
		result += string(buf[:n]) //累加读取的内容
	}
	return
}

func SpiderPage(i string) {
	// 明确爬取的url
	fmt.Println("正在抓取的书籍ISBN号为" + i + "...")
	url := "https://book.douban.com/isbn/" + i + "/"

// 为防止访问IP 被网站屏闭，降低爬取频率
	time.Sleep(1 * time.Second)

// 使用定义的httpClient发起请求，开始爬取页面内容
	// 将结果保存至 result,result中包含了请求的页面所有源码
	result, err := HttpGet(url)
	if err != nil {
		fmt.Println("HttpGet err = ", err)
		return
	}

// 定义一个正则表达式。 匹配源码中评价人数的部分
	ret1 := regexp.MustCompile(`(?s:(\d*?))人评价</a>`)
	// 根据正则匹配返回实际的评价人数数值，并以切片形式返回
	pepoleCount := ret1.FindAllStringSubmatch(result, -1)

//将源码中和评分有关的元素组赋值并使用正则匹配评分
	patternScore := ` (?s:(.*?)) `
	// 定义一个正则表达式。 匹配源码中评分分值的部分
	ret2 := regexp.MustCompile(patternScore)
	// 根据正则匹配返回实际的评分数值，并以切片形式返回
	filmScore := ret2.FindAllStringSubmatch(result, -1)

// 解析、编译正则表达式。—— 书籍名称（同上）
	patternName := `(?s:(.*?))`
	ret3 := regexp.MustCompile(patternName)
	filmName := ret3.FindAllStringSubmatch(result, -1)

//测试拿到的数据实际内容
	fmt.Println("ISBN号码: " + i + " 评论数: " + pepoleCount[0][1] + " 评分: " +  filmScore[0][1] + " 书籍名称: " + filmName[0][1])
	// 把内容写入到文件
	Save2File(i, pepoleCount[0][1], filmScore[0][1], filmName[0][1])

}

//把内容写入到文件
func Save2File(i string, pepoleCount, filmScore, filmName string) {
	// 新建文件，每一页保存成一个文件
	f, err := os.Create("book-ISBN-" + i + ".txt")
	if err != nil {
		fmt.Println("os.Create err = ", err)
		return
	}
	defer f.Close()

// 写标题
	f.WriteString("书籍名称" + "\t\t\t" + "评分" + "\t\t" + "评价人数" + "\t" + "\n")

// 写内容
	//n := len(pepoleCount)
	//for i := 0; i < n; i++ {
	//	f.WriteString(filmName[i][1] + "\t\t\t" + filmScore[i][1] + "\t\t" + pepoleCount[i][1] + "\t" + "\n")
	//}
	f.WriteString(filmName + "\t\t\t" + filmScore + "\t\t" + pepoleCount + "\t" + "\n")
}

func main() {
	var isbn string
	fmt.Printf("请输入ISBN书号:")
	fmt.Scan(&isbn)
	SpiderPage(isbn)
}

```

返回结果示例：
```
[root@MacBook-Win L205Project]# gun  doubanSpider.go 
请输入ISBN书号:9787559630667
正在抓取的书籍ISBN号为9787559630667...
ISBN号码: 9787559630667 评论数: 170 评分: 6.7 书籍名称: 无论如何都想告诉你的世界史
[root@MacBook-Win L205Project]# 
```