使用Golang实现多线程大文件下载器：原理与代码实战

type FileDownloader struct {
	fileSize       int           // 待下载文件总大小
	url            string        // 目标源链接
	outputFileName string        // 下载保存的文件名
	totalPart      int           // 文件切片总数
	outputDir      string        // 文件存储目录
	doneFilePart   []filePart    // 已完成下载的分片集合
	md5            string        // 用于校验的 MD5 值
}

type filePart struct {
	Index int      // 分片序号
	From  int      // 起始字节位置
	To    int      // 结束字节位置
	Data  []byte   // 下载得到的二进制数据
}

func (d *FileDownloader) getHeaderInfo() (int, error) {
	headers := map[string]string{
		"User-Agent": "Mozilla/5.0",
	}
	// 发送请求获取文件头信息
	req, err := http.NewRequest("HEAD", d.url, nil)
	if err != nil {
		return 0, err
	}
	for k, v := range headers {
		req.Header.Set(k, v)
	}

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return 0, err
	}
	defer resp.Body.Close()

	// 检查响应状态
	if resp.StatusCode > 299 || resp.StatusCode < 200 {
		return 0, errors.New(fmt.Sprintf("Response error: %v", resp.Status))
	}

	// 验证是否支持断点续传
	if resp.Header.Get("Accept-Ranges") != "bytes" {
		return 0, errors.New("Server does not support Range requests")
	}

	// 提取文件名
	if d.outputFileName == "" {
		d.outputFileName = extractFileName(resp)
	}

	// 获取文件总长度
	contentLength := resp.Header.Get("Content-Length")
	size, _ := strconv.Atoi(contentLength)
	d.fileSize = size
	return size, nil
}

// 辅助函数：解析文件名
func extractFileName(resp *http.Response) string {
	contentDisp := resp.Header.Get("Content-Disposition")
	if contentDisp != "" {
		_, params, err := mime.ParseMediaType(contentDisp)
		if err == nil {
			return params["filename"]
		}
	}
	//  fallback: 取 URL path 最后一部分
	return filepath.Base(resp.Request.URL.Path)
}

jobs := make([]filePart, d.totalPart)
eachSize := d.fileSize / d.totalPart

for i := range jobs {
	jobs[i].Index = i
	// 计算 From
	if i == 0 {
		jobs[i].From = 0
	} else {
		jobs[i].From = jobs[i-1].To + 1
	}
	// 计算 To
	if i < d.totalPart - 1 {
		jobs[i].To = jobs[i].From + eachSize - 1
	} else {
		// 最后一个分片取到文件末尾
		jobs[i].To = d.fileSize - 1
	}
}

func (d *FileDownloader) downloadPart(part filePart) error {
	// 构造 Range 请求头
	req, _ := http.NewRequest("GET", d.url, nil)
	req.Header.Set("Range", fmt.Sprintf("bytes=%d-%d", part.From, part.To))

	resp, err := http.DefaultClient.Do(req)
	if err != nil {
		return err
	}
	defer resp.Body.Close()

	// 读取 Body 内容
	data, err := io.ReadAll(resp.Body)
	if err != nil {
		return err
	}

	// 简单的长度校验
	expectedLen := part.To - part.From + 1
	if len(data) != expectedLen {
		return errors.New("Downloaded part length mismatch")
	}

	part.Data = data
	// 存储结果到共享切片中（在生产环境中需考虑加锁或 Channel）
	d.doneFilePart[part.Index] = part
	return nil
}

func (d *FileDownloader) Run() error {
	// 1. 获取文件信息
	_, err := d.getHeaderInfo()
	if err != nil {
		return err
	}

	// 2. 生成任务队列
	jobs := generateJobs(d.totalPart, d.fileSize)

	// 3. 并发执行
	var wg sync.WaitGroup
	for _, job := range jobs {
		wg.Add(1)
		go func(j filePart) {
			defer wg.Done()
			err := d.downloadPart(j)
			if err != nil {
				log.Println("Part download failed:", err)
			}
		}(job)
	}
	wg.Wait()

	// 4. 合并文件
	return d.mergeFiles()
}

func (d *FileDownloader) mergeFiles() error {
	path := filepath.Join(d.outputDir, d.outputFileName)
	outFile, err := os.Create(path)
	if err != nil {
		return err
	}
	defer outFile.Close()

	// 用于校验的 Writer
	writer := md5.New()
	io.Copy(outFile, nil) // placeholder for logic below

	for i := 0; i < d.totalPart; i++ {
		part := d.doneFilePart[i]
		// 必须确保分片已下载完成且按序写入
		_, err := outFile.Write(part.Data)
		if err != nil {
			return err
		}
		writer.Write(part.Data)
	}

	// 可选：计算最终文件 MD5 并与预期值对比
	finalMd5 := hex.EncodeToString(writer.Sum(nil))
	log.Printf("File merged successfully. MD5: %s", finalMd5)
	return nil
}