1. 简介

在计算机系统中，I/O操作（如文件读写、网络通信）是性能瓶颈的主要来源之一。主要原因包括：

1. 系统调用开销：每次直接I/O操作都涉及用户态和内核态的上下文切换
2. 硬件限制：磁盘和网络设备更适合大块数据传输
3. 频繁小数据操作：大量小数据写入会显著降低性能

缓冲技术通过在内存中聚合数据，减少实际I/O操作次数，可显著提升性能。

2. 不带缓冲的写入

直接频繁调用系统API，性能最差：

// 每次写入都触发系统调用
f, _ := os.Create("output.txt")
defer f.Close()

for i := 0; i < 10000; i++ {
    f.Write([]byte("line\n"))  // 高成本操作
}

3. 带缓冲的写入

使用bufio.Writer自动缓冲：

f, _ := os.Create("output.txt")
defer f.Close()

buf := bufio.NewWriter(f)  // 默认4KB缓冲
for i := 0; i < 10000; i++ {
    buf.WriteString("line\n")  // 内存操作
}
buf.Flush()  // 最终写入磁盘

4. 控制缓冲区容量

根据场景调整缓冲区大小：

f, _ := os.Create("output.txt")
defer f.Close()

// 16KB缓冲，适合大文件写入
buf := bufio.NewWriterSize(f, 16*1024)  

5. 带缓冲与不带缓冲的 Benchmark

比较通过直接调用os.File.Write相比，使用bufio.Writer向磁盘写入一百万行数据。

package perf

import (
    "bufio"
    "io"
    "os"
    "strconv"
    "sync"
    "testing"
)

type Data struct {
    Value []byte
}

var dataPool = sync.Pool{
    New: func() any {
        return &Data{Value: make([]byte, 0, 32)}
    },
}

const N = 10000

func writeNotBuffered(w io.Writer, count int) {
    for i := 0; i < count; i++ {
        d := dataPool.Get().(*Data)
        d.Value = strconv.AppendInt(d.Value[:0], int64(i), 10)
        w.Write(d.Value)
        w.Write([]byte(":val\n"))
        dataPool.Put(d)
    }
}

func writeBuffered(w io.Writer, count int) {
    buf := bufio.NewWriterSize(w, 16*1024)
    for i := 0; i < count; i++ {
        d := dataPool.Get().(*Data)
        d.Value = strconv.AppendInt(d.Value[:0], int64(i), 10)
        buf.Write(d.Value)
        buf.Write([]byte(":val\n"))
        dataPool.Put(d)
    }
    buf.Flush()
}

func BenchmarkWriteNotBuffered(b *testing.B) {
    for b.Loop() {
        f, _ := os.CreateTemp("", "nobuf")
        writeNotBuffered(f, N)
        f.Close()
        os.Remove(f.Name())
    }
}

func BenchmarkWriteBuffered(b *testing.B) {
    for b.Loop() {
        f, _ := os.CreateTemp("", "buf")
        writeBuffered(f, N)
        f.Close()
        os.Remove(f.Name())
    }
}

运行结果如下，带缓冲的性能提升了约 62 倍，但内存申请多了 30%。

$ go test -bench=. -benchmem .  
goos: darwin
goarch: arm64
pkg: main/demo
cpu: Apple M4 Pro
BenchmarkWriteNotBuffered-12                  64          18470001 ns/op           53758 B/op      10007 allocs/op
BenchmarkWriteBuffered-12                   3984            297904 ns/op           70122 B/op      10008 allocs/op
PASS
ok      main/demo       3.530s

6. 总结

应用场景

1. 频繁的执行小数据量的 I/O。
2. 减少系统调用。
3. 高吞吐量比延迟更重要。

不适用场景

1. 实时性要求高。
2. 过度缓冲导致内存使用不受控制。