CSV 是 “Comma-Separated Values(逗号分隔值)” 的缩写,它是日常开发和数据分析中很常见的轻量级表格格式。这类文件的后缀名为 .csv,既可以用记事本查看,也可以直接用 Excel 打开。在 CSV 文件中,每一行代表一条记录,同一行里的各个单元格之间默认使用英文逗号(,)隔开。
既然 CSV 只是用逗号隔开的普通文本,为什么我们不按行读取后直接调用 strings.Split() 切分呢?因为有些单元格的内容本身就包含逗号,比如 "北京,朝阳"。按照 CSV 规范,这类内容外层会包上一对双引号,如果我们直接按逗号硬切,就会误把同一个单元格拆成两列。
为了准确解析这类表格文件,Go 语言标准库内置了 encoding/csv 包,能够自动处理双引号与逗号转义。它主要提供 2 种读取方式:一种是通过 ReadAll() 一次性读取全部行,另一种是通过 Read() 一行一行地读取。
ReadAll() 一次性读取
如果 CSV 文件的数据量不大,比如只有几百行或几千行,我们可以先调用 os.Open() 打开文件。接着通过 csv.NewReader() 创建读取器,再调用 ReadAll() 方法一次性把整张表格读进内存。
语法:
reader := csv.NewReader(r)
records, err := reader.ReadAll()说明:
csv.NewReader(r) 接收一个已打开的文件对象并返回读取器 reader。随后调用 reader.ReadAll() 会一次性读取文件中的所有行,返回一个 [][]string 类型的二维切片 records 和错误值 err。
在返回的二维切片 records 中,外层切片的每一个元素代表 CSV 中的 “一行”,内层切片的每一个元素则代表这一行里的 “一列单元格”。
接下来我们在当前工作目录下创建一个 users.csv 文件,写入以下 3 行数据并保存。其中第 1 条记录的地址带有英文逗号,后面的示例 2 也会共用这个文件:
姓名,年龄,地址
Jack,20,"北京,朝阳"
Lucy,18,上海示例 1:一次性读取 CSV 文件
package main
import (
"encoding/csv"
"fmt"
"os"
)
func main() {
// 打开 CSV 文件
f, err := os.Open("users.csv")
if err != nil {
fmt.Println("打开文件失败:", err)
return
}
defer f.Close()
// 创建读取器并一次性读取所有行
reader := csv.NewReader(f)
records, err := reader.ReadAll()
if err != nil {
fmt.Println("读取 CSV 失败:", err)
return
}
if len(records) == 0 {
fmt.Println("CSV 文件为空")
return
}
// 打印第 0 行表头
fmt.Println("表头:", records[0])
// 跳过表头,遍历后面的数据行
for _, row := range records[1:] {
fmt.Printf("姓名:%s, 年龄:%s, 地址:%s\n", row[0], row[1], row[2])
}
}运行结果如下。
表头:[姓名 年龄 地址]
姓名:Jack, 年龄:20, 地址:北京,朝阳
姓名:Lucy, 年龄:18, 地址:上海分析:
在这个例子中,reader.ReadAll() 将 users.csv 解析成了一个二维字符串切片 records。取出表头前我们先判断了 len(records) == 0,这样可以防止遇到空文件时直接访问 records[0] 引发下标越界。
确认非空后,我们通过 records[1:] 跳过第 0 行表头,再用 row[0]、row[1]、row[2] 依次取出每一行的姓名、年龄和地址。
同时小伙伴们可以看到,虽然 "北京,朝阳" 中间带有英文逗号,但因为外层包了双引号,并没有切错列。reader.ReadAll() 会自动去掉外层包裹用的双引号,把它完整保留在第 3 列 row[2] 中。
注意: 从 CSV 文件中读取出来的每一列单元格数据,比如上面的年龄 "20" 和 "18",在 Go 语言中全部都是 string 字符串类型。如果我们需要拿里面的数字做算术运算或大小比较,需要先使用 strconv.Atoi() 将其转换为整数才行。
Read() 逐行读取
如果遇到包含几十万行甚至上百万行数据的大型 CSV 文件,调用 ReadAll() 一次性全部装进内存会消耗大量内存空间。此时,我们可以在 for 循环中调用 reader.Read() 方法,一行一行地流式读取数据。
语法:
row, err := reader.Read()说明:
每次调用 reader.Read() 只会往后读取一行记录,并返回一个代表当前行各个单元格的一维字符串切片 []string 和错误值 err。当读到文件末尾没有更多行时,reader.Read() 会返回 io.EOF,我们判断 err == io.EOF 即可使用 break 退出循环。
示例 2:逐行读取 CSV 文件
package main
import (
"encoding/csv"
"fmt"
"io"
"os"
)
func main() {
f, err := os.Open("users.csv")
if err != nil {
fmt.Println("打开失败:", err)
return
}
defer f.Close()
reader := csv.NewReader(f)
// 循环逐行读取
for {
row, err := reader.Read()
if err == io.EOF {
break // 读到文件末尾,退出循环
}
if err != nil {
fmt.Println("读取出错:", err)
return
}
fmt.Printf("读取到一行:%v\n", row)
}
}运行结果如下。
读取到一行:[姓名 年龄 地址]
读取到一行:[Jack 20 北京,朝阳]
读取到一行:[Lucy 18 上海]分析:
继续读取前面准备好的 users.csv 时,每次循环调用 reader.Read() 只会把当前这一行加载到一维切片 row 中,处理完就会进入下一轮循环。因此不管 CSV 文件有多大,程序的内存占用都能保持在很低的水平。
小伙伴们在逐行读取时如果想跳过第 1 行表头,只需要在进入 for 循环之前,先单独调用一次 reader.Read() 把表头读走就可以了,如下所示:
reader := csv.NewReader(f)
// 先读走第 1 行表头
if _, err := reader.Read(); err != nil {
return
}
for {
row, err := reader.Read()
if err == io.EOF {
break
}
// 后续循环只处理正式数据行
}提示:
- 自定义分隔符:
csv.NewReader()默认按英文逗号(,)分隔单元格。如果遇到用分号或制表符分隔的表格文件,我们在读取前设置reader.Comma = ';'或reader.Comma = '\t'就可以了。 - 允许每行列数不齐:
encoding/csv默认要求每一行的列数与第 1 行一致,否则会报wrong number of fields错误。如果表格中确实存在缺列或长短不一的行,可以在读取前设置reader.FieldsPerRecord = -1放宽校验。 - 处理 Excel 导出的隐藏 BOM 头:读取 Windows 版 Excel 保存的 UTF-8 CSV 时,首行首列开头可能暗藏看不见的 BOM 字符
"\ufeff",导致records[0][0] == "姓名"判断为false。我们用 strings.TrimPrefix() 把它去掉即可,如strings.TrimPrefix(records[0][0], "\ufeff")。
