[node] Node.js 缓冲区Buffer

什么是Buffer

JavaScript 语言自身只有字符串数据类型，没有二进制数据类型。

但在处理像TCP流或文件流时，必须使用到二进制数据。因此在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。

在 Node.js 中，Buffer 类是随 Node 内核一起发布的核心库。Buffer 库为 Node.js 带来了一种存储原始数据的方法，可以让 Node.js 处理二进制数据，每当需要在 Node.js 中处理I/O操作中移动的数据时，就有可能使用 Buffer 库。原始数据存储在 Buffer 类的实例中。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。

在v6.0之前创建Buffer对象直接使用new Buffer()构造函数来创建对象实例，但是Buffer对内存的权限操作相比很大，可以直接捕获一些敏感信息，所以在v6.0以后，官方文档里面建议使用 Buffer.from() 接口去创建Buffer对象。

Buffer 与字符编码

Buffer 实例一般用于表示编码字符的序列，比如 UTF-8 、 UCS2 、 Base64 、或十六进制编码的数据。 通过使用显式的字符编码，就可以在 Buffer 实例与普通的 JavaScript 字符串之间进行相互转换。

const buf = Buffer.from("test", "ascii");
console.log(buf.toString("hex"));// 输出 74657374
console.log(buf.toString("base64"));// 输出 dGVzdA==

Node.js 目前支持的字符编码包括：

• ascii - 仅支持 7 位 ASCII 数据。如果设置去掉高位的话，这种编码是非常快的。
• utf8 - 多字节编码的 Unicode 字符。许多网页和其他文档格式都使用 UTF-8 。
• utf16le - 2 或 4 个字节，小字节编码的 Unicode 字符。支持代理对（U+10000 至 U+10FFFF）。
• ucs2 - utf16le 的别名。
• base64 - Base64 编码。
• latin1 - 一种把 Buffer 编码成字节编码的字符串的方式。
• binary - latin1 的别名。
• hex - 将每个字节编码为两个十六进制字符。

Buffer 的方法概览

写在前面，下面所有方法中：

• 以LE结尾的API，指定使用endian (Little-Endian)字节序格式读取或写入
• 以BE结尾的API，指定使用endian (Bid-Endian)字节序格式读取或写入

Buffer 的实例

Buffer 的创建

• Buffer.alloc(size[, fill[, encoding]])： 返回一个size大小的 Buffer 实例，如果没有设置 fill，则默认填满 0
• Buffer.allocUnsafe(size)： 返回一个指定大小的 Buffer 实例，但是它不会被初始化，所以它可能包含敏感的数据
• Buffer.allocUnsafeSlow(size)
• Buffer.from(array)： 返回一个被 array 的值初始化的新的 Buffer 实例（传入的 array 的元素只能是数字，不然就会自动被 0 覆盖）
• Buffer.from(arrayBuffer[, byteOffset[, length]])： 返回一个新建的与给定的 ArrayBuffer 共享同一内存的 Buffer。
• Buffer.from(buffer)： 复制传入的 Buffer 实例的数据，并返回一个新的 Buffer 实例
• Buffer.from(string[, encoding])： 返回一个被 string 的值初始化的新的 Buffer 实例

// 创建一个长度为 10、且用 0 填充的 Buffer。
const buf1 = Buffer.alloc(10);// 创建一个长度为 10、且用 0x1 填充的 Buffer。 
const buf2 = Buffer.alloc(10, 1);// 创建一个长度为 10、且未初始化的 Buffer。
// 这个方法比调用 Buffer.alloc() 更快，
// 但返回的 Buffer 实例可能包含旧数据， 因此需要 fill() 或 write() 重写。
const buf3 = Buffer.allocUnsafe(10);// 创建一个包含 [0x1, 0x2, 0x3] 的 Buffer。
const buf4 = Buffer.from([1, 2, 3]);// 创建一个包含 UTF-8 字节 [0x74, 0xc3, 0xa9, 0x73, 0x74] 的 Buffer。
const buf5 = Buffer.from('test');// 创建一个包含 Latin-1 字节 [0x74, 0xe9, 0x73, 0x74] 的 Buffer。
const buf6 = Buffer.from('test', 'latin1');

写入缓冲区

buf.write(string[, offset[, length]][, encoding])

根据 encoding 的字符编码写入 string 到 buf 中的 offset 位置。 length 参数是写入的字节数。 如果 buf 没有足够的空间写入整个字符串，则只会写入 string 的一部分。 只部分解码的字符不会被写入.该方法返回实际写入的大小。如果 buffer 空间不足， 则只会写入部分字符串。

• string:写入缓冲区的字符串
• offset:偏移量，缓冲区开始写入的索引值，默认为 0
• length：写入的字节数，默认 buffer.length
• encoding：编码方式，默认utf8

返回实际写入的大小!!!如果 buffer 空间不足， 则只会写入部分字符串

const buf = Buffer.alloc(256);
const len = buf.write("TestDemo1");
console.log(len); // 输出 9
console.log(buf.length); // 输出 256

请注意，上述实例write函数的返回值len是实际的大小，而buf.length则是缓冲区的大小

从 Buffer 区读取数据

buf.toString([encoding[, start[, end]]])

解码缓冲区数据并使用指定的编码返回字符串

• encoding：编码方式，默认utf8
• start:指定开始读取的索引位置，默认为 0
• end: 结束位置，默认为缓冲区的末尾

const buf = Buffer.alloc(256);
const len = buf.write("TestDemo1");
console.log(len); // 输出 9
console.log(buf.length); // 输出 256
const buf1 = Buffer.alloc(3);
buf1.write("TestDemo1");
console.log(buf1.toString()); // 输出 Tes

将 Buffer 转换为 JSON 对象

buf.toJSON()

将 Node Buffer 转换为 JSON 对象,返回 JSON 对象。

const buf = Buffer.alloc(3);
const len = buf.write("3");;
console.log(buf.toJSON()); // 输出 { type: 'Buffer', data: [ 51, 0, 0 ] }

Buffer 的合并

Buffer.concat(list[, totalLength])

Node 缓冲区合并,返回一个多个成员合并的新 Buffer 对象。

• list : 用于合并的 Buffer 对象数组列表
• totalLength : 指定合并后Buffer对象的总长度

var buffer1 = Buffer.from("demo1");
var buffer2 = Buffer.from("test2");
var buffer3 = Buffer.concat([buffer1, buffer2]);
var buffer4 = Buffer.concat([buffer1, buffer2],4);
console.log(buffer3.toString()); //demo1test2
console.log(buffer4.toString()); //demo

Buffer 的比较

buf.compare(otherBuffer);

Node Buffer 比较,返回一个数字，表示 buf 若与 otherBuffer 第一个字符相匹配返回-1；若是完全匹配返回0；其它从中间开始匹配，或者匹配不上返回1

这个方法是按位比较的

• otherBuffer: 与 buf 对象比较的另外一个 Buffer 对象

var buffer2 = Buffer.from("ABCD");var buffer1 = Buffer.from("AB");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 -1var buffer1 = Buffer.from("B");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1var buffer1 = Buffer.from("E");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1var buffer1 = Buffer.from("AE");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 1var buffer1 = Buffer.from("ABCD");
var result = buffer1.compare(buffer2);
console.log(result); // 输出 0

Buffer 的覆盖

buf.copy(targetBuffer[, targetStart[, sourceStart[, sourceEnd]]])

截取缓冲区 buf指定长度的内容复制到targetBuffer的指定位置,没有返回值

• targetBuffer:要被覆盖的 Buffer 对象
• targetStart:覆盖 Buffer 对象指定开始覆盖的索引位置，默认为 0
• sourceStart: 用于覆盖的Buffer对象的指定开始位置，默认为 0
• sourceEnd: 用于覆盖的Buffer对象的指定结束位置，默认: buffer.length

var buf1 = Buffer.from("abcdefghijkl");
var buf2 = Buffer.from("RUNOOB");//将 buf2 插入到 buf1 指定位置上
buf2.copy(buf1, 2, 0, 2);console.log(buf1.toString());//abRUefghijkl
console.log(buf2.toString());//RUNOOB

Buffer 的截取–slice

buf.slice([start[, end]])

返回指定区间内的缓冲区，它和旧缓冲区指向同一块内存，从索引 start 到 end 的位置区间.被截取缓冲区不变

• start:数字, 可选, 默认 0
• end: 数字, 可选, 默认 buffer.length

var buffer1 = Buffer.from("Test");
// 剪切缓冲区
var buffer2 = buffer1.slice(0, 2);
var buffer3 = Buffer.from("M");
buffer3.copy(buffer1);
console.log(buffer2.toString());//Me
console.log(buffer1.toString());//Mest

Buffer 的长度

const buf = Buffer.from("Test");
console.log(buf.length); // 输出 4
const buf1 = Buffer.from("TestDemo1");
console.log(buf1.length); // 输出 9

writeUIntLE

const buf = Buffer.allocUnsafe(6);
buf.writeUIntLE(0x1234567890ab, 0, 6);
// 输出: <Buffer ab 90 78 56 34 12>
console.log(buf);

writeUIntBE

const buf = Buffer.allocUnsafe(6);
buf.writeUIntBE(0x1234567890ab, 0, 6);
// 输出: <Buffer 12 34 56 78 90 ab>
console.log(buf);