通过实践来聊聊利用Node怎么实现内容压缩

广告:宝塔Linux面板高效运维的服务器管理软件 点击【 https://www.bt.cn/p/uNLv1L 】立即购买

通过实践来聊聊利用Node怎么实现内容压缩

利用Nodejs怎么实现内容压缩?下面本篇文章给大家通过实践来聊聊Node侧实现内容压缩(gzip/br/deflate)的方法,希望对大家有所帮助!

在查看自己的应用日志时,发现进入日志页面后总是要几秒钟才会加载(接口没做分页),于是打开网络面板查看

这才发现接口返回的数据都没有被压缩,本以为接口用Nginx反向代理了,Nginx会自动帮我做这一层(这块后面探究一下,理论上是可行的)

这里的后端是 Node 服务

本文就分享一下 HTTP数据压缩相关知识以及在Node侧的实践

前置知识

下面的客户端均指浏览器

accept-encoding

客户端在向服务端发起请求时,会在请求头(request header)中添加accept-encoding字段,其值标明客户端支持的压缩内容编码格式

content-encoding

服务端在对返回内容执行压缩后,通过在响应头(response header)中添加content-encoding,来告诉浏览器内容实际压缩使用的编码算法

deflate/gzip/br

deflate是同时使用了LZ77算法与哈夫曼编码(Huffman Coding)的一个无损数据压缩算法。

gzip 是基于 DEFLATE 的算法

br指代Brotli,该数据格式旨在进一步提高压缩比,对文本的压缩相对deflate能增加20%的压缩密度,而其压缩与解压缩速度则大致不变

zlib模块

Node.js包含一个zlib 模块,提供了使用 GzipDeflate/Inflate、以及 Brotli 实现的压缩功能

这里以gzip为例分场景列举多种使用方式,Deflate/InflateBrotli使用方式一样,只是API不一样

基于stream的操作

基于buffer的操作

引入几个所需的模块

const zlib = require('zlib')const fs = require('fs')const stream = require('stream')const testFile = 'tests/origin.log'const targetFile = `${testFile}.gz`const decodeFile = `${testFile}.un.gz`
登录后复制文件的解/压缩

解/压缩结果查看,这里使用du指令直接统计解压缩前后结果

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests
登录后复制基于流(stream)的操作

使用createGzipcreateUnzip

注:所有 zlib API,除了那些显式同步的 API,都使用 Node.js 内部线程池,可以看做是异步的因此下面的示例中的压缩和解压代码应分开执行,否则会报错

方式1: 直接利用实例上的pipe方法传递流

// 压缩const readStream = fs.createReadStream(testFile)const writeStream = fs.createWriteStream(targetFile)readStream.pipe(zlib.createGzip()).pipe(writeStream)// 解压const readStream = fs.createReadStream(targetFile)const writeStream = fs.createWriteStream(decodeFile)readStream.pipe(zlib.createUnzip()).pipe(writeStream)
登录后复制

方式2: 利用stream上的pipeline,可在回掉中单独做其它的处理

// 压缩const readStream = fs.createReadStream(testFile)const writeStream = fs.createWriteStream(targetFile)stream.pipeline(readStream, zlib.createGzip(), writeStream, err => {    if (err) {        console.error(err);    }})// 解压const readStream = fs.createReadStream(targetFile)const writeStream = fs.createWriteStream(decodeFile)stream.pipeline(readStream, zlib.createUnzip(), writeStream, err => {    if (err) {        console.error(err);    }})
登录后复制

方式3: Promise化pipeline方法

const { promisify } = require('util')const pipeline = promisify(stream.pipeline)// 压缩const readStream = fs.createReadStream(testFile)const writeStream = fs.createWriteStream(targetFile)pipeline(readStream, zlib.createGzip(), writeStream)    .catch(err => {        console.error(err);    })// 解压const readStream = fs.createReadStream(targetFile)const writeStream = fs.createWriteStream(decodeFile)pipeline(readStream, zlib.createUnzip(), writeStream)    .catch(err => {        console.error(err);    })
登录后复制基于Buffer的操作

利用 gzipunzip API,这两个方法包含同步异步类型

压缩gzipgzipSync解压unzipunzipSync

方式1:readStreamBuffer,然后进行进一步操作

gzip:异步
// 压缩const buff = []readStream.on('data', (chunk) => {    buff.push(chunk)})readStream.on('end', () => {    zlib.gzip(Buffer.concat(buff), targetFile, (err, resBuff) => {        if(err){            console.error(err);            process.exit()        }        fs.writeFileSync(targetFile,resBuff)    })})
登录后复制gzipSync:同步
// 压缩const buff = []readStream.on('data', (chunk) => {    buff.push(chunk)})readStream.on('end', () => {    fs.writeFileSync(targetFile,zlib.gzipSync(Buffer.concat(buff)))})
登录后复制

方式2: 直接通过readFileSync读取

// 压缩const readBuffer = fs.readFileSync(testFile)const decodeBuffer = zlib.gzipSync(readBuffer)fs.writeFileSync(targetFile,decodeBuffer)// 解压const readBuffer = fs.readFileSync(targetFile)const decodeBuffer = zlib.gzipSync(decodeFile)fs.writeFileSync(targetFile,decodeBuffer)
登录后复制文本内容的解/压缩

除了对文件压缩,有时候也许要对传输的内容进行直接进行解压缩

这里以压缩文本内容为例

// 测试数据const testData = fs.readFileSync(testFile, { encoding: 'utf-8' })
登录后复制基于流(stream)操作

这块就考虑 string => buffer => stream的转换就行

string => buffer

const buffer = Buffer.from(testData)
登录后复制登录后复制

buffer => stream

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests0
登录后复制

这里以写入到文件示例,当然也可以写到其它的流里,如HTTP的Response(后面会单独介绍)

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests1
登录后复制基于Buffer操作

同样利用Buffer.from将字符串转buffer

const buffer = Buffer.from(testData)
登录后复制登录后复制

然后直接使用同步API进行转换,这里result就是压缩后的内容

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests3
登录后复制

可以写入文件,在HTTP Server中也可直接对压缩后的内容进行返回

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests4
登录后复制Node Server中的实践

这里直接使用Node中 http 模块创建一个简单的 Server 进行演示

在其他的 Node Web 框架中,处理思路类似,当然一般也有现成的插件,一键接入

# 执行du -ah tests# 结果如下108K    tests/origin.log.gz2.2M    tests/origin.log2.2M    tests/origin.log.un.gz4.6M    tests5
登录后复制

更多node相关知识,请访问:nodejs 教程!

以上就是通过实践来聊聊利用Node怎么实现内容压缩的详细内容,更多请关注9543建站博客其它相关文章!

广告:SSL证书一年128.66元起,点击购买~~~

9543建站博客
一个专注于网站开发、微信开发的技术类纯净博客。
作者头像
admin创始人

肥猫,知名SEO博客站长,14年SEO经验。

上一篇:自适应网站是什么意思
下一篇:探讨UniApp如何设置组件的宽度

发表评论

关闭广告
关闭广告