Zstd 压缩算法


简介

最近维护一个老的缓存系统,使用RUST语音实现,底层使用磁盘缓存。因为人员离职,打算用JAVA/KOTLIN 重新实现一遍。

考虑到历史缓存数量比较大,采用灰度模式,复用历史缓存,只是程序改成JAVA版本。刚刚开始一切比较顺利,但是上线以后显示历史缓存错误,比如hash不一样。

仔细翻看历史代码,底部存储使用了一种叫做zstd的一种压缩算法,找找资料,发现这个还挺牛的,特记录下。

Zstd,全称 Zstandard,是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同,Zstd 寻求一种压缩性能与压缩率通吃的方案,而实际上它也确实做到了。在由官方所列出的表格中,可以看到,Zstd 不仅具备优秀的压缩性能,在压缩率上也有非常亮眼的表现。官方资料

Zstd-jni

Zstd-jni,顾名思义,是基于 Zstd 本地库实现的 Java 调用接口。它支持通过 Java 语言实现 Zstd 的压缩与解压缩。

在 Zstd-jni 的三方包中,主要实现了以下功能:

  • 提供静态的压缩与解压缩方法
  • 支持压缩数据的流式传输
  • 支持字典文件的训练与添加

代码示例

添加依赖

// https://github.com/luben/zstd-jni
implementation("com.github.luben:zstd-jni:1.4.9-5")

读取历史文件,解压数据,写入到新文件。

private fun convertOldToNew(file: File, path: String): File {
    val src = file.inputStream().use { it.readBytes() }
    // 真坑,还要给大小
    val size = when {
        src.size < 10_000 -> src.size * 2
        src.size < 100_000 -> src.size * 3
        else -> src.size * 4
    }
    val dst = ByteArray(size)
    val len = Zstd.decompress(dst, src)

    val newFile = File(config.cacheDirFile(), path).apply { parentFile.mkdirs() }
    newFile.outputStream().use { it.write(dst, 0, len.toInt()) }

    log.error("convert old $file >>> $newFile, $len / ${file.length()}")
    return newFile
}

Zstd Java Sdk 的版本就比较坑了,解压的时候,还需要给出大小。


文章作者: 流水不腐小夏
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 流水不腐小夏 !
  目录