GCS 上传用于 Go SDK 中的分块?

2024年 2月 12日 33.8k 0

gcs 上传用于 go sdk 中的分块?

php小编柚子就GCS 上传用于 Go SDK 中的分块这个话题为大家简要介绍一下。GCS(Google Cloud Storage)是谷歌云平台提供的对象存储服务,可以用于存储和访问大量的非结构化数据。在使用 GCS 进行文件上传时,如果文件较大,可以使用分块上传的方式,这样可以提高上传的速度和稳定性。Go SDK 提供了相应的接口和方法,可以方便地实现分块上传的功能。通过这种方式,开发者可以更灵活地处理大文件的上传操作。

问题内容

我正在尝试使用 gcs writer 上传大文件:

bucketHandle := m.Client.Bucket(bucket)
objectHandle := bucketHandle.Object(path)
writer := objectHandle.NewWriter(context.Background())

登录后复制

然后对于大小为 n 的块,我调用 writer.write(mybuffer)。我在集群上看到一些内存不足的异常,并想知道这是否实际上只是将整个文件缓冲到内存中。这个操作的语义是什么,我是否误解了什么?

解决方法

是的,在代码中的每次 Write 调用之后,数据都会刷新到 GCS。 Write 方法返回写入的字节数、遇到的任何错误以及实际写入底层连接的字节数。每个块写入后,数据都会刷新到 GCS,因此客户端消耗的内存量应限制在缓冲区的大小内,在您的实例中,如果您将输入数据分块为 5 MB,则缓冲区的大小为 5 MB块并在循环中使用 Write。

以上就是GCS 上传用于 Go SDK 中的分块?的详细内容,更多请关注每日运维网(www.mryunwei.com)其它相关文章!

相关文章

JavaScript2024新功能:Object.groupBy、正则表达式v标志
PHP trim 函数对多字节字符的使用和限制
新函数 json_validate() 、randomizer 类扩展…20 个PHP 8.3 新特性全面解析
使用HTMX为WordPress增效:如何在不使用复杂框架的情况下增强平台功能
为React 19做准备:WordPress 6.6用户指南
如何删除WordPress中的所有评论

发布评论