You need to enable JavaScript to run this app.
导航

Proton 参数配置

最近更新时间2024.03.15 16:52:43

首次发布时间2024.02.04 13:37:55

1 Proton SDK相关参数

参数名参数值说明
fs.tos.http.maxConnections1024TOS Client 连接池的最大连接数,默认1024。

fs.tos.http.idleConnectionTimeMills

60000

TOS Client 连接池中空闲 HTTP 最长连接时间,默认60000 (单位:毫秒)

fs.tos.http.connectTimeoutMills

10000

TOS Client 建立连接超时时间,默认10000(单位:毫秒)。

fs.tos.http.readTimeoutMills30000TOS Client 读超时时间,默认30000(单位:毫秒)
fs.tos.http.writeTimeoutMills30000TOS Client 写超时时间,默认30000(单位:毫秒)
fs.tos.http.enableVerifySSLtrueTOS Client 是否开启 SSL 证书检验,默认为 true

fs.tos.http.dnsCacheTimeMinutes

0

TOS Client DNS 缓存有效期,小于等于 0 表示关闭 DNS 缓存,默认为0

fs.tos.request.max.retry.times20访问出错重试次数,包括限流,默认值20,如果数据量大,且带宽较小,请保持一个较大的参数值。

fs.tos.client.disable.cache

false

是否禁用 tos client cache,默认为 false,如果需要确保每一次发起 tos 的访问,都使用完全全新的 client,可配置成 true,禁用 cache

fs.tos.multipart.size

5242880

MPU 分片大小,默认 5242880 (单位:字节),即5MB。

fs.tos.multipart.threshold

10485760

文件上传时,当文件大小大于该阈值时,才会走 MPU,否则走 PUT,默认10485760 (单位:字节),即 10MB。

fs.tos.multipart.copy-threshold5242880文件重命名时,当文件大小大于该阈值时,才会走 UploadPartCopy 接口,否则就走 CopyObject 接口。默认 5242880 (单位:字节),即5MB。

fs.tos.task.thread-pool-size

当前机器 CPU 数量

要求正整数,表示用于执行 task(如并发 copy 文件)的线程池线程数量。

fs.tos.multipart.thread-pool-size当前机器 CPU 数量要求正整数,表示用于异步上传 TOS 数据分片的线程池线程数量。

fs.tos.list.batch-size

1000

要求正整数,表示每次调用 TOS Client list object 的最大个数,默认1000。

fs.job.committer.summary.report.directory

当设置有值时,会将 Job Committer commit job 时每个环节的日志写到指定的目录下,用于分析定位问题。样例:tos://test-bucket/report-dir。

fs.job.committer.threads当前机器 CPU 数量要求正整数,表示用于指定 commit 任务的线程池大小。

2 有缓存参数

2.1 Client配置项

参数名参数值说明
proton.metaserver.addresses-MetaServer rpc地址列表,多个MetaServer地址以逗号分隔,举例:ip1:port1,ip2:port2。
proton.client.data.read-timeout-ms60000(单位毫秒)读数据超时
proton.client.data.conn-pool-size256连接DataServer的TCP连接池大小
proton.client.data.conn-pool-ttl10000(单位毫秒)连接池中连接过期时间
proton.client.fallback.enabledtrue允许在读失败时fallback到其他DataServer或底层存储系统
proton.rpc.client.timeout-ms2147483647(单位毫秒)RPC超时时间
proton.rpc.client.debug.enabledfalse将MetaServer详细的error信息返回给client,适用于开发者和资深用户
proton.rpc.client.pool.max-connections128Client最大rpc连接数
proton.rpc.client.netty.eventloop-num4Client rpc netty线程数

2.2 MetaServer配置项

参数名参数值说明
proton.rpc.server.call-queues.num100Rpc调用队列数
proton.rpc.server.call-queue.length1024Rpc调用队列长度
proton.rpc.server.runner.threads24Rpc调用处理线程数

proton.metaserver.metastore.kvstore.rocksdb.data-dir

-

MetaServer rocksdb存储路径

proton.metaserver.bind-address0.0.0.0MetaServer bind地址
proton.metaserver.port10100MetaServer rpc端口
proton.metaserver.http.port10110MetaServer http端口

proton.metaserver.tos.{桶名称}.data-cache.allowlist

/

允许缓存数据到集群内的目录,存在此目录中的数据,将会在集群内进行缓存,默认所有文件都会被缓存。

proton.metaserver.tos..{桶名称}.data-cache.blacklist不允许缓存数据到集群内的目录,存在此目录中的数据,将不会在集群内进行缓存。

2.3 DataServer配置项

参数名参数值说明
proton.dataserver.bind-address0.0.0.0DataServer绑定地址
proton.dataserver.port10200DataServer数据传输端口
proton.dataserver.http.port10210DataServer http端口
proton.dataserver.ipc.port10220DataServer rpc端口
proton.dataserver.max-session-timeout30000(单位毫秒)DataServer心跳超时时间
proton.dataserver.check-expire-interval10000(单位毫秒)DataServer心跳超时检查周期
proton.dataserver.tick-time3000(单位毫秒)DataServer心跳周期
proton.dataserver.transfer-io.enabledtrue使用Java NIO做缓存数据传输,默认开启,传输效率更高
proton.dataserver.blockio.implio.proton.core.data.io.CacheBlockIOblockio实现类,默认会启用本地缓存
proton.dataserver.blockio.async-cachetrue异步缓存block数据到本地盘
proton.dataserver.io.socket.read-timeout-ms60000(单位毫秒)DataServer数据传输线程从client读request的超时
proton.dataserver.io.socket.write-timeout-ms240000(单位毫秒)DataServer数据传输线程写数据给client的超时
proton.dataserver.io.max-transfer-threads4096DataServer数据传输线程数上限
proton.dataserver.blockcache.implio.proton.core.data.cache.disk.MultiDiskBlockCache缓存类型,默认使用本地磁盘做缓存
proton.dataserver.blockcache.max-cache-size268435456本地磁盘缓存总大小,默认256MB。缓存空间会按比例分配给每一块本地盘。
proton.dataserver.blockcache.disk.data-dirs-缓存磁盘的路径,每个路径对应一块盘,多个路径以逗号分隔。例如:/data01/block,/data02/block。
proton.dataserver.blockcache.data-dirs-ratio-配置每块磁盘缓存空间占总缓存空间的比例,加和要等于1,默认是每块盘平均分。举例:0.5,0.5 或 0.2,0.2,0.6。
proton.dataserver.blockcache.max-used-ratio0.9缓存最大使用率,超过该值会触发缓存淘汰
proton.dataserver.blockcache.min-used-ratio0.85缓存最低使用率,低于该值会停止缓存淘汰
proton.dataserver.blockcache.reserved-ratio0.05缓存保留比例,剩余空间不足此比率时会停止缓存新数据
proton.dataserver.blockcache.async-evictiontrue启动异步驱逐
proton.dataserver.blockcache.flush-threads2缓存flush线程数,用于异步缓存数据
proton.dataserver.blockcache.max-retry-times5异步缓存最大重试次数