feat: 增加批量处理和数据库离线恢复机制以提升可靠性
- 新增 BatchProcessor 类实现消息批量插入,提高数据库写入性能 - 在 consumer 中禁用 autoCommit 并实现手动提交,确保数据一致性 - 添加数据库健康检查机制,在数据库离线时暂停消费并自动恢复 - 支持 0x0E 命令字处理,扩展消息类型识别范围 - 增加数据库连接重试逻辑,解决 Windows 环境端口冲突问题 - 更新环境变量配置,优化 Kafka 消费者参数 - 添加相关单元测试验证批量处理和可靠性功能
This commit is contained in:
@@ -6,7 +6,9 @@ NODE_ENV=development
|
||||
KAFKA_BROKERS=localhost:9092
|
||||
KAFKA_TOPIC=my-topic-name
|
||||
KAFKA_GROUP_ID=my-group-id
|
||||
KAFKA_CLIENT_ID=my-client-id
|
||||
KAFKA_CLIENT_ID=bls-rcu-action-client
|
||||
KAFKA_AUTO_COMMIT=false
|
||||
KAFKA_AUTO_COMMIT_INTERVAL_MS=5000
|
||||
KAFKA_CONSUMER_INSTANCES=1
|
||||
# KAFKA_SASL_USERNAME=
|
||||
# KAFKA_SASL_PASSWORD=
|
||||
|
||||
Reference in New Issue
Block a user