|
|
f59000f5ef
|
feat: 移除服务中的运行时代码数据库初始化与分区维护逻辑，外部化相关功能并新增 SQL 脚本支持
|
2026-03-04 11:49:20 +08:00 |
|
|
|
3b98c6239b
|
feat: 移除运行时代码中的数据库初始化与分区维护逻辑
- 新增备份 SQL 脚本 `01_init_schema.sql` 和 `02_create_partitions.sql`，用于数据库结构初始化和分区预创建。
- 新增 Node.js 脚本 `run_init.js` 和 `run_ensure_partitions.js`，支持通过外部程序调用进行数据库初始化和分区维护。
- 确保数据库初始化脚本支持幂等重复执行。
- 更新文档，说明新的执行顺序和使用方法。
- 移除运行时相关的数据库初始化和分区维护配置，简化服务职责。
- 保留写入失败时的缺分区兜底逻辑，确保服务稳定性。
|
2026-03-04 11:47:22 +08:00 |
|
|
|
c0cdc9ea66
|
feat: 更新 Kafka 配置和数据库管理逻辑
- 在 .env.example 中添加 Kafka 配置项：KAFKA_FETCH_MAX_BYTES, KAFKA_FETCH_MIN_BYTES, KAFKA_FETCH_MAX_WAIT_MS。
- 删除 room_status_sync 提案及相关文档。
- 删除 fix_uint64_overflow 提案及相关文档。
- 更新数据库管理器以支持使用 COPY 语句进行高效数据写入，替换批量 INSERT 逻辑。
- 实现心跳数据的整数溢出处理，确保无效数据被持久化到 heartbeat_events_errors 表。
- 更新处理器规范，确保心跳数据成功写入历史表后触发 room_status 同步。
- 添加新文档，描述新的分区方法案例。
- 归档旧的提案和规范文档以保持项目整洁。
|
2026-03-03 18:22:12 +08:00 |
|
|
|
d0c4940e01
|
feat: 处理整数溢出并持久化无法处理的数据
- 更新 heartbeatProcessor.js 以处理所有数字溢出类型（int16、int32、int64）并使用二进制补码。
- 防止仅与数据相关的 PostgreSQL 失败抛出个别回退错误。
- 在 databaseManager.js 中添加 insertHeartbeatEventsErrors 方法以存储被拒绝的记录。
- 更新 heartbeatProcessor.js 中的 _emitRejectedRecord 方法，直接将所有无法处理的心跳数据写入 heartbeat_events_errors 数据库。
- 更新 openspec 规范以支持新的溢出和验证回退状态。
- 添加测试文件以验证大整数处理。
|
2026-03-02 10:49:02 +08:00 |
|
|
|
e44cf10a82
|
feat(processor): 同步心跳数据到 room_status 表
- 在 HeartbeatProcessor 中新增异步同步逻辑，在历史表写入成功后尝试更新 room_status 表
- 实现 DatabaseManager.upsertRoomStatus 方法，支持批量更新和自动分区创建
- 添加批次内去重逻辑，避免 PostgreSQL ON CONFLICT 冲突
- 新增相关文档：同步方案、测试报告和提案说明
|
2026-02-06 15:15:03 +08:00 |
|
|
|
d10bedb7e7
|
docs: 归档心跳数组扩展任务并更新规范文档
将已完成的任务清单、提案及规范从变更目录移至归档目录，并更新主规范文档以包含新增的数组字段与处理要求。这标志着该功能变更已从开发阶段进入完成归档阶段。
|
2026-02-03 08:41:40 +08:00 |
|
|
|
455185ac5d
|
feat: 扩展心跳消息支持电力与空调设备数组字段
新增 Kafka 消息中 electricity[] 和 air_conditioner[] 数组字段支持，用于存储电力与空调设备明细数据。数据库表新增对应数组列并创建 GIN 索引优化查询性能，processor 实现数组字段校验与聚合转换逻辑。
主要变更：
- Kafka 消息规范新增 electricity 和 air_conditioner 数组字段定义
- 数据库 heartbeat_events 表新增 14 个数组列并创建 4 个 GIN 索引
- processor 实现数组字段解析、校验及聚合转换逻辑
- 更新相关文档与测试用例，确保端到端功能完整
|
2026-01-16 14:45:36 +08:00 |
|
|
|
7d5b9c50ea
|
refactor(openspec): 归档心跳数据库v2更新相关文档
将update-heartbeat-db-v2目录下的文档迁移至archive目录
更新specs目录下的相关规范文件以反映最新变更
|
2026-01-14 19:38:02 +08:00 |
|
|
|
910f1c353f
|
feat: 实现Redis集成与Kafka消息处理优化
- 新增Redis集成模块，支持心跳写入与控制台日志队列
- 优化Kafka消费者实现，支持多实例与自动重连
- 改进消息处理器，支持批量处理与多层解码
- 更新数据库表结构，调整字段类型与约束
- 添加Redis与Kafka的配置项和环境变量支持
- 补充测试用例和文档说明
|
2026-01-14 17:58:45 +08:00 |
|
|
|
eb94aaf92b
|
feat: 升级心跳数据库为高吞吐日分区模型（v2）
- 新增 heartbeat 数据库与表结构文档，描述心跳明细表设计及字段约束。
- 新增 OpenSpec 符合性说明文档，指出与规范的一致点及偏差。
- 新增 Kafka 心跳数据推送说明文档，定义消息格式与推送方式。
- 更新数据库创建脚本，支持 UTF-8 编码与中文排序规则。
- 更新心跳表结构脚本，定义主表及索引，采用 ts_ms 日分区。
- 实现自动分区机制，确保按天创建分区以支持高吞吐写入。
- 添加数据库应用脚本，自动执行 SQL 文件并验证表结构。
- 添加运行时烟雾测试脚本，验证数据库连接与基本操作。
- 添加完整的烟雾测试脚本，验证数据插入与分区创建。
|
2026-01-12 19:53:27 +08:00 |
|
