feat: 添加 Kafka 消费者和消息处理功能

- 新增 Kafka 消费者实现,支持消息处理和错误处理。
- 实现 OffsetTracker 类,用于跟踪消息偏移量。
- 新增消息解析和数据库插入逻辑,支持从 Kafka 消息构建数据库行。
- 实现 UDP 数据包解析功能,支持不同类型的 UDP 消息。
- 新增 Redis 错误队列处理,支持错误重试机制。
- 实现 Redis 客户端和集成类,支持日志记录和心跳机制。
- 添加 Zod 验证模式,确保 Kafka 消息有效性。
- 新增日志记录和指标收集工具,支持系统监控。
- 添加 UUID 生成工具,支持唯一标识符生成。
- 编写处理器逻辑的单元测试,确保功能正确性。
- 配置 Vite 构建工具,支持 Node.js 环境下的构建。
This commit is contained in:
2026-03-14 17:33:19 +08:00
parent d62f83b4a4
commit 677dda80b9
101 changed files with 14904 additions and 0 deletions

View File

@@ -0,0 +1,66 @@
import dotenv from 'dotenv';
import kafka from 'kafka-node';
dotenv.config();
const probeTs = Number(process.argv[2] || Date.now());
const probeRoom = process.argv[3] || `PROBE-${probeTs}`;
const probeHotelId = Number(process.argv[4] || 1085);
const topic = process.env.KAFKA_TOPIC || process.env.KAFKA_TOPICS || 'blwlog4Nodejs-rcu-register-topic';
const kafkaHost = (process.env.KAFKA_BROKERS || '').split(',').map((s) => s.trim()).filter(Boolean).join(',');
const saslEnabled = process.env.KAFKA_SASL_ENABLED === 'true';
const sslEnabled = process.env.KAFKA_SSL_ENABLED === 'true';
const kafkaClientOptions = {
kafkaHost,
clientId: process.env.KAFKA_CLIENT_ID || 'bls-register-producer'
};
if (saslEnabled && process.env.KAFKA_SASL_USERNAME && process.env.KAFKA_SASL_PASSWORD) {
kafkaClientOptions.sasl = {
mechanism: process.env.KAFKA_SASL_MECHANISM || 'plain',
username: process.env.KAFKA_SASL_USERNAME,
password: process.env.KAFKA_SASL_PASSWORD
};
}
if (sslEnabled) {
kafkaClientOptions.sslOptions = { rejectUnauthorized: false };
}
const payload = {
ts_ms: probeTs,
upgrade_ts_ms: probeTs + 1234,
hotel_id: Number.isFinite(probeHotelId) ? probeHotelId : 1085,
room_id: probeRoom,
device_id: `probe-device-${probeTs}`,
is_send: 0,
udp_raw: 'abc\u0000def',
extra: { source: 'probe', note: 'with\\u0000nul' },
app_version: 'v1\u0000.2',
launcher_version: 'launcher-1',
config_version: 'cfg-1'
};
const client = new kafka.KafkaClient(kafkaClientOptions);
const producer = new kafka.Producer(client);
producer.on('ready', () => {
producer.send(
[{ topic, messages: JSON.stringify(payload) }],
(err) => {
if (err) {
console.error(`[probe] publish failed: ${err.message}`);
process.exit(1);
}
console.log(`[probe] published topic=${topic} ts_ms=${probeTs} hotel_id=${payload.hotel_id} room_id=${probeRoom}`);
producer.close(() => client.close(() => process.exit(0)));
}
);
});
producer.on('error', (err) => {
console.error(`[probe] producer error: ${err.message}`);
process.exit(1);
});