网心-Apana基于openResty的http数据上报系统
角色
设计开发负责人
背景
为支持sdk上报,web上报,小程序上报,插件上报,模调上报,快速数据上报开发的快速灵活的数据接入方式
开发工具
- 后端开发语言:lua
- 后端程序组件:openResty
整体架构
功能模块
- 单条上报/批量上报
- ip解析,uri解析
- post多种数据格式支持
- lz4,zlib压缩接入
- 数据加密和签名
- 请求限流
- 请求统计
- 日志自定义输出
- 监控告警,自动重启,拨测
- 跨域
使用情况
系统接入90多个接口,覆盖多个业务模块
写入140个表,峰值每分钟5000万请求, 1.6亿条数据
每天450亿次请求,1200多亿记录
单机QPS平均2w/s,支撑了千万级sdk的上报