10分钟搭建MySQL Binlog分析+可视化方案

  • 时间:
  • 浏览:3

每次用户登录,在 user_login 中新增四根记录,记录登录的ip、设备类型、时间信息

在配置页面中输入 binlog 埋点配置,如下:

接下来当.我当.我将演示怎样才能在10分钟内手把手完成从 binlog 埋点到查询、告警、搭建报表等全过程,满足各个老板们的需求:

在日志服务控制台创建一个 新的 Logstore,埋点向导中确定自建软件中的 Mysql binlog

统计省份分布(使用 ip_tp_province)

根据文档安装 logtail,确认版本号在0.16.0及以上。若低于0.16.0版本请根据文档提示升级到最新版本。

配置应用到机器组后,进入索引查询配置页面。在键值索引属性中配置以下索引项:





异常登录告警

若用户连续登录失败超过3次不可能 当前ip和上次登录ip不在 同一省,下次登录将弹出验证码

对异常登录进行告警

将该查询存为快速查询 abnormal_login,并设置告警。

仪表盘搭建参见日志服务仪表盘设置

本文来自云栖社区相互企业合作伙伴“数据和云”,了解相关信息都还还里能够关注“数据和云”。

每5分钟统计 UV&PV 分布

这里当.我当.我推荐使用方案 2+logtail binlog 埋点组成最优的方案3:用户最近一次登录信息依然保处于数据库中,通过 logtail 的 binlog 功能埋点 user_login 表,logtail 会将表中的每次修改事件上传到日志服务,日志服务中的数据可设置保存时间,超时自动删除。一起在日志服务中,都还还里能够对实时埋点上来的数据进行查询、统计、查看报表、监控报警,也支持将数据对接下游流计算、导入 Max Compute/OSS 等。

异常登录总要有误判的不可能 性,一些正常具体情况下会有少每段异常登录的具体情况,但异常登录占比要小于1%。这里当.我当.我为用户登录设置一个 异常登录的告警:若当异常登录占总登录的1%则触发告警。

数据库

对历史登录信息备份以备数据审计

根据上一节的统计结果,当.我当.我搭建出了用户登录信息的仪表盘,都还还里能够向 CEO 汇报了。

关键字段索引+统计设置

到一些步当.我当.我就都还还里能够满足客服和 BI 的需求了:查询/关联查询。这一:

MySQL Binlog 埋点

配置可视化仪表盘

方案2:

以下当.我当.我以用户登录数据库作为案例。公司内非常多的人员依赖于用户登录数据以及其衍生出来的相关数据:

用户登录表中记录了登录 id、登录时间、登录 ip、登录设备、用户 id、登录结果、连续登录失败次数、下一次校验类型等信息。其中登录验证规则如下:

数据备份

审计上门了,请把您3年前用户的登录数据拿下来吧?

建立索引

考虑到用户数量非常多,不可能 每次用户登录总要 user_login 中新增四根记录,数据量会非常大,没办法 来太多没办法 来太多没办法 来太多没办法 来太多每次用户登录时,只会根据 user_id 更新 update 表中的数据

统计一天的 UV&PV

客户小二接到用户反馈,怎样才能实时查询用户登录信息?

原文发布时间为:2018-05-2

应用配置1分钟后,点击预览都还还里能够看多具体情况数据不可能 埋点上来(logtail 的 binlog 埋点会额外上传数据操作类型、GTID 等信息):

在配置页面中输入 binlog 埋点配置,如下:一些请参考 binlog 埋点中使用限制

在配置页面中输入 binlog 埋点配置,如下:binlog 支持 IncludeTables 和 ExcludeTables 过滤,格式均为正则表达式

用户登录时表的更新方案



数据埋点

自定义查询与分析

在配置页面中输入 binlog 埋点配置,如下:注意:



对于方案1,优点是数据库中保存了所有用户的登录信息,缺点是 user_login 表会处于爆掉的间题,时要定期删除历史的数据;对于方案2,优点是 user_login 表的大小可控,缺点是会丢失历史用户的登录信息。

用户登录大盘搭建

若用户连续登录失败超过5次,则下次登录将使用手机验证码

不可能 原始的数据中没办法 用户登录的地理位置分布信息,但当.我当.我都还还里能够通过ip地址定位到用户登录的省市,这里当.我当.我使用日志服务自带的ip地址转换函数(具体参见分析语法IP识别函数章节)

对异常账号进行查询分析

查看登录设备分布

在配置页面中输入 binlog 埋点配置,如下:注意: 若无数据,请检查配置否有 为合法 json;若配置正常,请参考数据埋点异常排查文档自助排查

方案1:

用户登录表形态

用户登录数据,一般建议在日志服务存储一段时间(80天、五天、1年等)用于实时的查询和分析,但对于历史数据还时要保存下来,便于后续的审计、大数据挖掘与分析等。这里当.我当.我使用日志服务的投递功能,将数据投递到 OSS 进行长期的归档存储。审计员来了看多2个年前的数据总要!

安全要监控登录否有 异常,现在用户账户否有 遭到集体攻击?

在配置页面中输入 binlog 埋点配置,如下:对于修改的事件,Logtail 会一起埋点修改前和修改后的数据,修改前的数据以 old_开头。一些当.我当.我都还还里能够基于修改前后的数据对比查找登录ip变化的相关记录。

在配置页面中输入 binlog 埋点配置,如下:用户反馈当时人的账号被限制登录了,客服通过日志服务,查询该用户限制登录前的相关登录信息:login_id : 256525 | select ip_tp_province(login_ip) as login_province, login_result, count(1) as total group by (login_province,login_result) order by total desc limit 80,发现该用户在多个省异常登录失败了没办法 来太多没办法 来太多没办法 来太多没办法 来太多次。



安装 logtail

在配置页面中输入 binlog 埋点配置,如下:查询相关使用帮助参见日志服务查询

数据预览

老板要看大屏,每天 UV、PV 增长在哪里?

统计地理位置分布

本文作者:元乙

现在当.我当.我来搭建 CEO 要的大盘,先准备一些基础的统计信息:



正常具体情况只验证账号密码匹配

BI时要分析用户行为,数据分析怎样才能关联用户登录数据?

告警设置参见日志服务告警设置

日志服务最近在原有 80+ 种数据埋点渠道 基础上,新增 MySQL Binlog、MySQL select 等数据库方案,仍然主打快捷、实时、稳定、所见即所得的特点。

统计 top10 的 city(使用 ip_to_city)

用户登录大盘



环境准备

在配置页面中输入 binlog 埋点配置,如下:数据库开启 binlog 且为 ROW 模式(RDS 默认支持),使用的账户具有 mysql slave 权限以及时要埋点的数据表的 select 权限。

MySQL 类型数据库(使用 MySQL 协议,这一 RDS、DRDS 等),数据库开启 binlog,且配置 binlog 类型为 ROW 模式(RDS 默认开启)

埋点配置