SPL数据处理案例概览
处理日期时间数据
| 案例名称 | 描述 |
|---|---|
| 日期时间对象和Unix时间戳的相互转换 | 使用SPL语句进行日期时间对象和Unix时间戳的相互转换 |
| 日期时间对象和日期时间字符串的相互转换 | 使用SPL语句进行日期时间对象和日期时间字符串的相互转换 |
数据过滤与清洗
| 案例名称 | 描述 |
|---|---|
| 过滤日志 | 使用SPL语句过滤数据 |
| 为日志空缺字段赋值 | 使用SSPL语句为日志空缺字段赋值 |
| 删除和重命名字段 | 使用SPL语句删除和重命名字段 |
| 转换日志参数类型 | 使用SPL语句转换日志参数类型 |
| 为日志不存在的字段填充默认值 | SPL语句为日志不存在的字段填充默认值 |
| 判断日志并增加字段 | 使用SPL语句判断日志并增加字段 |
解析CSV格式日志
| 案例名称 | 描述 |
|---|---|
| 正常形式的CSV格式日志 | 使用SPL语句处理正常形式的CSV格式日志 |
| 非正常形式的CSV格式日志 | 使用SPL语句处理非正常形式的CSV格式日志 |
解析Java报错日志
| 案例名称 | 描述 |
|---|---|
| 解析Java报错日志 | 使用SPL语句解析Java报错日志 |
提取字符串动态键值对
| 案例名称 | 描述 |
|---|---|
| 关键字提取 | 使用parse-kv函数提取关键字 |
| 值提取 | 使用parse-kv函数提取值 |
| 关键字加工 | 使用parse-kv函数提取键值对 |
| 值加工 | 使用parse-kv函数提取字段值 |
| 案例应用 | 使用parse-kv函数和parse-regexp解析url数据 |
解析Nginx日志
| 案例名称 | 描述 |
|---|---|
| 解析Nginx日志 | 使用正则表达式函数解析Nginx访问日志 |
数据脱敏
| 案例名称 | 描述 |
|---|---|
| 手机号脱敏 | 使用字符串替换函数对手机号进行脱敏 |
| 银行卡信息脱敏 | 使用字符串替换函数对银行卡信息进行脱敏 |
| 邮箱地址脱敏 | 使用字符串替换函数对邮箱地址进行脱敏 |
| AK脱敏 | 使用字符串替换函数对ip进行脱敏 |
| IP脱敏 | 使用字符串替换函数对AK进行脱敏 |
| 身份证脱敏 | 使用字符串替换函数对身份证进行脱敏 |
| 网址脱敏 | 使用字符串替换函数对网址进行脱敏 |
| 订单号脱敏 | 使用字符串替换函数对订单号进行脱敏 |
阿里云Flink SQL基于SPL实现
| 案例名称 | 描述 |
|---|---|
| 阿里云Flink SQL基于SPL实现行过滤 | 阿里云Flink SQL基于SPL实现行过滤 |
| 阿里云Flink SQL基于SPL实现列裁剪 | 通过阿里云Flink SQL基于SPL实现列裁剪 |
| 阿里云Flink SQL基于SPL实现弱结构化分析 | 阿里云Flink SQL基于SPL实现弱结构化分析 |
使用SDK基于SPL消费
| 案例名称 | 描述 |
|---|---|
| 使用Java SDK基于SPL消费 | 使用Java SDK基于SPL消费 |
| 使用Java消费组基于SPL消费日志 | 使用Java消费组基于SPL消费日志 |
| 使用Go SDK基于SPL消费 | Go SDK基于SPL消费 |
| 使用Go消费组基于SPL消费日志 | 使用Go消费组基于SPL消费日志 |