aswan 陌陌风控系统静态规则引擎

开源网站开源项目 24-03-29 13:50:15

aswan 是陌陌开发的风控系统静态规则引擎,零基础简易便捷的配置多种复杂规则,实时高效管控用户异常行为。

架构介绍

风控系统架构图

快速启动

本项目依赖redis, mysql, mongodb,因此需准备环境并更改配置项

    # 为了简单可以使用docker安装    # docker安装文档地址(以ubuntu为例): https://docs.docker.com/install/linux/docker-ce/ubuntu/    mongo: docker run -d --name mongo -v $HOME/docker_volumes/mongodb:/data/db  -p 27017:27017 mongo:latest    mysql: docker run -d --name mysql -e MYSQL_ROOT_PASSWORD=root -v $HOME/docker_volumes/mysql:/var/lib/mysql -v $HOME/docker_volumes/conf/mysql:/etc/mysql/conf.d -p 3306:3306 mysql:5.6    redis: docker run -d --name redis -p 6379:6379  -v $HOME/docker_volumes/redis:/var/lib/redis redis:latest

在mysql中创建risk_control库

    docker exec -it mysql mysql -h 127.0.0.1 -u root -p # 后续需输入密码 若以上述方式安装mysql,密码为root.    CREATE DATABASE risk_control CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; # 创建数据库时指定编码格式,规避乱码问题(注意: 此编码格式在mysql低版本上可能有兼容性问题)

安装所需依赖,本项目基于python2.7进行开发,可运行pip install -r requirements.txt安装依赖包

初始化django运行所需的表并创建账户,并可以预生成一些数据(可选)

    # 在www目录下    python manage.py makemigrations && python manage.py migrate    # 创建管理员账户  此处详见  其它操作--增加用户    python manage.py createsuperuser # 后续 依次输入用户名、密码、邮箱 即可创建一个管理员账号    # 如果希望对系统有一个直观的感受,可以使用如下指令来预注入一些数据    python manage.py init_risk_data

启动服务

    # 在aswan下以nohup的方式启动服务进程、管理后台、拦截日志消费进程    bash start.sh

后台介绍

名单管理

为名单型策略提供基础的数据管理功能。

名单数据的维度包括:用户ID、IP、设备号、支付账号、手机号。后续也可以根据自己的需求扩充其他的维度。

名单包含三个类型:黑、白、灰名单

名单必须属于某个项目(用于确定名单的范围),可以在名单管理-名单项目管理中添加项目。

名单管理

名单型策略

描述符为**{参数名:单选,假设是“用户ID”} {操作码:在/不在} {XX项目:单选,可选全局} 的 {维度:单选}{方向:黑/白/灰名单}**

示例:用户ID 在 初始项目 的 用户黑名单 中

名单型策略

布尔型策略

不传阈值的布尔型,描述符为{参数名:单选,假设是"账号ID"} {操作码:是/不是} {内置函数:异常用户}示例:账号ID是异常用户

传阈值的布尔型,描述符为{参数名:单选,假设是"账号ID"} {操作码:大于/小于/等于/不等于} {内置函数:历史登录次数} {阈值:170}示例:账号ID历史登录次数大于100

布尔型策略

内置函数是什么?就是自定义的一些逻辑判断函数,只需要满足要求返回布尔值即可。比如注册时间是否在某个范围以内,当前设备是否是常用设备。

时段频控型策略

描述符为同一 {计数维度:单选,假设是“设备”} 在 {时段:时间跨度} 内限制 {阈值:整数N} 次 某动作示例:同一设备一天内限制操作10次. 可是我怎么知道当前已经有多少次呢?这就需要上报,上报后将计数 详见第9条数据源管理

时段频控型策略

限用户数型策略

描述符为同一 {计数维度:单选,假设是“设备”} 在 {时段:时间跨度} 内限制 {阈值:整数N} 个用户

示例:同一设备当天限10个用户 此策略同样需要上报的数据,且由于与用户相关,因此上报数据中必须包含user_id字段(在数据源中需配置) 详见第9条数据源管理

限用户数型策略

规则管理

管控原子:命中某条策略后的管控动作,比如拦截... 把上面2--5中所述的策略原子按照优先级组合起来,由上向下执行,直到命中某条策略,则返回对应策略的管控原子。此模块更多是重交互,完成策略的配置、组合、权重等等

规则配置页

日志管理

所有命中策略的日志均在此展示,也会包含审计相关的日志,下一期会基于此日志,开放拦截溯源功能

命中日志

审计日志

权限配置

供权限设置使用,精确限定某个用户能看哪些页面的数据。 详见 其它 -- 权限管理。

数据源配置

示例策略:同一设备一天内限制登录1000次 那么每次登陆就需要上报一条数据,系统会分类计数,并分类存储。 存储的名字叫啥?就是此处要配置的数据源。对于此策略,只需要配置数据源,命名为login_uid, 字段包含uid, uid类型是string。然后程序就能根据uid为维度计数,并自动计算指定时间窗口内是否超出指定阈值。

重要:由于逻辑必然依赖时间信息,为通用且必需字段,timestamp为默认隐含字段,类型是时间戳(精确到秒,整数)

数据源配置

调用样例

调用查询服务

假设存在id为1的规则,则可以通过如下方式查询是否命中策略

curl 127.0.0.1:50000/query/ -X POST -d '{"rule_id": "1", "user_id": "10000"}' -H "Content-Type:application/json"

调用上报服务

假设存在名称为test的数据源, 且数据源含有的数据是: {"ip": "string", "user_id": "string", "uid": "string"}

curl 127.0.0.1:50000/report/ -X POST -d '{"source": "test", "user_id": "10000", "ip": "127.0.0.1", "uid": "abcabc112333222", "timestamp": 1559049606}' -H "Content-Type:application/json"

关于服务拆分

开源样例中,为了简化安装部署,查询和上报揉进了一个服务。实际场景中,显然读写应该分离。

1.可以直接此方式部署2份,域名不同,一份用于查询(上报接口不被访问),一份用于上报(查询接口不被访问),流量分发在nginx层完成

2.risk_server.py中修改配置URL_2_HANDLERS,选择您需要的服务接口部署

内置函数的扩展

不带阈值的内置函数扩展

是否异常用户内置函数为例代码见 aswan/buildin_funcs/sample.py 中的 is_abnormal 方法

带阈值的内置函数布尔型策略扩展

历史登录次数内置函数为例代码见 aswan/buildin_funcs/sample.py 中的 user_login_count 方法注意:阈值计算不包含在内置函数中进行,控制流详见 aswan/buildin_funcs/base.py

其它增加用户

考虑到企业用户大多数为域账户登录,因此推荐使用LDAP认证模块直接集成。但考虑到大家的场景不一样,因此也可以手动增加用户,样例代码如下:

# coding=utf-8from django.contrib.auth.models import Userusername = 'username'password = 'password'email = 'email@momo.com'first_name = '测'last_name = '试'# 普通用户User.objects.create_user(username=username, password=password, email=email, first_name=first_name, last_name=last_name)# 管理员账户User.objects.create_superuser(username=username, password=password, email=email, first_name=first_name, last_name=last_name)

添加完成后,让用户登录,然后管理员配置权限即可。

权限管理

目前的权限模型包含如下元素,可在对应的页面进行配置。

元素名称 元素含义 配置方式 注

uri风控管理后台的一个独立uri开发时自动产生此处uri为相对路径,例如: /permissions/groups/uri组多个相互关联的uri可以被放置到一个uri组中/permissions/uri_groups/-权限组多个uri组可以被分配到一个权限组中/permissions/groups/-用户用户即为独立的个人/员工/permissions/users/1. 本系统在界面上不提供添加用户的功能;2. 用户可以被分配到某个权限组中,也可以直接配置uri组管理员即为系统的拥有者,默认拥有所有权限手动配置-

具体图示如下:

uri组管理

权限组管理

用户管理

配置相关

目前Django部分的配置均存放于 www/settings 目录,非Django部分的配置均位于 config 目录下。

为了在不同环境加载不同的配置,我们使用了RISK_ENV这个环境变量,系统在运行时会自动通过这个环境变量的值加载对应的配置文件。

为了方便项目启动,在未设置这个值时,系统默认会加载 develop 环境的配置。而在执行测试时(python manage.py test)时,RISK_ENV的值必须是 test 。

[aswan 陌陌风控系统静态规则引擎]相关推荐

Skia Google 图形处理引擎

skia是个2D向量图形处理函数库,包含字型、座标转换,以及点阵图都有高效能且简洁的表现。不仅用于Google……...

FreeDOS 免费DOS操作系统

FreeDOS 免费DOS操作系统

大家都知道,微软在开发出Win95后停止了DOS的独立发展。但是,在Win95出现之前,微软已经明显地加强了Win……...

Coco Ruby 代码覆盖率工具

Coco Ruby 代码覆盖率工具

Coco 是一个 Ruby 的代码覆盖率工具,可通过在 RSpec 或者单元测试里通过简单的 require coco 来使用。支……...

TeamTalk 开源即时通讯解决方案

TeamTalk 开源即时通讯解决方案

项目背景 蘑菇街能有今天的快速发展,得益于开源软件群雄崛起的大环境背景,我们一直对开源社区怀有感恩……...

NetHack 角色扮演游戏

NetHack 角色扮演游戏

NetHack,20年历史的古老电脑游戏。没有声音,没有漂亮的界面,不过这个游戏真的很有意思。网上有个家伙……...

冇问题 微型论坛系统

在一些开源项目的激励之下,为了能与广大同行进行更深入的探讨,经过糗事百科官方许可,我发布了这份由我……...

今日开源
  1. Rust Mozilla的编程语言

    Rust Mozilla的编程语言

    Rust 是 Mozilla 的一个新的编程语言,由web语言的领军人物Brendan Eich(js之父),Dave Herman以及Mozilla公司的Graydon Hoare 合力开发。 创建这个新语言的目的是为了解决一个很顽疾的问题:软件的演进速度大……

    开源软件 2024-05-11

  2. Mobile ALOHA全身遥控操作系统:开源AI家务机器人

    Mobile ALOHA全身遥控操作系统:开源AI家务机器人

    Mobile ALOHA低成本的全身遥控操作系统,它可以通过模仿学习人类的行为,学会家务类型的活动。比如操作员演示 50 次煎炒虾,该机器人就可以自主完成炒虾的操作,作者团队还演示了擦玻璃、洗碗、收纳物品等任务。 ……

    Mobile ALOHA 2024-05-11

  3. JPcsp PSP模拟器

    JPcsp PSP模拟器

    PSP模拟器 JPcsp 是一个基于Java的开源PSP模拟器,经过5个月的持续开发,目前推出了0.1版,这是第一个官方正式版本。 这个版本支持了更多的游戏模拟,当然目前并不是所有的游戏都支持,不过还会不断的进行完善。

    开源软件 2024-05-11

返回顶部小火箭