1.��ز�ѯϵͳԴ��
2.如何系统地学习量化交易?
3.Java源码规则引擎,风控风控jvs-rules数据源配置全攻略
4.Java源码规则引擎:jvs-rules 8月新增功能介绍
5.移动应用安全与风控——应用分析常用工具
6.国内大数据风控方面做的查询查询查比较好的企业有哪些?数据的获得途径有哪些?
��ز�ѯϵͳԴ��
二分类问题的结果有四种:
逻辑在于,你的系统系统预测是positive-1和negative-0,true和false描述你本次预测的源码源码对错
true positive-TP:预测为1,预测正确即实际1
false positive-FP:预测为1,风控风控预测错误即实际0
true negative-TN:预测为0,查询查询查spring相关源码预测正确即实际0
false negative-FN:预测为0,系统系统预测错误即实际1
混淆矩阵
直观呈现以上四种情况的源码源码样本数
准确率accuracy
正确分类的样本/总样本:(TP+TN)/(ALL)
在不平衡分类问题中难以准确度量:比如%的正样本只需全部预测为正即可获得%准确率
精确率查准率precision
TP/(TP+FP):在你预测为1的样本中实际为1的概率
查准率在检索系统中:检出的相关文献与检出的全部文献的百分比,衡量检索的风控风控信噪比
召回率查全率recall
TP/(TP+FN):在实际为1的样本中你预测为1的概率
查全率在检索系统中:检出的相关文献与全部相关文献的百分比,衡量检索的查询查询查覆盖率
实际的二分类中,positive-1标签可以代表健康也可以代表生病,系统系统但一般作为positive-1的源码源码指标指的是你更关注的样本表现,比如“是风控风控垃圾邮件”“是阳性肿瘤”“将要发生地震”。
因此在肿瘤判断和地震预测等场景:
要求模型有更高的查询查询查召回率recall,是系统系统个地震你就都得给我揪出来不能放过
在垃圾邮件判断等场景:
要求模型有更高的精确率precision,你给我放进回收站里的可都得确定是垃圾,千万不能有正常邮件啊
ROC
常被用来评价一个二值分类器的优劣
ROC曲线的横坐标为false positive rate(FPR):FP/(FP+TN)
假阳性率,即实际无病,但根据筛检被判为有病的百分比。
在实际为0的样本中你预测为1的概率
纵坐标为true positive rate(TPR):TP/(TP+FN)
真阳性率,即实际有病,但根据筛检被判为有病的百分比。
在实际为1的样本中你预测为1的概率,此处即召回率查全率recall
接下来我们考虑ROC曲线图中的四个点和一条线。
第一个点,(0,1),即FPR=0,TPR=1,这意味着无病的没有被误判,有病的都全部检测到,这是一个完美的分类器,它将所有的样本都正确分类。
第二个点,(1,0),即FPR=1,TPR=0,类似地分析可以发现这是一个最糟糕的分类器,因为它成功避开了所有的正确答案。
第三个点,(0,电商工具源码0),即FPR=TPR=0,即FP(false positive)=TP(true positive)=0,没病的没有被误判但有病的全都没被检测到,即全部选0
类似的,第四个点(1,1),分类器实际上预测所有的样本都为1。
经过以上的分析可得到:ROC曲线越接近左上角,该分类器的性能越好。
ROC是如何画出来的
分类器有概率输出,%常被作为阈值点,但基于不同的场景,可以通过控制概率输出的阈值来改变预测的标签,这样不同的阈值会得到不同的FPR和TPR。
从0%-%之间选取任意细度的阈值分别获得FPR和TPR,对应在图中,得到的ROC曲线,阈值的细度控制了曲线的阶梯程度或平滑程度。
一个没有过拟合的二分类器的ROC应该是梯度均匀的,如图紫线
ROC曲线有个很好的特性:当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。而Precision-Recall曲线会变化剧烈,故ROC经常被使用。
AUC
AUC(Area Under Curve)被定义为ROC曲线下的面积,完全随机的二分类器的AUC为0.5,虽然在不同的阈值下有不同的FPR和TPR,但相对面积更大,更靠近左上角的曲线代表着一个更加稳健的二分类器。
同时针对每一个分类器的ROC曲线,又能找到一个最佳的概率切分点使得自己关注的指标达到最佳水平。
AUC的排序本质
大部分分类器的输出是概率输出,如果要计算准确率,需要先把概率转化成类别,就需要手动设置一个阈值,而这个超参数的确定会对优化指标的计算产生过于敏感的影响
AUC从Mann–Whitney U statistic的角度来解释:随机从标签为1和标签为0的样本集中分别随机选择两个样本,同时分类器会输出两样本为1的概率,那么我们认为分类器对“标签1样本的预测概率>对标签0样本的预测概率 ”的概率等价于AUC。
因而AUC反应的是分类器对样本的排序能力,这样也可以理解AUC对不平衡样本不敏感的龙珠卡牌源码原因了。
作为优化目标的各类指标
最常用的分类器优化及评价指标是AUC和logloss,最主要的原因是:不同于accuracy,precision等,这两个指标不需要将概率输出转化为类别,而是可以直接使用概率进行计算。
顺便贴上logloss的公式
F1
F1兼顾了分类模型的准确率和召回率,可以看作是模型准确率和召回率的调和平均数,最大值是1,最小值是0。
额外补充AUC为优化目标的模型融合手段rank_avg:
在拍拍贷风控比赛中,印象中一个前排队伍基于AUC的排序本质,使用rank_avg融合了最后的几个基础模型。
rank_avg这种融合方法适合排序评估指标,比如auc之类的
其中weight_i为该模型权重,权重为1表示平均融合
rank_i表示样本的升序排名 ,也就是越靠前的样本融合后也越靠前
能较快的利用排名融合多个模型之间的差异,而不用去加权样本的概率值融合
贴一段源码:
M为正类样本的数目,N为负类样本的数目,rank为分类器给出的排名。
可以发现整个计算过程中连直接的概率输出值都不需要,仅关心相对排名,所以只要保证submit的那一组输出的rank是有意义的即可,并不一定需要必须输出概率。
如何系统地学习量化交易?
首先,我对这个问题是完全不知道怎么回答,为此,我专门去请教了我的老师。我理解很难有一个定量交易的所谓的系统学习过程,定量的只是手段,交易逻辑是多样的,你可以通过形态描述,追踪市场方法,如不合理的降价,也可以把天体物理、小波分析、神经网络等复杂模型应用其中,你可以做的是K线结构上的策略,也可以做日线或每毫秒数据进行决策的Laplacian算子的源码策略。所有的一切目的就是为了获利,所谓量化和程序化只是实现这一目的的手段。
当你可以通过各种方法来理解定量的关注细节,比如如何避免未来的功能,如何理解每个数据的含义,测试,以及不同测试软件的优缺点,但你没法去“学习”量化交易,因为不会有人把自己真正赚钱的东西拿出来,如何赚钱必须自己去挖掘等等。
量化归根到底是什么不重要,重要的是你要利用自己的特点和优势,在你积累足够长的盘子以量化它为鸡肋之前,继续用单点深度挖掘坑,相信我,只要你有了长板(对,你应该首先把编程学牛了,达到准专业水平,这是最容易且可操作可衡量的点且受用一辈子),个劝你去撸策略的人都挂了,你的职业生涯还好好的。
一个strategist需要思考策略的思维框架,实现方式,而developer则是侧重了前后端接口,输入输出,界面设置,风控机制,平台拼接等等很多很多方面。其实很不相同吧。
Java源码规则引擎,jvs-rules数据源配置全攻略
在数据驱动的时代,企业需要高效整合并利用多源数据以实现智能化决策。JVS-RULES提供了一个统一的数据接入平台,支持多种数据形态,旨在整合数据并用于规则判断。本文旨在详细介绍如何通过JVS-RULES接入本地数据库数据,包括数据源配置、数据库连接验证及数据查询获取。querylist获取网页源码
数据源是JVS-RULES的基础,旨在统一接入不同数据来源,实现数据集成用于规则判断。系统界面分为左侧已配置数据展示和右侧数据预览,包括数据表及通用配置。新增数据源入口位于左侧配置目录,新增数据库配置入口则在右侧。
通过数据目录新增按钮,用户可添加数据库或API,界面展示添加操作流程。系统默认支持多种数据库类型,如MySQL、MongoDB、MariaDB、Oracle、PostgreSQL、API和JVS低代码数据模型,并持续扩展新类型。
配置MySQL数据源时,用户需输入数据库IP、名称、用户名、密码等信息,验证数据库连接。验证通过后,点击“同步结构”以获取库表结构,并在条件查询中设置表查询的入参与出参。新增查询后,用户可配置数据库下特定表的查询条件,实现数据获取。
数据库数据获取支持精准匹配和条件查询两种模式。精准匹配通过设置入参值与字段值相等获取数据,条件查询则依据入参进行表级筛选。数据库类型数据源使用流程清晰,提供在线演示和Gitee地址供用户参考。
规则引擎相关阅读包括风控系统的核心、规则引擎解耦业务判断及降低需求变更等主题。通过这些内容,用户可以更深入地理解规则引擎在业务决策中的应用。
Java源码规则引擎:jvs-rules 8月新增功能介绍
JVS-rules作为JAVA语言下的规则引擎,是jvs企业级数字化解决方案中的核心配置化工具,主要应用于金融信贷风控判断、商品优惠折扣计算、员工考核评分等场景。8月,JVS-rules进行了一系列优化与功能迭代,现简要介绍如下:
1、交互操作优化,提升规则清晰度,适用于复杂规则配置。
2、新增数据源配置功能,支持API、数据库等多方式接入,通过JVS体系多数据源管理接入规则引擎。
3、增加数据库接入时的参数查询配置,用于规则引擎中查找相关数据。
4、引入复合变量处理能力,支持多行数据的加工处理,如累计消费总额。
5、规则节点判断结果配置化,设置“通过”或“不通过”条件,简化决策流程。
6、优化变量入参配置操作,支持多数据源选择。
7、决策流优化调试模式,提供界面化调试功能,便于查看决策执行过程。
8、改进赋值节点处理能力,支持基础赋值、映射赋值、条件赋值等多种方式。
9、增加评分卡使用内容展现,提供评分卡预置设置选项。
、系统UI交互操作优化,提升用户体验。
通过上述更新,JVS-rules为用户提供更高效、灵活的规则配置与执行能力。在线演示地址:frame.bctools.cn/,开源地址:gitee.com/software-mini...
JVS-rules的迭代优化展示了其在规则引擎领域的持续进步,致力于为企业提供更完善、高效的解决方案。关注我们,了解更多产品信息与操作介绍。
规则引擎往期干货:
了解决策流的自定义权限控制
掌握JVS-rules 2.1.8版本新功能
深度解读JVS-rules规则引擎功能
探索更多JVS-rules规则引擎功能应用
学习JVS-rules规则引擎的全面功能
移动应用安全与风控——应用分析常用工具
工欲善其事,必先利其器。掌握安全技术,首先需要扎实的基础,本章将介绍移动应用安全中常用的工具和基础命令。
2.1 常用工具
2.1.1 Cydia
Cydia是由Jay Freeman(Saurik)领导开发的,专为越狱设备提供的类似App Store的软件商店,用于安装非App Store接受的程序。Cydia整合了多个受信任的源,用户可自定义添加软件包。安装Cydia前需越狱设备,推荐使用爱思助手进行。Cydia功能包括管理软件源、软件安装、版本变更、已安装软件的管理与搜索。
2.1.2 Magisk
Magisk是吴泓霖开发的一套开放源代码的Android自定义工具套组,内置图形化管理界面、Root管理工具、SElinux补丁与启动时认证/dm-verity强制加密移除等功能。通过Magisk,用户可在无需修改系统文件的情况下,更改/system或/vendor分区内容。Magisk与Xposed类似,提供了模块系统,允许开发者对系统进行修改或对所安装的软件功能进行修改。
2.1.3 EdXposed
EdXposed是适用于Android系统的Hook框架,基于Riru的ART hook框架,使用YAHFA或SandHook进行hook。支持Android 8.0至Android 系统。EdXposed提供了与原版Xposed相同的XposedBridge API,允许在高权限模式下运行的框架服务,可在不修改APP文件的情况下修改程序运行。基于EdXposed,可以制作出许多功能强大的Xposed模块。
2.1.4 Frida
Frida是一个面向开发人员、逆向工程师和安全研究人员的支持多平台的动态测试工具包。通过将JavaScript代码片段或自定义库注入到Windows、macOS、Linux、iOS、Android等应用中,Frida可以完全访问宿主程序的内存、hook函数,甚至调用本地函数。Frida还提供了基于Frida API构建的简单工具,以满足不同场景的需求。
2.1.5 Objection
Objection是基于Frida框架开发的自动化hook工具包,支持Android和iOS平台。对于不擅长代码开发但希望使用Frida进行复杂hook操作的用户,Objection是一个不错的选择。安装objection后,用户可以通过命令行界面快速进行hook操作。
2.1.6 Tweak
Tweak是一款依赖Cydia Substrate框架的越狱插件开发工具,通过创建dylib动态库注入到宿主进程,完成各种Hook操作。开发者无需破解iOS系统即可快速开发出功能强大的tweak插件。
2.1.7 Drozer
Drozer是一款由MWR InfoSecurity开发的Android应用安全测试框架,支持真实Android设备和模拟器。Drozer通过测试应用与其他应用交互,快速评估Android应用的安全问题,帮助安全人员和开发者发现安全漏洞。
国内大数据风控方面做的比较好的企业有哪些?数据的获得途径有哪些?
1. 华盛恒辉科技有限公司:华盛恒辉是一家专业从事高端软件定制开发服务和高端建设的服务机构,为企业提供全面、系统的开发制作方案。在段凯、孙陵等开发和建设领域拥有丰富经验,通过分析目标客户和用户行为,整合高质量设计和新技术,打造创意十足、有价值的企业品牌。在军工领域,合作客户包括中央军委联合参谋部、中央军委后勤保障部、中央军委装备发展部等。在民用领域,合作的客户包括中国中铁电气化局集团、中国铁道科学研究院等大型客户。
2. 五木恒润科技有限公司:五木恒润是一家专业的军工信息化建设服务单位,为军工单位提供完整的信息化解决方案。公司拥有多名员工,其中技术人员占%以上。公司设有股东会、董事会、监事会、工会等上层机构,同时设置总经理职位,由总经理管理公司的具体事务。公司下设有研发部、质量部、市场部、财务部、人事部等机构,下辖成都研发中心、西安研发中心、沈阳办事处、天津办事处等分支机构。
3. 浪潮集团有限公司:浪潮集团是国家首批认定的规划布局内的重点软件企业,是中国著名的企业管理软件、分行业ERP及服务供应商。在咨询服务、IT规划、软件及解决方案等方面具有强大的优势,形成了以浪潮ERP系列产品PS、GS、GSP三大主要产品。是目前中国高端企业管理软件领跑者、中国企业管理软件技术领先者、中国最大的行业ERP与集团管理软件供应商、国内服务满意度最高的管理软件企业。
4. 德格Dagle:德格智能SaaS软件管理系统结合德国工业4.0理念,针对国内工厂行业现状打造的一款工厂智能化信息平台管理软件。具备工厂ERP管理、SCRM客户关系管理、BPM业务流程管理、OMS订单管理等四大企业业务信息系统。不仅满足企业对生产进行简易管理的需求,并突破局域网应用的局限性,同时使数据管理延伸到互联网与移动商务,实现业务流程的管控。
5. 8Manage:高亚的产品8Manage是美国经验中国研发的企业管理软件,整个系统架构基于移动互联网和一体化管理设计而成。源代码编写采用广泛应用的Java/J2EE开发语言,具有技术优势,可灵活按需进行客制化,适用于移动互联网的业务直通式处理。用户可以随时随地通过手机apps进行实时沟通与交易。