前言:
在 CYQ.Data版本更新的这么多年,中间过程的版本都在完善各种功能。
基于需要支持或兼容的代码越多,很多时候,常规思维,都把相关功能完成,就结束了。
实现过程中,无法避免的会用到大量的反射、锁等对性能有所影响的逻辑代码。
CYQ.Data从V5.9版本开始,开始大规模的优化调整代码,目前稳定在 V5.9.2.7版本,下面看一下更新记录
版本更新记录:
794:新增:FireBird 数据库支持:增删改查与分页。(2023-12-18)【V5.9.0.0 - V5.9.0.2】 795:新增:DaMeng 达梦数据库支持:增删改查与分页。(2023-12-20) 796:优化:FireBird 数据结构获取与转化的精准化。(2023-12-21) 797:优化:DaMeng 数据结构获取与转化的精准化。(2023-12-22) 798:新增:DaMeng : AppConfig.DB.IsDaMengUpper 配置,默认表名字段转大写。(2023-12-23) 799:新增:FireBird:AppConfig.DB.IsFireBirdUpper 配置,默认表名字段转大写。(2023-12-23) 800:优化:Postgre: AppConfig.DB.IsPostgreLower 配置,默认表名字段转小写。(2023-12-23) 801:新增:KingBaseES 人大金仓数据库支持:增删改查与分页。(2023-12-24) 802:优化:KingBaseES 数据结构获取与转化的精准化。(2023-12-25) 803:优化:CYQ.Data.Orm.SimpleOrm 基类。(2024-01-01) 804:新增:分布式锁类:DistributedLock。(2024-01-02) 805:优化:调整注意:CacheManage 名称变更分布式缓存:DistributedCache。(2024-01-04) 806:优化:调整注意:JsonHelper 名称空间由CYQ.Data.Tool 变更为:CYQ.Data.Json。(2024-01-04) 807:优化:增加输出标准库:.net standard2.1 版本。(2024-01-10) ------------------------------------------------------------------------------------- 808:优化:AppConfig.WebRootPath 路径的获取。(2024-01-13)【V5.9.0.3】 809:优化:SimpleOrmBase(2024-01-13) 810:优化:增加 AppConfig.IsDebugMode 只读属性,优化 WebRootPath 属性取值。 811:优化:内部IP获取。 ------------------------------------------------------------------------------------- 812:修复:AppConfig.IsDebugMode .net 下取值。(2024-01-21)【V5.9.0.4】 813:新增:分布式锁增加幂等性方法。(2024-01-21) 814:修复:V5.9.0.3优化的内部IP获取,在Docker容器不支持的异常。 【V5.9.0.5】 ------------------------------------------------------------------------------------- 815:优化:XHtmlAction 加载 html 速度,无实体&xxxx;内容时不加载dtd。(2024-01-25)【V5.9.0.6】 816:优化:AppConfig:IsNetCore 和 IsWeb 和 WebRoot 三个属性取值。(2024-01-25) 817:移除:【分布式锁】转移到 Taurus.DistributedLock 插件库中(增加数据库锁)。(2024-01-25) 818:优化:SimpleOrmBase 增加构造函数重载,允许异常时不写日志【以支持分布式数据库锁】。(2024-01-26) 819:优化:AppConfig 调整几个不常用的配置项【DefaultCacheTime、IsEnumToInt、JsonEscape】。(2024-01-26) 820:优化:DistributedCache 开放几个批量接口,以供分布式锁插件调用。(2024-01-27) 821:修复:SimpleOrmBase 构造函数忘了赋值链接。(2024-01-29)【V5.9.0.7】 ------------------------------------------------------------------------------------- 822:优化:XHtmlAction 加载性能:优化缓存转化,提升2次访服务器托管网问速度。(2024-01-31)【V5.9.1.0】 823:优化:XHtmlAction 加载性能:优化取消DTD依赖、提升首次访问速度。(2024-02-01) ------------------------------------------------------------------------------------- 824:优化:XHtmlAction 调整方法或属性:SaveToCache 更名为RefleshCache 等。(2024-02-04)【V5.9.1.1】 825:移除:IField 扩展。(2024-02-04) 826:优化:MDataRow GetIndex,提升取值性能。(2024-02-04) 827:优化:ConvertTool 相关方法,提升转化性能。(2024-02-04) ------------------------------------------------------------------------------------- 版本简要:通过大范围使用 Emit 来替换反射,提升性能。 828:新增:CYQ.Data.Emit(内部)优化反射代码,提升性能。【V5.9.2】 829:新增:JsonOp 参数,调整(JsonHelper、MDataRow、MDataTable)ToJson 重载方法参数。(2024-02-06) 830:优化:JsonHelper 实体转化性能:涉及:ToJson(),ToList()。(2024-02-05、2024-02-22) 831:优化:MDataTable 实体列表转化性能:涉及:CreateFrom。(2024-02-22) 832:优化:MDataRow 实体转化性能:涉及:CreateFrom。。(2024-02-22) ------------------------------------------------------------------------------------- 版本简要:对 XHtmlAction 进行各种简化和优化,以供 Taurus.Mvc 便于使用。 833:移除:XHtmlAction SetFor 系列方法(该方法使用门槛较高) 。(2024-02-23)【V5.9.2.1】 834:移除:XHtmlAction SetForeach(MDataTable dataSource, string idOrName, SetType setType) 重载方法 。(2024-02-23) 835:移除:XHtmlAction GetByID,GetByName 两个方法,其 Get 方法已可替代以上两者。(2024-02-23) 836:移除:XHtmlAction IsCurrentLang,IsUseLangSplit 两个成员属性。(2024-02-23) 837:移除:XHtmlBase LoadFromCache、SetCDATA、ClearCDATA 等方法。 838:优化:XHtmlAction SetForeach 方法优化,支持绑定其它数据源。(2024-02-23) 839:优化:XHtmlAction LoadData 方法优化,效果变更为批量对KeyValue赋值。(2024-02-23) 840:优化:XHtmlAction 加载:去除 http://www.w3.org/1999/xhtml 名称空间。2024-02-24)【V5.9.2.2】 ------------------------------------------------------------------------------------- 版本简要:持续优化,提升性能。 840:优化:ConvertTool、ReflectTool 相关方法。(2024-02-26)【V5.9.2.3】 841:优化:MDataRow Load(json)。(2024-02-26) 842:优化:MDataTable ToList(t) 内部方法。(2024-02-26) 845:优化:JsonHelper(2024-02-27) ------------------------------------------------------------------------------------- 846:变更:将 AppConfig 中的一些和配置无关的只读属性转移到AppConst中。(2024-02-29)【V5.9.2.4】 847:移除:LocalEnvironment 内部类。(2024-02-29) 848:优化:ConvertTool.ChangeReaderToList 内部类。(2024-02-29) 849:新增:开放:CYQ.Data.Emit.EmitPreheat 类,允许处理 Emit 委托预热。(2024-02-29) ------------------------------------------------------------------------------------- 版本简要:针对 Taurus.MVC 进行全方位细节进行性能优化。【V5.9.2.6】 850:新增:HttpRequest 扩展方法:GetHeader、GetForm、GetQuery、GetCookie 等。(2024-03-04) 851:优化:XHtmlAction OutXml 等多项细节优化。(2024-03-05) ------------------------------------------------------------------------------------- 852:新增 HttpPostedFileCreator.Create 用于创建 HttpPostedFile 实例。(因 Taurus RpcProxy 添加)(2024-03-07)【V5.9.2.7】 853:新增:开放几个和实体转换相关的 Emit 接口。(2024-03-08) 854:修正:JsonHelper.ToJson 未处理 IgnoreJson 属性标记的问题、其它优化。(2024-03-08)
优化简介:
在整个优化过程,主要分为:
1、逻辑优化:
通过逻辑优化,减少代码执行。
2、减少中间商:
在过往版本,MDataTable 和 MDataRow 做为中间人,承载着所有类型转换。
通过编写直接转换,不再通过中间人进行转换,减少转换的环节。
3、Emit 代替反射:
在类型转换中,无可避免的大量的使用了服务器托管网反射。
为了替代大量的反射,因此编写了大量的Emit,导致工作量有点大,但为了性能,这无可避免。
4、减少锁:
在内部中,有大量用到MDicationary来缓存数据,这是一个自定义实现的线程安全的带锁的字典,曾经优化过一次,将通用锁拆分成了读写锁。 在减少锁的过程中,对于无需要 Remove 操作或 Foreach 遍历的全局数据缓存字典,将 MDicationary 换成 Dicationary,避开锁机制,对并发场景下引发的 Add 异常进行 try。
5、并行执行:
对于数据量大的场景,分拆成多线程并行执行。
下面就来重新看一下新的测试结果:
测试环境:
本次测试为.Net Windown 版本,下次再测试.Net CoreLinux 版本。
Win11系统:6核16G内存
测试代码,基础实体类:
public class SimpleEntity { public int ID { get; set; } public Guid MsgID { get; set; } public string Name { get; set; } public bool IsEnable { get; set; } public DateTime CreateTime { get; set; } }
本次测试结果仅供参考
性能测试对比:
1、实体类转Json(执行4次):
2、实体类列表(100条)转Json(执行4次):
3、Json转Dictionary (执行4次)
4、Json转实体类(执行4次)
5、Json转实体类列表100条数据 (执行4次)
测试结果总结:
1、在首次执行时,CYQ.Data全面超过了Newtonsoft.Json,差距明显,说明 Newtonsoft.Json 首次执行,性能较低,在预热这一块没有优化好。
2、在 Json转 Dictionary方面,CYQ.Data有全面的优势,超过Newtonsoft.Json。
2、在其它转换的在后续执行中,Newtonsoft.Json和 CYQ.Data差距不大,基本持平。
总结:
曾经有人和我说过,CYQ.Data在 Json这一块的转换性能不强,后来换了 Newtonsoft.Json去操作 Json 。
那时候可能时机不成熟,要优化,需要重写的代码太多了,所以就没怎么处理。
直到今年,有个老田同学他自己写框架了,问了个他框架调用异步方法无法 try 到异常的问题:
秋天您好,请教您一个问题,您在做框架的时候是如何实现async的异常捕捉和处理的,我这里支持async的方法后反射到controller里的方法无法正常捕捉到异常,抛出自定义异常会让整个线程挂掉。
后来这问题解决了之后,我翻了下历史聊天记录,发现它曾经建议我在Taurus里把方法的反射换成委托。
从这里开始,开启了 Taurus.MVC 框架的全面优化。
然后就涉及做为底层组件的 CYQ.Data,将它进行了全面的性能优化大整改。
于是便有了如今性能优越的版本。
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net
技术背景 从一个Python Coder的角度来说,其实很羡慕C++里面指针类型的用法,即时指针这种用法有可能会给程序带来众多的不稳定因素(据C++老Coder所说)。本文主要站在一个C++初学者的角度来学习一下指针的用法,当然,最好是带着一定的Python基…