欢迎 使用 sybn util 项目 以下是最近更新内容
-
sybn util sonar 质量报告
简介
打算定期截一下质量报告，督促自己维持和提高代码质量
2020-06-13
2019-06-15
2018-10-10
2018-05-09
-
sybn sql 与 spark sql 的对比
简介
sybn util 中关于 使用 sql 查询各个数据库的业务,暂时命名为 sybn sql.
目前主要是 SqlDdlDao 和 SqlDdlStreamDao ,及其在各个数据库的实现.
包括: MongoDao / MongoStreamDao, SolrDao, EsDao, HBasesDao / HbaseStreamDao, DbutilDao(sql), DatasSqlDqlEngine / DatasSqlDqlStreamEngine 等.
sybn sql 与 spark sql 的相同点
- 将业务逻辑 sql 化,提高易用性和可读性.
- 不用写太多代码,通过 sql 语句能以比较易读的方式实现复杂业务.
- 可以自定义 udf / udaf 扩展功能.
- sybn sql 支持运行在 spark 环境中. (V:0.1.11)
sybn sql 与 spark sql 的不同点
- sybn sql 支持sql特性比较简单, 目前仅支持部分 sql 规范内容, 尚未完成对 sql 规范的完全支持.
- sybn sql 使用起来更加简单, 不需要提前注册, 不需要 StructType 即可对任意 List<Map> 或 List
执行 sql 语句. - sybn sql 的学习成本更低, 没有 RDD, Dataset 等专有概念需要提前学习, 输入输出是 java 的 List 或 Stream,并有 web gui 可以查询和可视化数据.
相关页面
-
sql ddl dao 通用查询引擎
简介
SqlDdlDao 和 SqlDdlStreamDao 是在各个数据库中执行 sql 操作的接口.
目前已有多种数据库Dao实现了此接口:
- MongoDao / MongoStreamDao
- SolrDao
- EsDao / EsStreamDao
- HBasesDao / HbaseStreamDao
- DbutilDao(sql)
另外还有用于查询 list 和 Stream 的实现类：SqlDdlDaoListImpl / SqlDdlDaoStreamAsyncImpl
另外还有针对不同数据库联合查询的实现类: SqlDdlDaoMultipleImpl
-
group by util 通用聚合引擎
简介
XxxGroupByUtil 和 XxxGroupByUtil 可以在各个数据库中执行 groupby 操作.
XxxGroupByStreamUtil 接收 Stream 数据, XxxGroupByUtil 接收 Iterable 数据.
目前有3种实现: mongo, solr, java
他们都支持基础的聚合函数,比如: sum,min,max,count,count distinct等
其中 java 实现已经准备了大量自定义聚合函数(UDAF),并支持业务代码随时注册新的函数.
-
SybnQuery - 动态查询实体
简介
SybnQuery 属于 sybn-core 项目
动态的查询对象,借鉴于 queryDSL 中的动态查询对象。用于动态构建查询，并用于读写不同数据库。
- 相当于sql语句的where部分,可以存储and/or等逻辑条件和大于小于等于,between,like,in等对比的条件.
- 目前已经支持用其读写 mysql, mongodb, solr, elastic, hbase, redis 数据库，以及 java collection 和 stream, 并支持整合到 spring data / hibernate jpa 的查询框架.
-
数据查询表达式 type@ne@i
简介
当我们需要把http请求参数, 组装成 sql where 条件时, 经常会遇到可选参数问题, 页面上有 10 个参数, 填了几个就几个条件.
此时一般会使用 mybatis 的 xml 或者 jpa 的 query 来解决.
本工具包已提供的与以上两种方式近似的 xml 和 query 方案, 但是在实际使用中发现还是不够满足需求.
在 es, mongo, presto, clickhouse 等数据库中 1 != “1”, 此时需要将 http 传输的 String 型参数转换为各种不同的数据类型.
