网站首页 > 博客文章 正文
简介
本文解释onesearch 3.0,从Elasticsearch6升级到Elasticsearch8代码实现 ,Elasticsearch8 废弃了high rest client,使用新的ElasticsearchClient,本文重点介绍ElasticsearchClient如何实现onesearch的特性,同时解释onesearch代码实现细节。
ElasticsearchClient使用起来3个特点,
- Builder,核心对象通过builder构建
- Lambda构建,builder支持使用lambda
- 强类型和容器,如,聚合,每个类型构建和取值,同时提供容器,可放入不同聚合,为用户提供抽象处理
特性
v1.0 schema管理,0代码agg,通用表达式映射引擎,抽象搜索引擎
v2.0
1) 分布式文件索引
2) 增强装配映射引擎
full text查询映射策略
match/match_phrase/query_string/。。。
返回字段,使用source field
nested
3) springboot starter
4) 搜索权限,搜出就能看到
5) suggester
v3.0 elasticsearch 6 升级到 8,client更换为ElasticsearchClient
术语
- 文档 Document
elasticsearch 一行数据称为文档,需要注意与文件/文档区分,有冲突的地方用“ES文档”区分
- 索引schema
相当于关系数据库的schema,xml格式,定义索引的字段,类型,还有搜索策略,分词等搜索相关属性
- 搜索/过滤
elasticsearch查询(query)分两部分,搜索和过滤,搜索计算文档与搜索词相似(匹配)度,得出分数排序,分数越高相似度越高,排序也靠前;过滤相当于sql的where,结果是true或者false
- 分词
索引可以设定是否分词,分词器分割文本或字符串成term,适用模糊搜索;反之,使用term查询
- 查询对象装配映射
查询的装配映射是onesearch的特性,elasticsearch es dsl 查询功能非常丰富,可调参数多, 提供精准细致的搜索调整,但也很难用,更难复用,onesearch设计装配映射组件支持通用表达式转换esdsl,用户只需编写通用表达式,如,((f1=‘a’or f2=’b’) and f3=‘c’)) 即可实现搜索过滤,类似elasticsearch自身也提供了sql查询功能,大大降低开发难度,同时具备高复用性
参考资料
https://blog.csdn.net/szlhj/category_11563011.html onesearch 1.0/2.0
架构
- schema模块,定义索引字段,索引策略,搜索策略等,管理索引及其搜索特性
- 聚合搜索(agg)模块,基于schema模块,支持xml定义agg,零编码增加agg主题
- 查询模块,负责构建通用表达式(如,((f1=‘a’or f2=’b’) and f3=‘c’)),作为搜索输入条件代替esdsl
- 装配映射引擎,映射通用表达式为最优的es dsl,支持=,!=,like,in,range,prefix,not/and/or,大小括号,点(.)等操作符映射,解决es dsl难使用,难复用的痛点
- 抽象搜索引擎接口,无缝接入不同的搜索引擎,如,elasticsearch,solrcloud等,更可同时使用多种引擎
- 同步,全量同步/增量同步,使用分布式dataX
*geo api 未实现
工程结构-引擎部分
上一章架构介绍 本文解释elasticsearch v8 client开发,下图介绍一下引擎部分,服务和api部分不深入介绍
adapter-api 抽象的搜索引擎接口,主要有索引服务,搜索服务,文档服务
adapter-elasticsearch elasticsearch实现
引擎层之上是服务层,服务层不依赖具体引擎,因此可以适配不同的搜索引擎,甚至可以同时使用不同的搜索引擎
elasticsearch升级
本章开始介绍elasticsearch升级, onesearch改造,分4部分,
1) 索引, 构建索引,put mapping,put nested mapping,alias,删除索引
2) 文档,文档构建和写入,nested,批量
3) 搜索,query,filter,nested,高亮,分页,排序,搜索结果
4) 聚合,agg搜索,agg构建(bucket类型和metrics类型), 聚合结果
还有suggester,目前没有使用,本次升级未有涉及
后续详细介绍每个部分
猜你喜欢
- 2025-07-09 字节跳动在 Spark SQL 上的核心优化实践
- 2025-07-09 Elasticsearch:painless script语法编程和入门实战
- 2025-07-09 Rust元编程: 让你的代码在编译时开始「自我繁殖」
- 2025-07-09 Elasticsearch(三):实战(elasticsearch 快速入门)
- 2025-07-09 AI+低代码技术揭秘(三):引擎、提供程序和服务
- 2025-07-09 基于Java实现,支持在线发布API接口读取数据库,有哪些工具?
- 2025-07-09 外卖广告大规模深度学习模型工程实践
- 2025-07-09 datax-web使用querySql将分表数据同步到一个目标表
- 2025-07-09 MySQL分库分表高效联合查询架构设计:破局分布式查询困境
- 2025-07-09 揭秘:一条SQL语句的执行过程是怎么样的?
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- ifneq (61)
- 字符串长度在线 (61)
- googlecloud (64)
- messagesource (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)