Java基础
JavaWeb
Spring
MyBatis
linux
消息队列
工具
片段
面试
搜索
Elasticsearch7.6（windows版单机版）api使用及JD搜索高亮显示
Elasticsearch
Elasticsearch安装
我们需要下载和安装ElasticSearch的服务端和客户端！
注意：
ElasticSearch是使用java开发的，且本版本的es需要的jdk版本要是1.8以上，所以安装ElasticSearch 之
前保证JDK1.8+安装完毕，并正确的配置好JDK环境变量，否则启动ElasticSearch失败。
下载
ElasticSearch的官方地址： https://www.elastic.co/products/elasticsearch
官方下载地址：https://www.elastic.co/cn/downloads/elasticsearch （很慢，可以翻墙下载！）
win下载：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.1.zip
我这里已经帮大家下载好了，Linux 和 window 版的！
我们学习的话使用 window 或者 linux 都是可以的，对于我们 java 开发来说没有区别，只是连接的问
题！
Windows更加方便一点！所以我们前期都是用Window安装使用！后面我们再真正的安装到Linux服务器
上跑项目！
附上个人网盘下载地址及笔记，后面涉及到需要安装的部分都可以直接从网盘获取，安装即解压。
链接：https://pan.baidu.com/s/1B7cKgRa0y29tJSxmB6ppAQ
提取码：oqo7
--llp
windows下安装使用
bin：启动文件
config：配置文件
log4j2.properties：日志配置文件
jvm.options：java虚拟机的配置
elasticsearch.yml：es的配置文件
data：索引数据目录
lib：相关类库Jar包
logs：日志目录
modules：功能模块
plugins：插件
双击ElasticSearch下的bin目录中的elasticsearch.bat启动，控制台显示的日志（等待启动完
毕！）：
然后在浏览器访问：http://localhost:9200 得到如下信息，说明安装成功了:
安装ES的图形化界面插件客户端
注意：需要NodeJS的环境，我们讲解大前端进阶已经安装过了，没安装的需要安装！
Head是elasticsearch的集群管理工具，可以用于数据的浏览查询！被托管在github上面！
地址： https://github.com/mobz/elasticsearch-head/
1、下载 elasticsearch-head-master.zip
2、解压之后安装依赖！
cnpm install
npm run start
这将启动在端口9100上运行的本地web服务器，为elasticsearch-head服务！访问测试：
# 跨域配置：
http.cors.enabled: true
http.cors.allow-origin: "*"
启动ElasticSearch，使用head工具进行连接测试！可以看到默认的集群名就叫elasticsearch
了解
ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic
Stack。其中Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框
架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可
见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。Logstash是ELK
的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出
到不同目的地（文件/MQ/redis/elasticsearch/kafka等）。Kibana可以将elasticsearch的数据通过友好
的页面展示出来，提供实时分析的功能。
市面上很多开发只要提到ELK能够一致说出它是一个日志分析架构技术栈总称，但实际上ELK不仅仅适用
于日志分析，它还可以支持其它任何数据分析和收集的场景，日志分析和收集只是更具有代表性。并非
唯一性。
安装kibana
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索
引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理
解。它操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示Elasticsearch查
询动态。设置Kibana非常简单。无需编码或者额外的基础架构，几分钟内就可以完成Kibana安装并启动
Elasticsearch索引监测。
官网：https://www.elastic.co/cn/kibana
1、下载Kibana https://www.elastic.co/cn/downloads/kibana （注意版本对应关系）
2、将压缩包解压即可（需要一些时间）！
3、然后进入到bin目录下，双击kibana.bat启动服务就可以了（需要等待启动完成），ELK基本上都是拆箱即用的
4、然后访问IP:5601，kibana会自动去访问9200，也就是elasticsearch的端口号（当然elasticsearch这
个时候必须启动着），然后就可以使用kibana了
5、现在是英文的，看着有些吃力，我们配置为中文的！
中文包在 kibana\x-pack\plugins\translations\translations\zh-CN.json
只需要在配置文件 kibana.yml 中加入，如果启动失败检查一下编辑的时候件编码格式是否为utf-8
i18n.locale: "zh-CN"
6、重启查看效果！成功切换为中文的了！
至此,elasticsearch、head、kibana安装就完成了。
ES核心概念
概述
在前面的学习中，我们已经掌握了es是什么，同时也把es的服务已经安装启动，那么es是如何去存储数
据，数据结构是什么，又是如何实现搜索的呢？我们先来聊聊ElasticSearch的相关概念吧！
集群，节点，索引，类型，文档，分片，映射是什么？
elasticsearch是面向文档，关系行数据库 和 elasticsearch 客观的对比！
elasticsearch(集群)中可以包含多个索引(数据库)，每个索引中可以包含多个类型(表)，每个类型下又包
含多 个文档(行)，每个文档中又包含多个字段(列)。
物理设计：
elasticsearch 在后台把每个索引划分成多个分片，每分分片可以在集群中的不同服务器间迁移
逻辑设计：
一个索引类型中，包含多个文档，比如说文档1，文档2。 当我们索引一篇文档时，可以通过这样的一各
顺序找到 它: 索引 ▷ 类型 ▷ 文档ID ，通过这个组合我们就能索引到某个具体的文档。 注意:ID不必是整
数，实际上它是个字 符串。
文档
elasticsearch(集群)中可以包含多个索引(数据库)，每个索引中可以包含多个类型(表)，每个类型下又包
含多 个文档(行)，每个文档中又包含多个字段(列)。
物理设计：
elasticsearch 在后台把每个索引划分成多个分片，每分分片可以在集群中的不同服务器间迁移
逻辑设计：
一个索引类型中，包含多个文档，比如说文档1，文档2。 当我们索引一篇文档时，可以通过这样的一各
顺序找到 它: 索引 ▷ 类型 ▷ 文档ID ，通过这个组合我们就能索引到某个具体的文档。 注意:ID不必是整
数，实际上它是个字 符串。
类型
类型是文档的逻辑容器，就像关系型数据库一样，表格是行的容器。 类型中对于字段的定义称为映射，
比如 name 映 射为字符串类型。 我们说文档是无模式的，它们不需要拥有映射中所定义的所有字段，
比如新增一个字段，那么elasticsearch是怎么做的呢?elasticsearch会自动的将新字段加入映射，但是这
个字段的不确定它是什么类型，elasticsearch就开始猜，如果这个值是18，那么elasticsearch会认为它
是整形。 但是elasticsearch也可能猜不对， 所以最安全的方式就是提前定义好所需要的映射，这点跟关
系型数据库殊途同归了，先定义好字段，然后再使用，别 整什么幺蛾子。
索引
索引是映射类型的容器，elasticsearch中的索引是一个非常大的文档集合。索引存储了映射类型的字段
和其他设置。 然后它们被存储到了各个分片上了。 我们来研究下分片是如何工作的。
物理设计 ：节点和分片 如何工作
一个集群至少有一个节点，而一个节点就是一个elasricsearch进程，节点可以有多个索引默认的，如果
你创建索引，那么索引将会有个5个分片 ( primary shard ,又称主分片 ) 构成的，每一个主分片会有一个
副本 ( replica shard ,又称复制分片）
上图是一个有3个节点的集群，可以看到主分片和对应的复制分片都不会在同一个节点内，这样有利于某
个节点挂掉 了，数据也不至于丢失。 实际上，一个分片是一个Lucene索引，一个包含倒排索引的文件
目录，倒排索引的结构使 得elasticsearch在不扫描全部文档的情况下，就能告诉你哪些文档包含特定的
关键字。 不过，等等，倒排索引是什 么鬼?
倒排索引
elasticsearch使用的是一种称为倒排索引的结构，采用Lucene倒排索作为底层。这种结构适用于快速的
全文搜索， 一个索引由文档中所有不重复的列表构成，对于每一个词，都有一个包含它的文档列表。 例
如，现在有两个文档， 每个文档包含如下内容：
Study every day, good good up to forever # 文档1包含的内容
To forever, study every day, good good up # 文档2包含的内容
为了创建倒排索引，我们首先要将每个文档拆分成独立的词(或称为词条或者tokens)，然后创建一个包
含所有不重 复的词条的排序列表，然后列出每个词条出现在哪个文档 :
现在，我们试图搜索 to forever，只需要查看包含每个词条的文档
两个文档都匹配，但是第一个文档比第二个匹配程度更高。如果没有别的条件，现在，这两个包含关键
字的文档都将返回。
再来看一个示例，比如我们通过博客标签来搜索博客文章。那么倒排索引列表就是这样的一个结构 :
如果要搜索含有 python 标签的文章，那相对于查找所有原始数据而言，查找倒排索引后的数据将会快
的多。只需要 查看标签这一栏，然后获取相关的文章ID即可。
如果要搜索含有 python 标签的文章，那相对于查找所有原始数据而言，查找倒排索引后的数据将会快
的多。只需要 查看标签这一栏，然后获取相关的文章ID即可。
ES基础操作
IK分词器插件
什么时IK分词器
分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把
数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个
词，比如 “我爱狂神” 会被分为"我","爱","狂","神"，这显然是不符合要求的，所以我们需要安装中文分词
器ik来解决这个问题。
IK提供了两个分词算法：ik_smart 和 ik_max_word，其中 ik_smart 为最少切分，ik_max_word为最细
粒度划分！一会我们测试！
安装步骤
1、下载ik分词器的包，Github地址：https://github.com/medcl/elasticsearch-analysis-ik/ （版本要对
应）
2、下载后解压，并将目录拷贝到ElasticSearch根目录下的 plugins 目录中。
3、重新启动 ElasticSearch 服务，在启动过程中，你可以看到正在加载"analysis-ik"插件的提示信息，
服务启动后，在命令行运行 elasticsearch-plugin list 命令，确认 ik 插件安装成功。
4、在 kibana 中测试 ik 分词器，并就相关分词结果和 icu 分词器进行对比。
ik_max_word : 细粒度分词，会穷尽一个语句中所有分词可能，测试！
ik_smart : 粗粒度分词，优先匹配最长词，只有1个词！
5、我们输入超级喜欢狂神说！发现狂神说被切分了
如果我们想让系统识别“狂神说”是一个词，需要编辑自定义词库。
步骤：
（1）进入elasticsearch/plugins/ik/config目录
（2）新建一个my.dic文件，编辑内容：
狂神说
（3）修改IKAnalyzer.cfg.xml（在ik/config目录下）
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!-- 用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">my.dic</entry>
<!-- 用户可以在这里配置自己的扩展停止词字典 -->
<entry key="ext_stopwords"></entry>
</properties>
修改完配置重新启动elasticsearch，再次测试！
发现监视了我们自己写的规则文件：
再次测试，发现狂神说变成了一个词：
到了这里，我们就明白了分词器的基本规则和使用了！
Rest风格说明
一种软件架构风格，而不是标准，只是提供了一组设计原则和约束条件。它主要用于客户端和服务器交
互类的软件。基于这个风格设计的软件可以更简洁，更有层次，更易于实现缓存等机制。
基本Rest命令说明：
基础测试
1、首先我们浏览器 http://localhost:5601/ 进入 kibana里的Console
2、首先让我们在 Console 中输入 :
// 命令解释
// PUT 创建命令 test1 索引 type1 类型 1 id
PUT /test1/type1/1
{
"name":"狂神说", // 属性
"age":16 // 属性
}
返回结果 （是以REST ful 风格返回的 ）：
// 警告信息：不支持在文档索引请求中指定类型
// 而是使用无类型的端点(/{index}/_doc/{id}， /{index}/_doc，或
/{index}/_create/{id})。
{
"_index" : "test1", // 索引
"_type" : "type1", // 类型
"_id" : "1", // id
"_version" : 1, // 版本
"result" : "created", // 操作类型
"_shards" : { // 分片信息
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
那么 name 这个字段用不用指定类型呢。毕竟我们关系型数据库 是需要指定类型的啊 !
字符串类型
text 、 keyword
数值类型
long, integer, short, byte, double, float, half_float, scaled_float
日期类型
date
te布尔值类型
boolean
二进制类型
binary
等等......
4、指定字段类
PUT /test2
{
"mappings":{
"properties":{
"name":{
"type":"text"
},
"age":{
"type":"long"
},
"birthday":{
"type":"date"
}
}
}
}
输出：
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "test2"
}
5、查看一下索引字段
GET test2
{
"test2":{
"aliases":{
},
"mappings":{
"properties":{
"age":{
"type":"long"
},
"birthday":{
"type":"date"
},
"name":{
"type":"text"
}
}
},
"settings":{
"index":{
"creation_date":"1585384302712",
"number_of_shards":"1",
"number_of_replicas":"1",
"uuid":"71TUZ84wRTW5P8lKeN4I4Q",
"version":{
"created":"7060199"
},
"provided_name":"test2"
}
}
}
}
查看一下test3索引：
GET test3
返回结果：
{
"test3":{
"aliases":{
},
"mappings":{
"properties":{
"age":{
"type":"long"
},
"birth":{
"type":"date"
},
"name":{
"type":"text",
"fields":{
"keyword":{
"type":"keyword",
"ignore_above":256
}
}
}
}
},
"settings":{
"index":{
"creation_date":"1585384497051",
"number_of_shards":"1",
"number_of_replicas":"1",
"uuid":"xESBKF1XTpCAZOgMqBNUbA",
"version":{
"created":"7060199"
},
"provided_name":"test3"
}
}
}
}
我们看上列没有给字段指定类型那么es就会默认给我配置字段类型！
对比关系型数据库 ：
PUT test1/type1/1 ： 索引test1相当于关系型数据库的库，类型type1就相当于表 ，1 代表数据中的主
键 id
这里需要补充的是 ，在elastisearch5版本前，一个索引下可以创建多个类型，但是在elastisearch5后，
一个索引只能对应一个类型，而id相当于关系型数据库的主键id若果不指定就会默认生成一个20位的
uuid，属性相当关系型数据库的column(列)。
而结果中的 result 则是操作类型，现在是 created ，表示第一次创建。如果再次点击执行该命令那么
result 则会是 updated ，我们细心则会发现 _version 开始是1，现在你每点击一次就会增加一次。表示
第几次更改。
7、我们在来学一条命令 (elasticsearch 中的索引的情况) ：
GET _cat/indices?v
返回结果：查看我们所有索引的状态健康情况 分片，数据储存大小等等。
8、那么怎么删除一条索引呢(库)呢?
DELETE /test1
返回：
{
"acknowledged" : true # 表示删除成功！
}
增删改查命令
第一条数据：
PUT /kuangshen/user/1
{
"name":"狂神说",
"age":18,
"desc":"一顿操作猛如虎，一看工资2500",
"tags":["直男","技术宅","温暖"]
}
第二条数据 :
PUT /kuangshen/user/2
{
"name":"张三",
"age":3,
"desc":"法外狂徒",
"tags":["渣男","旅游","交友"]
}
第三条数据：
PUT /kuangshen/user/3
{
"name":"李四",
"age":30,
"desc":"mmp，不知道怎么形容",
"tags":["靓女","旅游","唱歌"]
}
查看下数据：
注意⚠ ：当执行 命令时，如果数据不存在，则新增该条数据，如果数据存在则修改该条数据。
咱们通过 GET 命令查询一下 :
GET kuangshen/user/1
返回结果：
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_version":1,
"_seq_no":0,
"_primary_term":1,
"found":true,
"_source":{
"name":"狂神说",
"age":18,
"desc":"一顿操作猛如虎，一看工资2500",
"tags":[
"直男",
"技术宅",
"温暖"
]
}
}
如果你想更新数据 可以覆盖这条数据 :
PUT /kuangshen/user/1
{
"name":"狂神说Java",
"age":18,
"desc":"一顿操作猛如虎，一看工资2.5",
"tags":["直男","技术宅","温暖"]
}
返回结果：
{
"_index" : "kuangshen",
"_type" : "user",
"_id" : "1",
"_version" : 2,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 3,
"_primary_term" : 1
}
已经修改了 那么 PUT 可以更新数据但是。麻烦的是 原数据你还要重写一遍要 这不符合我们规矩。
更新数据POST
我们使用 POST 命令，在 id 后面跟 _update ，要修改的内容放到 doc 文档(属性)中即可。
POST /kuangshen/user/1/_update
{
"doc":{
"name":"狂神说Java",
"desc":"关注狂神公众号每日更新文章哦"
}
}
返回结果：
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_version":3,
"result":"updated",
"_shards":{
"total":2,
"successful":1,
"failed":0
},
"_seq_no":4,
"_primary_term":1
}
条件查询_search?q=
简单的查询，我们上面已经不知不觉的使用熟悉了：
GET kuangshen/user/1
我们来学习下条件查询 _search?q=
GET kuangshen/user/_search?q=name:狂神说
通过 _serarch?q=name:狂神说 查询条件是name属性有狂神说的那些数据。
别忘 了 _search 和 from 属性中间的分隔符 ? 。
返回结果：
{
"took":16,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":1,
"relation":"eq"
},
"max_score":1.4229509,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":1.4229509,
"_source":{
"name":"狂神说Java",
"age":18,
"desc":"关注狂神公众号每日更新文章哦",
"tags":[
"直男",
"技术宅",
"温暖"
]
}
}
]
}
}
我们看一下结果 返回并不是 数据本身，是给我们了一个 hits ，还有 _score得分，就是根据算法算出和
查询条件匹配度高得分就搞。
构建查询
GET kuangshen/user/_search
{
"query":{
"match":{
"name": "狂神"
}
}
}
上例，查询条件是一步步构建出来的，将查询条件添加到 match 中即可。返回结果还是一样的：
{
"took":0,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":1,
"relation":"eq"
},
"max_score":1.6285465,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":1.6285465,
"_source":{
"name":"狂神说Java",
"age":18,
"desc":"关注狂神公众号每日更新文章哦",
"tags":[
"直男",
"技术宅",
"温暖"
]
}
}
]
}
}
除此之外，我们还可以查询全部:
GET kuangshen/user/_search #这是一个查询但是没有条件
GET kuangshen/user/_search
{
"query":{
"match_all": {}
}
}
match_all的值为空，表示没有查询条件，就像select * from table_name一样。
返回结果：全部查询出来了！
如果有个需求，我们仅是需要查看 name 和 desc 两个属性，其他的不要怎么办?
GET kuangshen/user/_search
{
"query":{
"match_all": {}
},
"_source": ["name","desc"]
}
如上例所示，在查询中，通过 _source 来控制仅返回 name 和 age 属性。
{
"took":1,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":3,
"relation":"eq"
},
"max_score":1,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"2",
"_score":1,
"_source":{
"name":"张三",
"desc":"法外狂徒"
}
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"3",
"_score":1,
"_source":{
"name":"李四",
"desc":"mmp，不知道怎么形容"
}
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":1,
"_source":{
"name":"狂神说Java",
"desc":"关注狂神公众号每日更新文章哦"
}
}
]
}
}
一般的，我们推荐使用构建查询，以后在与程序交互时的查询等也是使用构建查询方式处理查询条件，
因为该方 式可以构建更加复杂的查询条件，也更加一目了然
排序查询
我们说到排序 有人就会想到：正序 或 倒序 那么我们先来倒序：
GET kuangshen/user/_search
{
"query":{
"match_all": {}
},
"sort": [
{
"age": {
"order": "desc"
}
}
]
}
上例，在条件查询的基础上，我们又通过 sort 来做排序，排序对象是 age ， order 是 desc 降序。
{
"took":0,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":3,
"relation":"eq"
},
"max_score":null,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"3",
"_score":null,
"_source":{
"name":"李四",
"age":30,
"desc":"mmp，不知道怎么形容",
"tags":[
"靓女",
"旅游",
"唱歌"
]
},
"sort":[
30
]
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":null,
"_source":{
"name":"狂神说Java",
"age":18,
"desc":"关注狂神公众号每日更新文章哦",
"tags":[
"直男",
"技术宅",
"温暖"
]
},
"sort":[
18
]
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"2",
"_score":null,
"_source":{
"name":"张三",
"age":3,
"desc":"法外狂徒",
"tags":[
"渣男",
"旅游",
"交友"
]
},
"sort":[
3
]
}
]
}
}
正序，就是 desc 换成了 asc
GET kuangshen/user/_search
{
"query":{
"match_all": {}
},
"sort": [
{
"age": {
"order": "asc"
}
}
]
}
注意:在排序的过程中，只能使用可排序的属性进行排序。那么可以排序的属性有哪些呢?
数字
日期
ID
其他都不行！
分页查询
GET kuangshen/user/_search
{
"query":{
"match_all": {}
},
"sort": [
{
"age": {
"order": "asc"
}
}
],
"from": 0, # 从第n条开始
"size": 1 # 返回n条数据
}
返回结果：
{
"took":0,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":3,
"relation":"eq"
},
"max_score":null,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"2",
"_score":null,
"_source":{
"name":"张三",
"age":3,
"desc":"法外狂徒",
"tags":[
"渣男",
"旅游",
"交友"
]
},
"sort":[
3
]
}
]
}
}
就返回了一条数据 是从第0条开始的返回一条数据 。可以再测试！
学到这里，我们也可以看到，我们的查询条件越来越多，开始仅是简单查询，慢慢增加条件查询，增加
排序，对返回 结果进行限制。所以，我们可以说:对elasticsearch于 来说，所有的查询条件都是可插拔
的，彼此之间用 分 割。比如说，我们在查询中，仅对返回结果进行限制:
GET kuangshen/user/_search
{
"query":{
"match_all": {}
},
"from": 0, # 从第n条开始
"size": 1 # 返回n条数据
}
布尔查询
先增加一个数据：
PUT /kuangshen/user/4
{
"name":"狂神说",
"age":3,
"desc":"一顿操作猛如虎，一看工资2500",
"tags":["直男","技术宅","温暖"]
}
must (and)
我要查询所有 name 属性为“ 狂神 “的数据，并且年龄为18岁的！
GET kuangshen/user/_search
{
"query":{
"bool":{
"must":[
{
"match":{
"name":"狂神说"
}
},
{
"match":{
"age":3
}
}
]
}
}
}
我们通过在 bool 属性内使用 must 来作为查询条件！看结果，是不是 有点像 and 的感觉，里面的条件
需要都满足！
should (or)
那么我要查询name为狂神 或 age 为18 的呢？
GET kuangshen/user/_search
{
"query": {
"bool": {
"should": [
{
"match": {
"name": "狂神说"
}
},
{
"match": {
"age": 18
}
}
]
}
}
}
返回结果：
{
"took":0,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":2,
"relation":"eq"
},
"max_score":3.1522982,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":3.1522982,
"_source":{
"name":"狂神说Java",
"age":18,
"desc":"关注狂神公众号每日更新文章哦",
"tags":[
"直男",
"技术宅",
"温暖"
]
}
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"4",
"_score":2.4708953,
"_source":{
"name":"狂神说",
"age":3,
"desc":"一顿操作猛如虎，一看工资2500",
"tags":[
"直男",
"技术宅",
"温暖"
]
}
}
]
}
}
我们的返回结果 是不是 出现了一个 age : 3的。是不是有点像 or 呢
must_not (not)
我想要查询 年龄不是 18 的 数据
GET kuangshen/user/_search
{
"query":{
"bool":{
"must_not":[
{
"match":{
"age":18
}
}
]
}
}
}
Fitter
我要查询 name 为狂神 的，age大于10的数据
GET kuangshen/user/_search
{
"query":{
"bool":{
"must":[
{
"match":{
"name":"狂神"
}
}
],
"filter":{
"range":{
"age":{
"gt":10
}
}
}
}
}
}
这里就用到了 filter 条件过滤查询，过滤条件的范围用 range 表示， gt 表示大于，大于多少呢?是10。
其余操作如下 :
gt 表示大于
gte 表示大于等于
lt 表示小于
lte 表示小于等于
要查询 name 是 狂神， age 在 25~30 之间的怎么查?
GET kuangshen/user/_search
{
"query":{
"bool":{
"must":[
{
"match":{
"name":"狂神"
}
}
],
"filter":{
"range":{
"age":{
"gte":25,
"lte":30
}
}
}
}
}
}
短语检索
我要查询 tags为男的数据
GET kuangshen/user/_search
{
"query":{
"match": {
"tags": "男"
}
}
}
返回了所有标签中带 男 的记录！
既然按照标签检索，那么，能不能写多个标签呢?又该怎么写呢?
GET kuangshen/user/_search
{
"query":{
"match": {
"tags": "男 技术"
}
}
}
返回：只要含有这个标签满足一个就给我返回这个数据了。
term查询精确查询
term 查询是直接通过倒排索引指定的 词条，也就是精确查找。
term和match的区别:
match是经过分析(analyer)的，也就是说，文档是先被分析器处理了，根据不同的分析器，分析出
的结果也会不同，在会根据分词 结果进行匹配。
term是不经过分词的，直接去倒排索引查找精确的值。
注意 ⚠ ：我们现在 用的es7版本 所以我们用 mappings properties 去给多个字段(fields)指定类型的时
候,不能给我们的 索引制定类型：
PUT testdb
{
"mappings":{
"properties":{
"name":{
"type":"text"
},
"desc":{
"type":"keyword"
}
}
}
}
// 插入数据
PUT testdb/_doc/1
{
"name":"狂神说Java name",
"desc":"狂神说Java desc"
}
PUT testdb/_doc/2
{
"name":"狂神说Java name",
"desc":"狂神说Java desc2"
}
上述中testdb索引中,字段name在被查询时会被分析器进行分析后匹配查询。而属于keyword类型不会
被分析器处理。
我们来验证一下：
GET _analyze
{
"analyzer": "keyword",
"text": "狂神说Java name"
}
结果：
{
"tokens":[
{
"token":"狂神说Java name",
"start_offset":0,
"end_offset":12,
"type":"word",
"position":0
}
]
}
是不是没有被分析啊。就是简单的一个字符串啊。再测试
GET _analyze
{
"analyzer": "standard",
"text": "狂神说Java name"
}
结果：
{
"tokens":[
{
"token":"狂",
"start_offset":0,
"end_offset":1,
"type":"<IDEOGRAPHIC>",
"position":0
},
{
"token":"神",
"start_offset":1,
"end_offset":2,
"type":"<IDEOGRAPHIC>",
"position":1
},
{
"token":"说",
"start_offset":2,
"end_offset":3,
"type":"<IDEOGRAPHIC>",
"position":2
},
{
"token":"java",
"start_offset":3,
"end_offset":7,
"type":"<ALPHANUM>",
"position":3
},
{
"token":"name",
"start_offset":8,
"end_offset":12,
"type":"<ALPHANUM>",
"position":4
}
]
}
那么我们看一下 们字符串是不是被分析了啊。
总结：keyword 字段类型不会被分析器分析！
现在我们来查询一下：
GET testdb/_search // text 会被分析器分析 查询
{
"query":{
"term":{
"name":"狂"
}
}
}
GET testdb/_search // keyword 不会被分析所以直接查询
{
"query":{
"match":{
"desc":"狂神说Java desc"
}
}
}
查找多个精确值(terms)
官网地址：https://www.elastic.co/guide/cn/elasticsearch/guide/current/_finding_multiple_exact_va
lues.html
PUT testdb/_doc/3
{
"t1": "22",
"t2": "2020-4-16"
}
PUT testdb/_doc/4
{
"t1": "33",
"t2": "2020-4-17"
}
# 查询 精确查找多个值
GET testdb/_search
{
"query":{
"bool":{
"should":[
{
"term":{
"t1":"22"
}
},
{
"term":{
"t1":"33"
}
}
]
}
}
}
除了bool查询之外：
GET testdb/_doc/_search
{
"query": {
"terms": {
"t1": ["22", "33"]
}
}
}
高亮显示
GET kuangshen/user/_search
{
"query":{
"match": {
"name": "狂神"
}
},
"highlight" :{
"fields": {
"name":{}
}
}
}
返回结果：
#! Deprecation: [types removal] Specifying types in search requests is
deprecated.
我们可以看到 已 < em>狂神< /em>经帮我们加上了一个< em>标签
这是es帮我们加的标签。那我·也可以自己自定义样式
GET kuangshen/user/_search
{
"took":62,
"timed_out":false,
"_shards":{
"total":1,
"successful":1,
"skipped":0,
"failed":0
},
"hits":{
"total":{
"value":2,
"relation":"eq"
},
"max_score":1.6472635,
"hits":[
{
"_index":"kuangshen",
"_type":"user",
"_id":"4",
"_score":1.6472635,
"_source":{
"name":"狂神说",
"age":3,
"desc":"一顿操作猛如虎，一看工资2500",
"tags":[
"直男",
"技术宅",
"温暖"
]
},
"highlight":{
"name":[
"<em>狂</em><em>神</em>说"
]
}
},
{
"_index":"kuangshen",
"_type":"user",
"_id":"1",
"_score":1.4348655,
"_source":{
"name":"狂神说Java",
"age":18,
"desc":"关注狂神公众号每日更新文章哦",
"tags":[
"直男",
"技术宅",
"温暖"
]
},
"highlight":{
"name":[
"<em>狂</em><em>神</em>说Java"
]
}
}
]
}
}
我们可以看到 已 < em>狂神< /em>经帮我们加上了一个< em>标签
这是es帮我们加的标签。那我·也可以自己自定义样式
GET kuangshen/user/_search
{
"query":{
"match": {
"name": "狂神"
}
},
"highlight" :{
"pre_tags": "<b class='key' style='color:red'>",
"post_tags": "</b>",
"fields": {
"name":{}
}
}
}
需要注意的是:自定义标签中属性或样式中的逗号一律用英文状态的单引号表示，应该与外部 es 语法 的
双引号区分开。
说明：Deprecation
注意 elasticsearch 在第一个版本的开始 每个文档都储存在一个索引中，并分配一个 映射类型，映射类
型用于表示被索引的文档或者实体的类型，这样带来了一些问题, 导致后来在 elasticsearch6.0.0 版本中
一个文档只能包含一个映射类型，而在 7.0.0 中，映 射类型则将被弃用，到了 8.0.0 中则将完全被删
除。
只要记得，一个索引下面只能创建一个类型就行了，其中各字段都具有唯一性，如果在创建映射的时
候，如果没有指定文档类型，那么该索引的默认索引类型是 _doc ，不指定文档id则会内部帮我们生
成一个id字符串。
API创建索引及文档
找文档
网上的es教程大都十分老旧，而且es的版本众多，个别版本的差异还较大，另外es本身提供多种api，导
致许多文章各种乱七八糟实例！所以后面直接放弃，从官网寻找方案，这里我使用elasticsearch最新的
7.6.1版本来讲解：
1、进入es的官网指导文档 https://www.elastic.co/guide/index.html
2、找到 Elasticsearch Clients（这个就是客户端api文档）
3、我们使用java rest风格api，大家可以更加自己的版本选择特定的other versions。
4、rest又分为high level和low level，我们直接选择high level下面的 Getting started
5、向下阅读找到Maven依赖和基本配置！
Java REST Client 说明
Java REST Client 有两种风格：
Java Low Level REST Client ：用于Elasticsearch的官方低级客户端。它允许通过http与Elasticsearch
集群通信。将请求编排和响应反编排留给用户自己处理。它兼容所有的Elasticsearch版本。（PS：学过
WebService的话，对编排与反编排这个概念应该不陌生。可以理解为对请求参数的封装，以及对响应结
果的解析）
Java High Level REST Client ：用于Elasticsearch的官方高级客户端。它是基于低级客户端的，它提供
很多API，并负责请求的编排与响应的反编排。（PS：就好比是，一个是传自己拼接好的字符串，并且
自己解析返回的结果；而另一个是传对象，返回的结果也已经封装好了，直接是对象，更加规范了参数
的名称以及格式，更加面对对象一点）
（PS：所谓低级与高级，我觉得一个很形象的比喻是，面向过程编程与面向对象编程）
网上很多教程比较老旧，都是使用TransportClient操作的，在 Elasticsearch 7.0 中不建议使用
TransportClient，并且在8.0中会完全删除TransportClient。因此，官方更建议我们用Java High Level
REST Client，它执行HTTP请求，而不是序列号的Java请求。既然如此，这里我们就直接用高级了。
配置基本项目依赖
1、新建一个springboot（2.2.5版）项目 kuang-elasticsearch ，导入web依赖即可！
2、配置es的依赖！
<properties>
<java.version>1.8</java.version>
<!-- 这里SpringBoot默认配置的版本不匹配，我们需要自己配置版本！ -->
<elasticsearch.version>7.6.1</elasticsearch.version>
</properties>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>
3、继续阅读文档到Initialization ，我们看到需要构建RestHighLevelClient对象；
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("localhost", 9200, "http"),
new HttpHost("localhost", 9201, "http"))); // 构建客户端对象
// 操作....
// 高级客户端内部会创建低级客户端用于基于提供的builder执行请求。低级客户端维护一个连接池，
并启动一些线程，因此当你用完以后应该关闭高级客户端，并且在内部它将会关闭低级客户端，以释放这
些资源。关闭客户端可以使用close()方法：
client.close(); // 关闭
4、我们编写一个配置类，提供这个bean来进行操作
package com.llp.elasticsearch.config;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class RestHighLevelClientConfig {
@Bean
public RestHighLevelClient restHighLevelClient(){
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("127.0.0.1", 9200, "http")));
return client;
}
}
APIs 测试
package com.llp.elasticsearch;
import com.alibaba.fastjson.JSON;
import com.llp.elasticsearch.entity.User;
import org.assertj.core.util.Lists;
import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.get.GetRequest;
import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.action.update.UpdateRequest;
import org.elasticsearch.action.update.UpdateResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.GetIndexResponse;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.MatchQueryBuilder;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.FetchSourceContext;
import org.junit.jupiter.api.Test;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.boot.test.context.SpringBootTest;
import java.io.IOException;
import java.util.List;
import java.util.concurrent.TimeUnit;
@SpringBootTest
class ElasticsearchApplicationTests {
@Autowired
@Qualifier("restHighLevelClient")
private RestHighLevelClient client;
/**
* 创建索引
* @throws IOException
*/
@Test
void testCreateIndex() throws IOException {
CreateIndexRequest request = new CreateIndexRequest("llp_index");
CreateIndexResponse createIndexResponse
=client.indices().create(request, RequestOptions.DEFAULT);
System.out.println(createIndexResponse);
}
/**
* 获取索引
* @throws IOException
*/
@Test
void testGetIndex() throws IOException {
GetIndexRequest request = new GetIndexRequest("llp_index");
GetIndexResponse getIndexResponse = client.indices().get(request,RequestOptions.DEFAULT);
boolean exists = client.indices().exists(request, RequestOptions.DEFAULT);
System.out.println(exists);
System.out.println(getIndexResponse);
}
/**
* 删除索引
* @throws IOException
*/
@Test
void deleteIndex() throws IOException {
DeleteIndexRequest request = new DeleteIndexRequest("llp_index");
AcknowledgedResponse delete = client.indices().delete(request, RequestOptions.DEFAULT);
System.out.println(delete.isAcknowledged());
System.out.println(delete);
}
//创建文档
@Test
void testAddDocument() throws IOException {
//创建对象
User user = new User("狂神说",3);
//创建请求
IndexRequest request = new IndexRequest("llp_index");
request.id("1");
request.timeout(TimeValue.timeValueSeconds(2));
request.source(JSON.toJSONString(user), XContentType.JSON);
IndexResponse indexResponse = client.index(request,RequestOptions.DEFAULT);
System.out.println(indexResponse.toString());
System.out.println(indexResponse.status());
}
// 判断此id是否存在这个索引库中
@Test
void testIsExists() throws IOException {
GetRequest getRequest = new GetRequest("llp_index","1");
getRequest.fetchSourceContext(new FetchSourceContext(false));
getRequest.storedFields("_none_");
boolean exists = client.exists(getRequest, RequestOptions.DEFAULT);
System.out.println(exists);
}
//获取文档记录
@Test
void testGetDocument() throws IOException {
GetRequest getRequest = new GetRequest("llp_index","1");
GetResponse getResponse = client.get(getRequest, RequestOptions.DEFAULT);
System.out.println(getResponse.isExists());
System.out.println(getResponse.getSourceAsString());
System.out.println(getResponse);
}
//更新文档记录
@Test
void testUpdateDocument() throws IOException {
UpdateRequest request = new UpdateRequest("llp_index","1");
request.timeout(TimeValue.timeValueSeconds(2));
User user = new User("孙悟空",28);
request.doc(JSON.toJSONString(user),XContentType.JSON);
UpdateResponse updateResponse = client.update(request,RequestOptions.DEFAULT);
System.out.println(updateResponse.status());
}
//删除文档记录
@Test
void testDelete() throws IOException {
DeleteRequest request = new DeleteRequest("llp_index","1");
request.timeout(TimeValue.timeValueSeconds(2));
DeleteResponse delete = client.delete(request, RequestOptions.DEFAULT);
System.out.println(delete.status());
}
//批量添加数据
@Test
void testBulkRequest() throws IOException {
BulkRequest bulkRequest = new BulkRequest();
bulkRequest.timeout(TimeValue.timeValueMinutes(2));
List<User> users = Lists.newArrayList();
users.add(new User("孙悟空",1));
users.add(new User("猪八戒",1));
users.add(new User("沙悟净",1));
users.add(new User("唐僧",1));
users.add(new User("白骨精",1));
users.add(new User("蜘蛛精",1));
for (int i = 0; i < users.size(); i++) {
bulkRequest.add(new IndexRequest("llp_index").id(""+(i+1))
.source(JSON.toJSONString(users.get(i)),XContentType.JSON));
}
BulkResponse bulk = client.bulk(bulkRequest, RequestOptions.DEFAULT);
//是否添加失败
System.out.println(bulk.hasFailures());
}
//查询测试
@Test
void testSearch() throws IOException {
SearchRequest request = new SearchRequest("llp_index");
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
// TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("name", "孙悟空");
MatchQueryBuilder matchQueryBuilder = QueryBuilders.matchQuery("name", "孙");
// MatchAllQueryBuilder matchAllQueryBuilder = QueryBuilders.matchAllQuery();
searchSourceBuilder.query(matchQueryBuilder);
searchSourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
request.source(searchSourceBuilder);
SearchResponse searchResponse = client.search(request, RequestOptions.DEFAULT);
System.out.println(JSON.toJSONString(searchResponse.getHits()));
for (SearchHit documentFields : searchResponse.getHits()) {
System.out.println(documentFields.getSourceAsMap());
}
}
}
实体类
package com.llp.elasticsearch.entity;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
import org.springframework.stereotype.Component;
@Data
@AllArgsConstructor
@NoArgsConstructor
@Component
public class User {
private String name;
private int age;
}
实战测试
初始化项目
1、启动es服务和客户端
2、使用springboot快速构建服务
3、修改版本依赖！
<properties>
<java.version>1.8</java.version>
<!-- 这里SpringBoot默认配置的版本不匹配，我们需要自己配置版本！ -->
<elasticsearch.version>7.6.1</elasticsearch.version>
</properties>
4、配置 application.properties 文件
server.port=9090
# 关闭thymeleaf缓存
spring.thymeleaf.cache=false
5、导入前端的素材！修改为Thymeleaf支持的格式！
<html xmlns:th="http://www.thymeleaf.org">
6、编写IndexController进行跳转测试！
jsoup讲解
1、导入jsoup的依赖
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.13.1</version>
</dependency>
2、编写一个工具类 HtmlParseUtil
package com.llp.elasticsearchjd.utils;
import com.llp.elasticsearchjd.pojo.Content;
import org.apache.commons.codec.Encoder;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.springframework.stereotype.Component;
import java.io.IOException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
@Component
public class HtmlParseUtil {
public static void main(String[] args) throws IOException {
// jsoup不能抓取ajax的请求，除非自己模拟浏览器进行请求！
// 1、https://search.jd.com/Search?keyword=java
String url = "https://search.jd.com/Search?keyword=java";
// 2、解析网页（需要联网）
Document document = Jsoup.parse(new URL(url), 30000);
// 3、抓取搜索到的数据！
// Document 就是我们JS的Document对象，你可以看到很多JS语法
Element element = document.getElementById("J_goodsList");
// 4、找到所有的li元素
Elements elements = element.getElementsByTag("li");
// 获取京东的商品信息
for (Element el : elements) {
// 这种网站，一般为了保证效率，一般会延时加载图片
//https://img13.360buyimg.com/n1/s200x200_jfs/t1/178411/10/177/290041/607f7540E3f115804/5bb57caab13b6340.jpg
// String img = el.getElementsByTag("img").eq(0).attr("src");
String img = el.getElementsByTag("img").eq(0).attr("data-lazy-img");
String price = el.getElementsByClass("p-price").eq(0).text();
String title = el.getElementsByClass("p-name").eq(0).text();
System.out.println(img);
System.out.println(price);
System.out.println(title);
System.out.println("================================");
}
}
public List<Content> parseJD(String keyword) throws Exception {
// jsoup不能抓取ajax的请求，除非自己模拟浏览器进行请求！
// 1、https://search.jd.com/Search?keyword=java
String url = "https://search.jd.com/Search?keyword="+keyword;
// 2、解析网页（需要联网）
Document document = Jsoup.parse(new URL(url), 30000);
// 3、抓取搜索到的数据！
// Document 就是我们JS的Document对象，你可以看到很多JS语法
Element element = document.getElementById("J_goodsList");
// 4、找到所有的li元素
Elements elements = element.getElementsByTag("li");
List<Content> contents = new ArrayList<>();
// 获取京东的商品信息
for (Element el : elements) {
// 这种网站，一般为了保证效率，一般会延时加载图片
// String img = el.getElementsByTag("img").eq(0).attr("src");
String img = "https:"+el.getElementsByTag("img").eq(0).attr("data-lazy-img");
String title = el.getElementsByClass("p-name").eq(0).text();
String price = el.getElementsByClass("p-price").eq(0).text();
contents.add(new Content(img,title,price));
}
return contents;
}
}
3、封装一个实体类保存爬取下来的数据
package com.llp.elasticsearchjd.pojo;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Content {
private String img;
private String title;
private String price;
}
业务编写
1、导入ElasticsearchClientConfig 配置类
package com.llp.elasticsearchjd.config;
import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class ElasticsearchClientConfig {
@Bean
public RestHighLevelClient restHighLevelClient() {
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("127.0.0.1", 9200, "http")));
return client;
}
}
2、编写业务！
package com.llp.elasticsearchjd.service;
import com.alibaba.fastjson.JSON;
import com.llp.elasticsearchjd.pojo.Content;
import com.llp.elasticsearchjd.utils.HtmlParseUtil;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.client.indices.CreateIndexRequest;
import org.elasticsearch.client.indices.CreateIndexResponse;
import org.elasticsearch.client.indices.GetIndexRequest;
import org.elasticsearch.client.indices.GetIndexResponse;
import org.elasticsearch.common.text.Text;
import org.elasticsearch.common.unit.TimeValue;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.index.query.TermQueryBuilder;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder;
import org.elasticsearch.search.fetch.subphase.highlight.HighlightField;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;
@Service
public class ContentService {
@Autowired
@Qualifier("restHighLevelClient")
private RestHighLevelClient client;
public Boolean parseContent(String keyword) throws Exception {
//获取jd_goods索引
GetIndexRequest getIndexRequest = new GetIndexRequest("jd_goods");
boolean exists = client.indices().exists(getIndexRequest, RequestOptions.DEFAULT);
//判断jd_goods索引是否存在
if(!exists){
//不存在则创建索引
CreateIndexRequest createIndexRequest = new CreateIndexRequest("jd_goods");
client.indices().create(createIndexRequest, RequestOptions.DEFAULT);
}
// 解析查询出来的数据
List<Content> contents = new HtmlParseUtil().parseJD(keyword);
// 封装数据到索引库中！
BulkRequest bulkRequest = new BulkRequest();
bulkRequest.timeout(TimeValue.timeValueMinutes(2));
//bulkRequest.timeout("2m");
for (int i = 0; i < contents.size(); i++) {
bulkRequest.add(new IndexRequest("jd_goods")
.source(JSON.toJSONString(contents.get(i)), XContentType.JSON));
}
BulkResponse bulkResponse = client.bulk(bulkRequest, RequestOptions.DEFAULT);
return !bulkResponse.hasFailures();
}
public List<Map<String, Object>> searchContentPage(String keyword, int pageNo, int pageSize) throws IOException {
// 基本的参数判断！
if (pageNo <= 1) {
pageNo = 1;
}
//获取jd_goods索引
GetIndexRequest getIndexRequest = new GetIndexRequest("jd_goods");
boolean exists = client.indices().exists(getIndexRequest, RequestOptions.DEFAULT);
//判断jd_goods索引是否存在
if(!exists){
//不存在则创建索引
CreateIndexRequest createIndexRequest = new CreateIndexRequest("jd_goods");
client.indices().create(createIndexRequest, RequestOptions.DEFAULT);
}
// 基本的条件搜索
SearchRequest searchRequest = new SearchRequest("jd_goods");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
// 分页
sourceBuilder.from(pageNo);
sourceBuilder.size(pageSize);
// 精准匹配 QueryBuilders 根据自己要求配置查询条件即可！
TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title",
keyword);
sourceBuilder.query(termQueryBuilder);
sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
// 搜索
searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest,
RequestOptions.DEFAULT);
// 解析结果！
List<Map<String, Object>> list = new ArrayList<>();
for (SearchHit documentFields : response.getHits().getHits()) {
list.add(documentFields.getSourceAsMap());
}
return list;
}
public List<Map<String, Object>> highlightSearch(String keyword, int pageNo, int pageSize) throws IOException {
// 基本的参数判断！
if (pageNo <= 1) {
pageNo = 1;
}
//获取jd_goods索引
GetIndexRequest getIndexRequest = new GetIndexRequest("jd_goods");
boolean exists = client.indices().exists(getIndexRequest, RequestOptions.DEFAULT);
//判断jd_goods索引是否存在
if(!exists){
//不存在则创建索引
CreateIndexRequest createIndexRequest = new CreateIndexRequest("jd_goods");
client.indices().create(createIndexRequest, RequestOptions.DEFAULT);
}
// 基本的条件搜索
SearchRequest searchRequest = new SearchRequest("jd_goods");
SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
// 分页
sourceBuilder.from(pageNo);
sourceBuilder.size(pageSize);
// 精准匹配 QueryBuilders 根据自己要求配置查询条件即可！
TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("title",
keyword);
sourceBuilder.query(termQueryBuilder);
//高亮构建！
HighlightBuilder highlightBuilder = new HighlightBuilder();//生成高亮查询器
highlightBuilder.field("title");
highlightBuilder.requireFieldMatch(false); //如果要多个字段高亮,这项要为false
highlightBuilder.preTags("<span style=\"color:red\">"); //高亮设置
highlightBuilder.postTags("</span>");
sourceBuilder.highlighter(highlightBuilder);
sourceBuilder.timeout(new TimeValue(60, TimeUnit.SECONDS));
// 搜索
searchRequest.source(sourceBuilder);
SearchResponse response = client.search(searchRequest,
RequestOptions.DEFAULT);
// 解析结果！
List<Map<String, Object>> list = new ArrayList<>();
for (SearchHit hit : response.getHits().getHits()) {
//获取高亮字段
Map<String, HighlightField> highlightFields =
hit.getHighlightFields();
HighlightField titleField = highlightFields.get("title");
Map<String, Object> source = hit.getSourceAsMap();
//千万记得要记得判断是不是为空,不然你匹配的第一个结果没有高亮内容,那么就会报空指针异常,这个错误一开始真的搞了很久
if(titleField!=null){
Text[] fragments = titleField.fragments();
String name = "";
for (Text text : fragments) {
name += text;
}
source.put("title", name); //高亮字段替换掉原本的内容
}
list.add(source);
}
return list;
}
}
3、controller
package com.llp.elasticsearchjd.controller;
import com.llp.elasticsearchjd.service.ContentService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
import java.util.Map;
@RestController
public class ContentController {
@Autowired
private ContentService contentService;
@GetMapping("/parse/{keyword}")
public Boolean parse(@PathVariable("keyword") String keyword) throws Exception {
return contentService.parseContent(keyword);
}
//http://localhost:9090/search/java/1/10
@GetMapping("/search/{keyword}/{pageNo}/{pageSize}")
public List<Map<String, Object>> search(@PathVariable("keyword") String keyword,
@PathVariable("pageNo") int pageNo,
@PathVariable("pageSize") int pageSize) throws Exception {
return contentService.searchContentPage(keyword, pageNo, pageSize);
}
@GetMapping("/highlight/search/{keyword}/{pageNo}/{pageSize}")
public List<Map<String, Object>> highlightSearch(@PathVariable("keyword") String keyword,
@PathVariable("pageNo") int pageNo,
@PathVariable("pageSize") int pageSize) throws Exception {
return contentService.highlightSearch(keyword, pageNo, pageSize);
}
}
前端逻辑、搜索高亮
1、定义导入vue和axios的依赖！
<script th:src="@{/js/axios.js}"></script>
<script th:src="@{/js/vue.min.js}"></script>
2、初始化Vue对象，给外层div绑定app对象！
<script>
new Vue({
el: '#app',
data: {
keyword: '', // 搜索关键字
results: [] // 搜索的结果
}
})
</script>
3、绑定搜索框及相关事件！
4、编写方法，获取后端传递的数据！
<script>
new Vue({
el: '#app',
data: {
keyword: '',
results: []
},
methods: {
searchKey(){
var keyword = this.keyword;
console.log(keyword);
axios.get('/highlight/search/'+keyword+"/1/10").then(response=>{
console.log(response);
this.results = response.data;
});
}
}
})
</script>
5、渲染解析回来的数据！
3、前端vue指令解析html！
<!--标题-->
<p class="productTitle">
<a v-html="result.title"> </a>
</p>
4、最终效果！
标题：Elasticsearch7.6（windows版单机版）api使用及JD搜索高亮显示
作者：llp
地址：https://llinp.cn/articles/2021/12/31/1640925839073.html