39 changed files with 4457 additions and 768 deletions
-
4.idea/compiler.xml
-
2.idea/encodings.xml
-
13.idea/libraries/Maven__com_alibaba_fastjson_1_1_22.xml
-
6.idea/misc.xml
-
3.idea/modules.xml
-
174cl_query_data_job/cl_query_data_job.iml
-
173cl_search_api/cl_search_api.iml
-
12cl_search_api/pom.xml
-
2cl_search_api/src/main/java/com/bfd/mf/SearchApplication.java
-
31cl_search_api/src/main/java/com/bfd/mf/common/service/cache/TopicQueryService.java
-
209cl_search_api/src/main/java/com/bfd/mf/common/service/es/BaseFieldEnum.java
-
416cl_search_api/src/main/java/com/bfd/mf/common/service/es/BaseSearchQuery.java
-
879cl_search_api/src/main/java/com/bfd/mf/common/service/es/EsBase.java
-
240cl_search_api/src/main/java/com/bfd/mf/common/service/es/EsBaseParam.java
-
277cl_search_api/src/main/java/com/bfd/mf/common/service/es/EsDTO.java
-
108cl_search_api/src/main/java/com/bfd/mf/common/service/es/EsQueryServiceForSQMini.java
-
414cl_search_api/src/main/java/com/bfd/mf/common/service/es/GetQueryBuilder.java
-
118cl_search_api/src/main/java/com/bfd/mf/common/service/es/HighLevelQuery.java
-
4cl_search_api/src/main/java/com/bfd/mf/common/service/es/ParseSearchScopeService.java
-
11cl_search_api/src/main/java/com/bfd/mf/common/util/constants/ESConstant.java
-
209cl_search_api/src/main/java/com/bfd/mf/common/util/enums/BaseFieldEnum.java
-
15cl_search_api/src/main/java/com/bfd/mf/common/util/enums/DocumentFieldEnum.java
-
138cl_search_api/src/main/java/com/bfd/mf/common/util/enums/SearchExpressionEnum.java
-
160cl_search_api/src/main/java/com/bfd/mf/common/util/enums/SearchMatchTypeEnum.java
-
218cl_search_api/src/main/java/com/bfd/mf/common/util/enums/SearchScopeEnum.java
-
71cl_search_api/src/main/java/com/bfd/mf/common/util/enums/SearchWordStrategyEnum.java
-
306cl_search_api/src/main/java/com/bfd/mf/common/util/es/EsUtils.java
-
13cl_search_api/src/main/java/com/bfd/mf/common/util/slice/SliceScrollUtil.java
-
4cl_search_api/src/main/java/com/bfd/mf/common/util/utility/CollectionUtils.java
-
22cl_search_api/src/main/java/com/bfd/mf/common/web/repository/mysql/topic/TaskRepository.java
-
109cl_search_api/src/main/java/com/bfd/mf/common/web/vo/params/QueryRequest.java
-
28cl_search_api/src/main/java/com/bfd/mf/common/web/vo/view/monitor/ESMonitorBaseEntity.java
-
137cl_search_api/src/main/java/com/bfd/mf/controller/SearchDataController.java
-
2cl_search_api/src/main/java/com/bfd/mf/service/SearchAnalysisService.java
-
101cl_search_api/src/main/java/com/bfd/mf/service/SearchAuthorService.java
-
306cl_search_api/src/main/java/com/bfd/mf/service/SearchDataService.java
-
61cl_search_api/src/main/resources/application-113.yml
-
61cl_search_api/src/main/resources/application-134.yml
-
14cl_search_api/src/main/resources/application.yml
@ -1,13 +0,0 @@ |
|||||
<component name="libraryTable"> |
|
||||
<library name="Maven: com.alibaba:fastjson:1.1.22"> |
|
||||
<CLASSES> |
|
||||
<root url="jar://$MAVEN_REPOSITORY$/com/alibaba/fastjson/1.1.22/fastjson-1.1.22.jar!/" /> |
|
||||
</CLASSES> |
|
||||
<JAVADOC> |
|
||||
<root url="jar://$MAVEN_REPOSITORY$/com/alibaba/fastjson/1.1.22/fastjson-1.1.22-javadoc.jar!/" /> |
|
||||
</JAVADOC> |
|
||||
<SOURCES> |
|
||||
<root url="jar://$MAVEN_REPOSITORY$/com/alibaba/fastjson/1.1.22/fastjson-1.1.22-sources.jar!/" /> |
|
||||
</SOURCES> |
|
||||
</library> |
|
||||
</component> |
|
||||
@ -0,0 +1,209 @@ |
|||||
|
package com.bfd.mf.common.service.es; |
||||
|
|
||||
|
import java.util.Arrays; |
||||
|
import java.util.HashMap; |
||||
|
import java.util.Map; |
||||
|
|
||||
|
/** |
||||
|
* 文档-网页-图片索引属性枚举 |
||||
|
* @author lihonghao |
||||
|
*/ |
||||
|
public enum BaseFieldEnum { |
||||
|
/** |
||||
|
* 文件id |
||||
|
*/ |
||||
|
id, |
||||
|
/** |
||||
|
* 文件md5值 |
||||
|
*/ |
||||
|
md5, |
||||
|
/** |
||||
|
* 文件标题 |
||||
|
*/ |
||||
|
title, |
||||
|
/** |
||||
|
* 摘要 |
||||
|
*/ |
||||
|
summary, |
||||
|
/** |
||||
|
* 文档内容 |
||||
|
*/ |
||||
|
content, |
||||
|
/** |
||||
|
* 数据来源 |
||||
|
*/ |
||||
|
source, |
||||
|
/** |
||||
|
* 原文/译文 |
||||
|
*/ |
||||
|
type, |
||||
|
/** |
||||
|
* 原文id |
||||
|
*/ |
||||
|
original_id, |
||||
|
/** |
||||
|
*入库时间 |
||||
|
*/ |
||||
|
create_time, |
||||
|
/** |
||||
|
* 文档语言 |
||||
|
*/ |
||||
|
language, |
||||
|
/** |
||||
|
* 上传用户 |
||||
|
*/ |
||||
|
upload_user, |
||||
|
/** |
||||
|
* 上传用户姓名 |
||||
|
*/ |
||||
|
upload_user_name, |
||||
|
/** |
||||
|
* 是否删除 |
||||
|
*/ |
||||
|
del, |
||||
|
/** |
||||
|
* 网站枚举 |
||||
|
*/ |
||||
|
website, |
||||
|
/** |
||||
|
* 发布人 |
||||
|
*/ |
||||
|
publisher, |
||||
|
/** |
||||
|
* 发布时间 |
||||
|
*/ |
||||
|
public_time, |
||||
|
/** |
||||
|
* 网站版面 |
||||
|
*/ |
||||
|
cate_md5, |
||||
|
/** |
||||
|
* 智能标签 |
||||
|
*/ |
||||
|
ai_tag, |
||||
|
/** |
||||
|
* 智能地区 |
||||
|
*/ |
||||
|
ai_area, |
||||
|
/** |
||||
|
* 主题一级分类 |
||||
|
*/ |
||||
|
subject_classify1, |
||||
|
/** |
||||
|
* 主题二级分类 |
||||
|
*/ |
||||
|
subject_classify2, |
||||
|
/** |
||||
|
* 主题 |
||||
|
*/ |
||||
|
subject, |
||||
|
/** |
||||
|
* 渠道 |
||||
|
*/ |
||||
|
channel, |
||||
|
/** |
||||
|
* 审核状态 |
||||
|
*/ |
||||
|
audit_state, |
||||
|
/** |
||||
|
* 用户上传文档，归属部门 |
||||
|
*/ |
||||
|
department_id, |
||||
|
/** |
||||
|
* 整编状态 |
||||
|
*/ |
||||
|
edit_state, |
||||
|
|
||||
|
/** |
||||
|
* 敏感词 |
||||
|
*/ |
||||
|
sensitive_tag, |
||||
|
/** |
||||
|
* 置顶状态 |
||||
|
*/ |
||||
|
flag_top, |
||||
|
/** |
||||
|
* 置顶有效期 |
||||
|
*/ |
||||
|
flag_top_validity, |
||||
|
/** |
||||
|
* 0-无 1-不重要 2-有点重要 3-一般、4-重要、5-非常重要 |
||||
|
*/ |
||||
|
flag_importance, |
||||
|
/** |
||||
|
* 分类标签 |
||||
|
*/ |
||||
|
subject_tag, |
||||
|
/** |
||||
|
* 事件id |
||||
|
*/ |
||||
|
event_id, |
||||
|
/** |
||||
|
* 事件id |
||||
|
*/ |
||||
|
event_detect_time, |
||||
|
/** |
||||
|
* 重复校验字段 |
||||
|
*/ |
||||
|
duplicate_key, |
||||
|
/** |
||||
|
* 媒体类型 |
||||
|
*/ |
||||
|
media_type, |
||||
|
/** |
||||
|
* 文中提及的标准时间 |
||||
|
*/ |
||||
|
norm_time, |
||||
|
/** |
||||
|
* 时间间隔（天） |
||||
|
*/ |
||||
|
delay_time, |
||||
|
/** |
||||
|
* 省名称 |
||||
|
*/ |
||||
|
province_code, |
||||
|
/** |
||||
|
* 市名称 |
||||
|
*/ |
||||
|
city_code, |
||||
|
/** |
||||
|
* 区县 |
||||
|
*/ |
||||
|
county_code, |
||||
|
|
||||
|
; |
||||
|
|
||||
|
/** |
||||
|
* 需要进行匹配的属性 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static Map<String, Float> getMatchFields(){ |
||||
|
Map<String, Float> matchMap = new HashMap<>(2); |
||||
|
matchMap.put(BaseFieldEnum.title.name(), 2.0F); |
||||
|
matchMap.put(BaseFieldEnum.content.name(), 1.0F); |
||||
|
return matchMap; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 需要进行匹配的属性-含拼音 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static Map<String, Float> getMatchFieldsWithPy(){ |
||||
|
Map<String, Float> matchMap = getMatchFields(); |
||||
|
Map<String, Float> pyMap = new HashMap<>(matchMap.size() * 2); |
||||
|
matchMap.forEach((k, v) -> { |
||||
|
pyMap.put(k, v); |
||||
|
/// 系统中取消拼音搜索 |
||||
|
//pyMap.put(k.concat(EsBase.ES_PINYIN_SUFFIX), v/10); |
||||
|
}); |
||||
|
return pyMap; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部属性名 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static String[] getAllFields(){ |
||||
|
return Arrays.stream(values()).map(BaseFieldEnum::name).toArray(String[]::new); |
||||
|
} |
||||
|
} |
||||
@ -0,0 +1,416 @@ |
|||||
|
//package com.bfd.mf.common.service.es; |
||||
|
// |
||||
|
//import cn.percent.common.base.BasePageQuery; |
||||
|
//import cn.percent.modules.ais.enums.SearchMatchTypeEnum; |
||||
|
//import io.swagger.annotations.ApiModel; |
||||
|
//import io.swagger.annotations.ApiModelProperty; |
||||
|
// |
||||
|
//import java.util.List; |
||||
|
//import java.util.stream.Collectors; |
||||
|
// |
||||
|
///** |
||||
|
// * 检索查询基础类 |
||||
|
// * |
||||
|
// * @author lihonghao |
||||
|
// */ |
||||
|
//@ApiModel(value = "BaseSearchQuery") |
||||
|
//public class BaseSearchQuery extends BasePageQuery { |
||||
|
// |
||||
|
// /** |
||||
|
// * 限制数据主键范围 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "documentId限制数据主键范围", hidden = true) |
||||
|
// private String[] documentId; |
||||
|
// /** |
||||
|
// * 二次搜索关键词 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "二次搜索关键词") |
||||
|
// private String sk; |
||||
|
// /** |
||||
|
// * 排除关键词 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "排除关键词") |
||||
|
// private String nk; |
||||
|
// /** |
||||
|
// * 标题搜索 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "标题搜索") |
||||
|
// private String title; |
||||
|
// /** |
||||
|
// * 是否高亮 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "是否高亮, 默认高亮") |
||||
|
// private Boolean highlight = true; |
||||
|
// /** |
||||
|
// * 原文译文 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "原文译文,多值逗号分隔 /enum/contentType枚举值") |
||||
|
// private List<String> contentTypeList; |
||||
|
// /** |
||||
|
// * 开始时间 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "开始时间") |
||||
|
// private Long beginTime; |
||||
|
// /** |
||||
|
// * 结束时间 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "结束时间") |
||||
|
// private Long endTime; |
||||
|
// /** |
||||
|
// * 上传用户 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "是否只展示当前用户数据 1-是 0-否 默认否") |
||||
|
// private Integer onlyMine; |
||||
|
// /** |
||||
|
// * 上传用户 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "上传用户账号", hidden = true) |
||||
|
// private String uploadUser; |
||||
|
// /** |
||||
|
// * 文档来源 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "文档来源,多值逗号分隔 /enum/source枚举值") |
||||
|
// private List<String> sourceList; |
||||
|
// /** |
||||
|
// * 语言 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "语言,多值逗号分隔或数组") |
||||
|
// private List<String> languageList; |
||||
|
// /** |
||||
|
// * 语言 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "智能标签,多值逗号分隔或数组") |
||||
|
// private List<String> aiTagList; |
||||
|
// /** |
||||
|
// * 语言 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "智能地区,多值逗号分隔或数组") |
||||
|
// private List<String> aiAreaList; |
||||
|
// /** |
||||
|
// * 主题一级分类 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "主题一级分类编码, 默认全部") |
||||
|
// private String subjectClassify1; |
||||
|
// /** |
||||
|
// * 主题2级分类 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "主题2级分类编码, 默认全部") |
||||
|
// private String subjectClassify2; |
||||
|
// /** |
||||
|
// * 主题 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "主题编码,多值逗号分隔或数组") |
||||
|
// private List<String> subjectList; |
||||
|
// /** |
||||
|
// * 网站 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "网站 /enum/website枚举值，单值") |
||||
|
// public String website; |
||||
|
// /** |
||||
|
// * 网站 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "网站 /enum/website枚举值,多值逗号分隔或数组") |
||||
|
// public List<String> websiteList; |
||||
|
// /** |
||||
|
// * 所属网站的版面--面包夹 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "所属网站的版面--面包夹md5,多值逗号分隔或数组") |
||||
|
// private List<String> cateMd5List; |
||||
|
// /** |
||||
|
// * 升序降序 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "升序降序 1升序 2降序，默认降序排列") |
||||
|
// private Integer order = 2; |
||||
|
// /** |
||||
|
// * 排序类型 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "排序类型：1相关度排序 2时间排序，默认相关度排序") |
||||
|
// private Integer orderType = 1; |
||||
|
// /** |
||||
|
// * 高级搜索 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "高级搜索") |
||||
|
// private List<HighLevelQuery> highLevelQueries; |
||||
|
// |
||||
|
// /** |
||||
|
// * 精确搜索--提取出的短语集合 |
||||
|
// */ |
||||
|
// @ApiModelProperty(hidden = true) |
||||
|
// private List<String> accurateList; |
||||
|
// /** |
||||
|
// * 渠道 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "渠道数据来源") |
||||
|
// private List<String> channelList; |
||||
|
// /** |
||||
|
// * 文档审核状态 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "文档审核状态 0-未审核，1-审核通过， 2-审核不通过") |
||||
|
// private List<Integer> auditStateList; |
||||
|
// /** |
||||
|
// * 实体类型 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "实体类型") |
||||
|
// private List<Integer> ontologyIdList; |
||||
|
// /** |
||||
|
// * 是否高级搜索 |
||||
|
// * |
||||
|
// * @return |
||||
|
// */ |
||||
|
// @ApiModelProperty(hidden = true) |
||||
|
// public boolean isHighLevel() { |
||||
|
// return highLevelQueries != null && !highLevelQueries.isEmpty(); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 是否精确搜索 |
||||
|
// * |
||||
|
// * @return |
||||
|
// */ |
||||
|
// @ApiModelProperty(hidden = true) |
||||
|
// public boolean isAccurateQuery() { |
||||
|
// return null != accurateList && !accurateList.isEmpty(); |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// /** |
||||
|
// * 是否是跨度搜索 |
||||
|
// * |
||||
|
// * @return |
||||
|
// */ |
||||
|
// @ApiModelProperty(hidden = true) |
||||
|
// public boolean isSpanQuery() { |
||||
|
// return this.isHighLevel() && highLevelQueries.stream().anyMatch(e -> SearchMatchTypeEnum.PARAGRAPH.equals(e.getMatchType()) || SearchMatchTypeEnum.SENTENCE.equals(e.getMatchType())); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 部门，0-不查询部门，1-查询用户所在部门 |
||||
|
// */ |
||||
|
// @ApiModelProperty(value = "部门，0-不查询部门，1-查询用户所在部门") |
||||
|
// private String onlyDepartment; |
||||
|
// |
||||
|
// public String getOnlyDepartment() { |
||||
|
// return onlyDepartment; |
||||
|
// } |
||||
|
// |
||||
|
// public void setOnlyDepartment(String onlyDepartment) { |
||||
|
// this.onlyDepartment = onlyDepartment; |
||||
|
// } |
||||
|
// |
||||
|
// public String[] getDocumentId() { |
||||
|
// return documentId; |
||||
|
// } |
||||
|
// |
||||
|
// public void setDocumentId(String... documentId) { |
||||
|
// this.documentId = documentId; |
||||
|
// } |
||||
|
// |
||||
|
// public String getTitle() { |
||||
|
// return title; |
||||
|
// } |
||||
|
// |
||||
|
// public void setTitle(String title) { |
||||
|
// this.title = title; |
||||
|
// } |
||||
|
// |
||||
|
// public Boolean getHighlight() { |
||||
|
// return highlight; |
||||
|
// } |
||||
|
// |
||||
|
// public void setHighlight(Boolean highlight) { |
||||
|
// this.highlight = highlight; |
||||
|
// } |
||||
|
// |
||||
|
// public Long getBeginTime() { |
||||
|
// return beginTime; |
||||
|
// } |
||||
|
// |
||||
|
// public void setBeginTime(Long beginTime) { |
||||
|
// this.beginTime = beginTime; |
||||
|
// } |
||||
|
// |
||||
|
// public Long getEndTime() { |
||||
|
// return endTime; |
||||
|
// } |
||||
|
// |
||||
|
// public void setEndTime(Long endTime) { |
||||
|
// this.endTime = endTime; |
||||
|
// } |
||||
|
// |
||||
|
// public String getUploadUser() { |
||||
|
// return uploadUser; |
||||
|
// } |
||||
|
// |
||||
|
// public void setUploadUser(String uploadUser) { |
||||
|
// this.uploadUser = uploadUser; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getLanguageList() { |
||||
|
// return languageList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setLanguageList(List<String> languageList) { |
||||
|
// this.languageList = languageList; |
||||
|
// } |
||||
|
// |
||||
|
// public Integer getOrder() { |
||||
|
// return order; |
||||
|
// } |
||||
|
// |
||||
|
// public void setOrder(Integer order) { |
||||
|
// this.order = order; |
||||
|
// } |
||||
|
// |
||||
|
// public Integer getOrderType() { |
||||
|
// return orderType; |
||||
|
// } |
||||
|
// |
||||
|
// public void setOrderType(Integer orderType) { |
||||
|
// this.orderType = orderType; |
||||
|
// } |
||||
|
// |
||||
|
// public String getSk() { |
||||
|
// return sk; |
||||
|
// } |
||||
|
// |
||||
|
// public void setSk(String sk) { |
||||
|
// this.sk = sk; |
||||
|
// } |
||||
|
// |
||||
|
// public List<HighLevelQuery> getHighLevelQueries() { |
||||
|
// return highLevelQueries; |
||||
|
// } |
||||
|
// |
||||
|
// public void setHighLevelQueries(List<HighLevelQuery> highLevelQueries) { |
||||
|
// this.highLevelQueries = highLevelQueries == null ? null : highLevelQueries.stream().filter(HighLevelQuery::isAvailable).collect(Collectors.toList()); |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getContentTypeList() { |
||||
|
// return contentTypeList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setContentTypeList(List<String> contentTypeList) { |
||||
|
// this.contentTypeList = contentTypeList; |
||||
|
// } |
||||
|
// |
||||
|
// public Integer getOnlyMine() { |
||||
|
// return onlyMine; |
||||
|
// } |
||||
|
// |
||||
|
// public void setOnlyMine(Integer onlyMine) { |
||||
|
// this.onlyMine = onlyMine; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getSourceList() { |
||||
|
// return sourceList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setSourceList(List<String> sourceList) { |
||||
|
// this.sourceList = sourceList; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getAiTagList() { |
||||
|
// return aiTagList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setAiTagList(List<String> aiTagList) { |
||||
|
// this.aiTagList = aiTagList; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getAiAreaList() { |
||||
|
// return aiAreaList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setAiAreaList(List<String> aiAreaList) { |
||||
|
// this.aiAreaList = aiAreaList; |
||||
|
// } |
||||
|
// |
||||
|
// public String getSubjectClassify1() { |
||||
|
// return subjectClassify1; |
||||
|
// } |
||||
|
// |
||||
|
// public void setSubjectClassify1(String subjectClassify1) { |
||||
|
// this.subjectClassify1 = subjectClassify1; |
||||
|
// } |
||||
|
// |
||||
|
// public String getSubjectClassify2() { |
||||
|
// return subjectClassify2; |
||||
|
// } |
||||
|
// |
||||
|
// public void setSubjectClassify2(String subjectClassify2) { |
||||
|
// this.subjectClassify2 = subjectClassify2; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getSubjectList() { |
||||
|
// return subjectList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setSubjectList(List<String> subjectList) { |
||||
|
// this.subjectList = subjectList; |
||||
|
// } |
||||
|
// |
||||
|
// public String getWebsite() { |
||||
|
// return website; |
||||
|
// } |
||||
|
// |
||||
|
// public void setWebsite(String website) { |
||||
|
// this.website = website; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getWebsiteList() { |
||||
|
// return websiteList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setWebsiteList(List<String> websiteList) { |
||||
|
// this.websiteList = websiteList; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getCateMd5List() { |
||||
|
// return cateMd5List; |
||||
|
// } |
||||
|
// |
||||
|
// public void setCateMd5List(List<String> cateMd5List) { |
||||
|
// this.cateMd5List = cateMd5List; |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// public List<String> getAccurateList() { |
||||
|
// return accurateList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setAccurateList(List<String> accurateList) { |
||||
|
// this.accurateList = accurateList; |
||||
|
// } |
||||
|
// |
||||
|
// public List<String> getChannelList() { |
||||
|
// return channelList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setChannelList(List<String> channelList) { |
||||
|
// this.channelList = channelList; |
||||
|
// } |
||||
|
// |
||||
|
// public List<Integer> getAuditStateList() { |
||||
|
// return auditStateList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setAuditStateList(List<Integer> auditStateList) { |
||||
|
// this.auditStateList = auditStateList; |
||||
|
// } |
||||
|
// |
||||
|
// public String getNk() { |
||||
|
// return nk; |
||||
|
// } |
||||
|
// |
||||
|
// public void setNk(String nk) { |
||||
|
// this.nk = nk; |
||||
|
// } |
||||
|
// |
||||
|
// public List<Integer> getOntologyIdList() { |
||||
|
// return ontologyIdList; |
||||
|
// } |
||||
|
// |
||||
|
// public void setOntologyIdList(List<Integer> ontologyIdList) { |
||||
|
// this.ontologyIdList = ontologyIdList; |
||||
|
// } |
||||
|
//} |
||||
@ -0,0 +1,879 @@ |
|||||
|
//package com.bfd.mf.common.service.es; |
||||
|
// |
||||
|
//import com.google.common.base.Strings; |
||||
|
//import org.apache.commons.lang.ArrayUtils; |
||||
|
//import org.apache.commons.lang.StringUtils; |
||||
|
//import org.apache.lucene.queryparser.classic.QueryParser; |
||||
|
//import org.apache.lucene.search.join.ScoreMode; |
||||
|
//import org.elasticsearch.action.search.SearchRequestBuilder; |
||||
|
//import org.elasticsearch.action.search.SearchResponse; |
||||
|
//import org.elasticsearch.action.search.SearchType; |
||||
|
//import org.elasticsearch.client.transport.TransportClient; |
||||
|
//import org.elasticsearch.common.text.Text; |
||||
|
//import org.elasticsearch.index.query.BoolQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.DisMaxQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.MultiMatchQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.QueryBuilder; |
||||
|
//import org.elasticsearch.index.query.QueryBuilders; |
||||
|
//import org.elasticsearch.index.query.SpanNearQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.SpanNotQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.SpanQueryBuilder; |
||||
|
//import org.elasticsearch.index.query.TermsQueryBuilder; |
||||
|
//import org.elasticsearch.search.SearchHit; |
||||
|
//import org.elasticsearch.search.SearchHits; |
||||
|
//import org.elasticsearch.search.aggregations.AggregationBuilder; |
||||
|
//import org.elasticsearch.search.aggregations.AggregationBuilders; |
||||
|
//import org.elasticsearch.search.aggregations.bucket.nested.Nested; |
||||
|
//import org.elasticsearch.search.aggregations.bucket.nested.NestedAggregationBuilder; |
||||
|
//import org.elasticsearch.search.aggregations.bucket.terms.Terms; |
||||
|
//import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder; |
||||
|
//import org.elasticsearch.search.fetch.subphase.highlight.HighlightField; |
||||
|
//import org.elasticsearch.search.rescore.RescoreBuilder; |
||||
|
//import org.elasticsearch.search.sort.FieldSortBuilder; |
||||
|
//import org.elasticsearch.search.sort.SortBuilders; |
||||
|
//import org.elasticsearch.search.sort.SortOrder; |
||||
|
//import org.slf4j.Logger; |
||||
|
//import org.slf4j.LoggerFactory; |
||||
|
//import org.springframework.stereotype.Component; |
||||
|
// |
||||
|
//import javax.annotation.Resource; |
||||
|
//import java.util.ArrayList; |
||||
|
//import java.util.Arrays; |
||||
|
//import java.util.HashMap; |
||||
|
//import java.util.List; |
||||
|
//import java.util.Map; |
||||
|
//import java.util.Objects; |
||||
|
//import java.util.function.Consumer; |
||||
|
//import java.util.stream.Collectors; |
||||
|
//import java.util.stream.Stream; |
||||
|
// |
||||
|
// |
||||
|
///** |
||||
|
// * es 基础服务 |
||||
|
// * |
||||
|
// * @author Aquarius & Hao |
||||
|
// */ |
||||
|
//@Component |
||||
|
//public class EsBase { |
||||
|
// |
||||
|
// protected Logger logger = LoggerFactory.getLogger(EsBase.class); |
||||
|
// @Resource |
||||
|
// protected TransportClient transportClient; |
||||
|
// /** |
||||
|
// * keyword默认名 |
||||
|
// */ |
||||
|
// public static final String ES_INDEX = "_index"; |
||||
|
// /** |
||||
|
// * 默认索引type |
||||
|
// */ |
||||
|
// public static final String ES_TYPE = "docs"; |
||||
|
// /** |
||||
|
// * keyword默认名 |
||||
|
// */ |
||||
|
// public static final String ES_KEYWORD_SUFFIX = ".keyword"; |
||||
|
// /** |
||||
|
// * 拼音默认名 |
||||
|
// */ |
||||
|
// public static final String ES_PINYIN_SUFFIX = ".pinyin"; |
||||
|
// /** |
||||
|
// * 拼音默认名 |
||||
|
// */ |
||||
|
// public static final String ES_SPY_SUFFIX = ".spy"; |
||||
|
// /** |
||||
|
// * 拼音默认名 |
||||
|
// */ |
||||
|
// public static final String ES_FPY_SUFFIX = ".fpy"; |
||||
|
// /** |
||||
|
// * 拼音默认名 |
||||
|
// */ |
||||
|
// public static final String ES_NGRAM_SUFFIX = ".ngram"; |
||||
|
// /** |
||||
|
// * 分隔符星号 |
||||
|
// */ |
||||
|
// public static final String SEPARATOR_ASTERISK = "*"; |
||||
|
// /** |
||||
|
// * 分隔符点 |
||||
|
// */ |
||||
|
// public static final String SEPARATOR_POINT = "."; |
||||
|
// /** |
||||
|
// * 分隔符逗号 |
||||
|
// */ |
||||
|
// public static final String SEPARATOR_COMMA = ","; |
||||
|
// /** |
||||
|
// * es返回_id键值 |
||||
|
// */ |
||||
|
// public static final String ES_DOC_ID = "ES_DOC_ID"; |
||||
|
// /** |
||||
|
// * es返回高亮信息 |
||||
|
// */ |
||||
|
// public static final String ES_HIGHLIGHT_FIELD = "ES_HIGHLIGHT_FIELD"; |
||||
|
// /** |
||||
|
// * es 句子分隔符 |
||||
|
// */ |
||||
|
// public static final String SEPARATOR_SENTENCE = "sentenceforbfd"; |
||||
|
// /** |
||||
|
// * es返 段落分隔符 |
||||
|
// */ |
||||
|
// public static final String SEPARATOR_PARAGRAPH = "paragraphforbfd"; |
||||
|
// |
||||
|
// /** |
||||
|
// * field append suffix e.g. ".keyword" |
||||
|
// * |
||||
|
// * @return e.g. "id.keyword" |
||||
|
// */ |
||||
|
// public String keyword(String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return field + ES_KEYWORD_SUFFIX; |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 字段添加.pin后缀 |
||||
|
// * |
||||
|
// * @param field |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String pinyin(String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return field + ES_PINYIN_SUFFIX; |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 字段添加.spy后缀 |
||||
|
// * |
||||
|
// * @param field |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String spy(String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return field + ES_SPY_SUFFIX; |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 字段添加.fpy后缀 |
||||
|
// * |
||||
|
// * @param field |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String fpy(String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return field + ES_FPY_SUFFIX; |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 字段添加.ngram后缀 |
||||
|
// * |
||||
|
// * @param field |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String ngram(String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return field + ES_NGRAM_SUFFIX; |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * Splicing "*" |
||||
|
// * |
||||
|
// * @param value |
||||
|
// * @return e.g. "*test*" |
||||
|
// */ |
||||
|
// public String wildcardDelimiter(String value) { |
||||
|
// if (StringUtils.isNotBlank(value)) { |
||||
|
// return SEPARATOR_ASTERISK + value + SEPARATOR_ASTERISK; |
||||
|
// } |
||||
|
// return value; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 属性值转为nested属性 |
||||
|
// * |
||||
|
// * @param field |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String nested(String nested, String field) { |
||||
|
// if (StringUtils.isNotBlank(field)) { |
||||
|
// return nested.concat(SEPARATOR_POINT).concat(field); |
||||
|
// } |
||||
|
// return field; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 返回匹配 s | s,... | ...,s | ...,s,... 的正则表达式 |
||||
|
// */ |
||||
|
// public String regexp(String s) { |
||||
|
// return "(.+,)*" + s + "(,.+)*"; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 拼装嵌套查询 |
||||
|
// * |
||||
|
// * @param nested 属性名 |
||||
|
// * @param field 子级属性名 |
||||
|
// * @param values 值 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public QueryBuilder nestedTermQuery(String nested, String field, Object... values) { |
||||
|
// return this.nestedQuery(nested, QueryBuilders.termsQuery(this.nested(nested, field), values)); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 拼装嵌套查询 |
||||
|
// * |
||||
|
// * @param field 属性名 |
||||
|
// * @param value 属性值 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public QueryBuilder nestedWildcardQuery(String nested, String field, String value) { |
||||
|
// return this.nestedQuery(nested, QueryBuilders.wildcardQuery(this.nested(nested, field), this.wildcardDelimiter(value))); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 拼装nested条件 |
||||
|
// * |
||||
|
// * @param nested |
||||
|
// * @param queryBuilder |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public QueryBuilder nestedQuery(String nested, QueryBuilder queryBuilder) { |
||||
|
// return QueryBuilders.nestedQuery(nested, queryBuilder, ScoreMode.None); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 分页查询列表 |
||||
|
// * |
||||
|
// * @param queryBuilder |
||||
|
// * @param params |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public PageResp<EsDTO> fetchPage(QueryBuilder queryBuilder, EsBaseParam params |
||||
|
// , Consumer<SearchRequestBuilder> consumerRequestBuilder, Consumer<SearchResponse> consumerResponse) { |
||||
|
// SearchRequestBuilder searchRequestBuilder = transportClient.prepareSearch(params.getIndex()); |
||||
|
// |
||||
|
// if (params.getType() != null) { |
||||
|
// searchRequestBuilder.setTypes(params.getType()); |
||||
|
// } |
||||
|
// searchRequestBuilder.setSearchType(SearchType.QUERY_THEN_FETCH); |
||||
|
// |
||||
|
// // 返回结果集 |
||||
|
// PageResp<EsDTO> pageResp = new PageResp<>(); |
||||
|
// try { |
||||
|
// //filter方式查询 |
||||
|
// searchRequestBuilder.setQuery(queryBuilder); |
||||
|
// // 排序 |
||||
|
// if (params.getOrderField() != null && params.getDescOrAsc() != null) { |
||||
|
// // 无该字段时动态生成该字段最大值/最小值排在最后，如果用missing会出现报错情况，unmappedType可避免报错，排序依然在最后 |
||||
|
// FieldSortBuilder sortBuilder = SortBuilders.fieldSort(params.getOrderField()).order(params.getDescOrAsc()); |
||||
|
// if (BaseFieldEnum.public_time.name().equals(params.getOrderField())){ |
||||
|
// sortBuilder.unmappedType("long"); |
||||
|
// } |
||||
|
// searchRequestBuilder.addSort(sortBuilder); |
||||
|
// } |
||||
|
// // Includes表示设置返回值只能返回Includes数组中属性 |
||||
|
// // Excludes表示设置返回值不进行返回Excludes数组中的属性 |
||||
|
// if (ArrayUtils.isNotEmpty(params.getIncludes()) || ArrayUtils.isNotEmpty(params.getExcludes())) { |
||||
|
// searchRequestBuilder.setFetchSource(params.getIncludes(), params.getExcludes()); |
||||
|
// } |
||||
|
// |
||||
|
// // 设置高亮,使用默认的highlighter高亮器 |
||||
|
// if (params.isWithHighlight()) { |
||||
|
// // 如果进行了指定，则以指定为主 |
||||
|
// if (params.getHighlightBuilder() != null) { |
||||
|
// searchRequestBuilder.highlighter(params.getHighlightBuilder()); |
||||
|
// } else { |
||||
|
// // 否则执行默认配置 |
||||
|
// HighlightBuilder highlightBuilder = new HighlightBuilder() |
||||
|
// // match进行高亮 |
||||
|
// .requireFieldMatch(false) |
||||
|
// //fragment 是指一段连续的文字。返回结果最多可以包含几段不连续的文字。默认是5。 |
||||
|
// .numOfFragments(0) |
||||
|
// //一段 fragment 包含多少个字符。默认100。 |
||||
|
// .fragmentSize(800000) |
||||
|
// .preTags("<em>") |
||||
|
// .postTags("</em>"); |
||||
|
// if (params.getHighlightFields().isEmpty()) { |
||||
|
// highlightBuilder.field("*"); |
||||
|
// } else { |
||||
|
// params.getHighlightFields().forEach(highlightBuilder::field); |
||||
|
// } |
||||
|
// searchRequestBuilder.highlighter(highlightBuilder); |
||||
|
// } |
||||
|
// } |
||||
|
// |
||||
|
// // 分页处理, 否则默认返回10000条数据 |
||||
|
// if (params.getOffset() > -1) { |
||||
|
// searchRequestBuilder.setSize(params.getLimit()); |
||||
|
// searchRequestBuilder.setFrom(params.getOffset()); |
||||
|
// } else { |
||||
|
// searchRequestBuilder.setSize(EsClientConfig.scrollSize); |
||||
|
// } |
||||
|
// |
||||
|
// // 自定义条件 |
||||
|
// if (consumerRequestBuilder != null) { |
||||
|
// consumerRequestBuilder.accept(searchRequestBuilder); |
||||
|
// } |
||||
|
// |
||||
|
// logger.debug("{},{},{}", params.getIndex(), params.getType(), searchRequestBuilder.toString()); |
||||
|
// |
||||
|
// // 查询结果处理 |
||||
|
// SearchResponse response = searchRequestBuilder.setPreference("_primary_first").execute().actionGet(); |
||||
|
// SearchHits hits = response.getHits(); |
||||
|
// Long count = hits.getTotalHits(); |
||||
|
// SearchHit[] searchHits = hits.getHits(); |
||||
|
// EsDTO esDTO = null; |
||||
|
// for (SearchHit searchHit : searchHits) { |
||||
|
// esDTO = new EsDTO(searchHit.getId(), searchHit.sourceAsMap()); |
||||
|
// esDTO.setIndex(searchHit.getIndex()); |
||||
|
// esDTO.setType(searchHit.getType()); |
||||
|
// |
||||
|
// // 返回文档的高亮字段 |
||||
|
// if (params.isWithHighlight()) { |
||||
|
// Map<String, HighlightField> highlightFields = searchHit.getHighlightFields(); |
||||
|
// if (highlightFields != null) { |
||||
|
// Map<String, String> map = new HashMap<>(highlightFields.size()); |
||||
|
// highlightFields.forEach((k, v) -> { |
||||
|
// if (v != null && v.getFragments() != null) { |
||||
|
// map.put(k.replace(ES_KEYWORD_SUFFIX, ""), |
||||
|
// Arrays.asList(v.getFragments()).stream().filter(e -> e != null).map(Text::toString).collect(Collectors.joining(Constants.SEPARATOR_ELLIPSIS))); |
||||
|
// } |
||||
|
// }); |
||||
|
// esDTO.setHighlightData(map); |
||||
|
// } |
||||
|
// } |
||||
|
// pageResp.getList().add(esDTO); |
||||
|
// } |
||||
|
// pageResp.setTotal(count > EsClientConfig.scrollSize ? EsClientConfig.scrollSize : count); |
||||
|
// |
||||
|
// // 自定义结果处理 |
||||
|
// if (consumerResponse != null) { |
||||
|
// consumerResponse.accept(response); |
||||
|
// } |
||||
|
// logger.debug("fetchPage,size = {}, total = {}", pageResp.getList().size(), pageResp.getTotal()); |
||||
|
// } catch (Exception e) { |
||||
|
// throw new RuntimeException("call pageDataQuery exception ", e); |
||||
|
// } |
||||
|
// return pageResp; |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// /** |
||||
|
// * 此方法中，通用字段名使用了BaseFieldEnum索引字段的名字，因各索引统一所以不会产生问题。 |
||||
|
// * <p> |
||||
|
// * 定制化分页查询，用于主检索 |
||||
|
// * |
||||
|
// * @param query 查询条件 |
||||
|
// * @param customBuilder 自定义条件 |
||||
|
// * @param clazz 返回类型 |
||||
|
// * @param indexEnums 查询的索引 |
||||
|
// * @param <P> 参数类型 |
||||
|
// * @param <R> 结果类型 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public <P extends BaseSearchQuery, R extends BaseEsEntity> SearchPageResp<R> fetchCustomPage(P query, Consumer<BoolQueryBuilder> customBuilder, Class<R> clazz, IndexEnum... indexEnums) { |
||||
|
// EsBaseParam esBaseParam = new EsBaseParam(); |
||||
|
// esBaseParam.setIndex(Arrays.stream(indexEnums).map(IndexEnum::getSearchIndex).toArray(String[]::new)); |
||||
|
// esBaseParam.setExcludes(new String[]{BaseFieldEnum.content.name(), HtmlFieldEnum.forward_content.name()}); |
||||
|
// esBaseParam.setPage(query.getPage()); |
||||
|
// esBaseParam.setLimit(query.getLimit()); |
||||
|
// // 排序处理 |
||||
|
// int scoreOrder = 1, timeOrder = 2, asc = 1; |
||||
|
// if (query.getOrderType() == timeOrder) { |
||||
|
// esBaseParam.setOrderField(BaseFieldEnum.public_time.name()); |
||||
|
// esBaseParam.setDescOrAsc(query.getOrder() == asc ? SortOrder.ASC : SortOrder.DESC); |
||||
|
// } |
||||
|
// |
||||
|
// // 拼装查询条件 |
||||
|
// BoolQueryBuilder queryBuilder = QueryBuilders.boolQuery(); |
||||
|
// // 过滤掉被删除的 |
||||
|
// queryBuilder.filter(QueryBuilders.termQuery(BaseFieldEnum.del.name(), Constants.NO)); |
||||
|
// // 自定义条件 |
||||
|
// if (customBuilder != null) { |
||||
|
// customBuilder.accept(queryBuilder); |
||||
|
// } |
||||
|
// // 设置documentId查询范围 |
||||
|
// if (query.getDocumentId() != null && query.getDocumentId().length != 0) { |
||||
|
// queryBuilder.filter(QueryBuilders.idsQuery().addIds(query.getDocumentId())); |
||||
|
// } |
||||
|
// // 标题条件 |
||||
|
// if (!Strings.isNullOrEmpty(query.getTitle())) { |
||||
|
// queryBuilder.filter(QueryBuilders.wildcardQuery(this.keyword(BaseFieldEnum.title.name()), this.wildcardDelimiter(QueryParser.escape(query.getTitle())))); |
||||
|
// } |
||||
|
// // 来源条件 |
||||
|
// if (query.getSourceList() != null && !query.getSourceList().isEmpty()) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.source.name(), query.getSourceList())); |
||||
|
// } |
||||
|
// // 原文译文条件(满足原文条件时无该字段匹配) |
||||
|
// if (query.getContentTypeList() != null && !query.getContentTypeList().isEmpty()) { |
||||
|
// TermsQueryBuilder termsQueryBuilder = QueryBuilders.termsQuery(BaseFieldEnum.type.name(), query.getContentTypeList()); |
||||
|
// if (query.getContentTypeList().contains(ContentTypeEnum.ORIGINAL.getKey())){ |
||||
|
// BoolQueryBuilder contentTypeBoolQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// contentTypeBoolQueryBuilder.should(QueryBuilders.boolQuery().mustNot(QueryBuilders.existsQuery(BaseFieldEnum.type.name()))); |
||||
|
// contentTypeBoolQueryBuilder.should(termsQueryBuilder); |
||||
|
// queryBuilder.filter(contentTypeBoolQueryBuilder); |
||||
|
// }else { |
||||
|
// queryBuilder.filter(termsQueryBuilder); |
||||
|
// } |
||||
|
// } |
||||
|
// // 上传用户条件 |
||||
|
// if (query.getUploadUser() != null) { |
||||
|
// queryBuilder.filter(QueryBuilders.termQuery(BaseFieldEnum.upload_user.name(), query.getUploadUser())); |
||||
|
// } |
||||
|
// //部门条件 |
||||
|
// if (String.valueOf(Constants.YES).equals(query.getOnlyDepartment()) && UserUtil.getUser().getDepartmentId() != null) { |
||||
|
// queryBuilder.filter(QueryBuilders.termQuery(DocumentFieldEnum.department_id.name(), UserUtil.getUser().getDepartmentId())); |
||||
|
// } |
||||
|
// // 语言条件 |
||||
|
// if (query.getLanguageList() != null && !query.getLanguageList().isEmpty()) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.language.name(), query.getLanguageList())); |
||||
|
// } |
||||
|
// |
||||
|
// // 关键词搜索自定义--带拼音 |
||||
|
// if (query.getK() != null && !"".equals(query.getK().trim())) { |
||||
|
// // 默认短语 |
||||
|
// MultiMatchQueryBuilder.Type matchType = MultiMatchQueryBuilder.Type.BEST_FIELDS; |
||||
|
// queryBuilder.must(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), matchType, query.getK())); |
||||
|
// } |
||||
|
// |
||||
|
// // 精确搜索 |
||||
|
// if (query.isAccurateQuery()) { |
||||
|
// // 暂时只考虑一对双引号的情况 |
||||
|
// query.getAccurateList().stream().forEach(e -> { |
||||
|
// queryBuilder.must(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), MultiMatchQueryBuilder.Type.PHRASE_PREFIX, e)); |
||||
|
// }); |
||||
|
// } |
||||
|
// |
||||
|
// // 二次搜索--采用短语搜素--带拼音 |
||||
|
// if (query.getSk() != null && !"".equals(query.getSk().trim())) { |
||||
|
// queryBuilder.must(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), MultiMatchQueryBuilder.Type.PHRASE_PREFIX, query.getSk())); |
||||
|
// } |
||||
|
// |
||||
|
// // 排除搜索--采用短语搜素 |
||||
|
// if (query.getNk() != null && !"".equals(query.getNk().trim())) { |
||||
|
// queryBuilder.mustNot(this.getMatchQueryBuilder(null,BaseFieldEnum.getMatchFields(), new String[]{query.getNk()}, true, SearchWordStrategyEnum.ANY)); |
||||
|
// } |
||||
|
// |
||||
|
// // 时间条件(满足条件或无该字段) |
||||
|
// if (query.getBeginTime() != null || query.getEndTime() != null){ |
||||
|
// BoolQueryBuilder timeBoolQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// timeBoolQueryBuilder.should(QueryBuilders.boolQuery().mustNot(QueryBuilders.existsQuery(BaseFieldEnum.public_time.name()))); |
||||
|
// BoolQueryBuilder timeRangeBoolQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// if (query.getBeginTime() != null) { |
||||
|
// timeRangeBoolQueryBuilder.filter(QueryBuilders.rangeQuery(BaseFieldEnum.public_time.name()).gte(query.getBeginTime())); |
||||
|
// } |
||||
|
// if (query.getEndTime() != null) { |
||||
|
// timeRangeBoolQueryBuilder.filter(QueryBuilders.rangeQuery(BaseFieldEnum.public_time.name()).lte(query.getEndTime())); |
||||
|
// } |
||||
|
// timeBoolQueryBuilder.should(timeRangeBoolQueryBuilder); |
||||
|
// queryBuilder.filter(timeBoolQueryBuilder); |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// // 标签搜索 |
||||
|
// if (query.getAiTagList() != null && !query.getAiTagList().isEmpty()) { |
||||
|
// queryBuilder.filter(this.nestedTermQuery(BaseFieldEnum.ai_tag.name(), LabelWeightFieldEnum.label.name(), query.getAiTagList().stream().toArray(String[]::new))); |
||||
|
// } |
||||
|
// // 地区搜索 |
||||
|
// if (query.getAiAreaList() != null && !query.getAiAreaList().isEmpty()) { |
||||
|
// queryBuilder.filter(this.nestedTermQuery(BaseFieldEnum.ai_area.name(), LabelWeightFieldEnum.label.name(), query.getAiAreaList().stream().toArray(String[]::new))); |
||||
|
// } |
||||
|
// // 主题一级分类 |
||||
|
// if (!Strings.isNullOrEmpty(query.getSubjectClassify1())) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.subject_classify1.name(), query.getSubjectClassify1())); |
||||
|
// } |
||||
|
// // 主题二级分类 |
||||
|
// if (!Strings.isNullOrEmpty(query.getSubjectClassify2())) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.subject_classify2.name(), query.getSubjectClassify2())); |
||||
|
// } |
||||
|
// // 主题(满足其他主题时无主题字段匹配) |
||||
|
// if (query.getSubjectList() != null && !query.getSubjectList().isEmpty()) { |
||||
|
// if (query.getSubjectList().contains(DefaultConstants.SUBJECT_DEFAULT)){ |
||||
|
// BoolQueryBuilder subjectBoolQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// subjectBoolQueryBuilder.should(QueryBuilders.boolQuery().mustNot(QueryBuilders.existsQuery(BaseFieldEnum.subject.name()))); |
||||
|
// subjectBoolQueryBuilder.should(QueryBuilders.termsQuery(BaseFieldEnum.subject.name(), query.getSubjectList())); |
||||
|
// queryBuilder.filter(subjectBoolQueryBuilder); |
||||
|
// }else { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.subject.name(), query.getSubjectList())); |
||||
|
// } |
||||
|
// } |
||||
|
// // 渠道条件 |
||||
|
// if (query.getChannelList() != null && !query.getChannelList().isEmpty()) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.channel.name(), query.getChannelList())); |
||||
|
// } |
||||
|
// // 网站 |
||||
|
// if (!Strings.isNullOrEmpty(query.getWebsite())) { |
||||
|
// queryBuilder.filter(QueryBuilders.termQuery(BaseFieldEnum.website.name(), query.getWebsite())); |
||||
|
// } |
||||
|
// if (query.getWebsiteList() != null && !query.getWebsiteList().isEmpty()) { |
||||
|
// // 如果渠道选择了用户上传，并且其他渠道选择了二级网站，则需兼容用户上传网站为空的结果 |
||||
|
// if (query.getChannelList() != null && query.getChannelList().contains(DefaultConstants.DEFAULT_CHANNEL_USER)){ |
||||
|
// BoolQueryBuilder subQuery = QueryBuilders.boolQuery(); |
||||
|
// subQuery.should(QueryBuilders.termQuery(BaseFieldEnum.channel.name(), DefaultConstants.DEFAULT_CHANNEL_USER)); |
||||
|
// subQuery.should(QueryBuilders.termsQuery(BaseFieldEnum.website.name(), query.getWebsiteList())); |
||||
|
// queryBuilder.filter(subQuery); |
||||
|
// } else { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.website.name(), query.getWebsiteList())); |
||||
|
// } |
||||
|
// } |
||||
|
// // 网站面包夹 |
||||
|
// if (query.getCateMd5List() != null && !query.getCateMd5List().isEmpty()) { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.cate_md5.name(), query.getCateMd5List())); |
||||
|
// } |
||||
|
// // 审核状态(满足审核通过条件时无该字段匹配) |
||||
|
// if (query.getAuditStateList() != null && !query.getAuditStateList().isEmpty()) { |
||||
|
// if (query.getAuditStateList().contains(AuditStateEnum.YES.getKey())){ |
||||
|
// BoolQueryBuilder auditBoolQuery = QueryBuilders.boolQuery(); |
||||
|
// auditBoolQuery.should(QueryBuilders.termsQuery(BaseFieldEnum.audit_state.name(), query.getAuditStateList())); |
||||
|
// auditBoolQuery.should(QueryBuilders.boolQuery().mustNot(QueryBuilders.existsQuery(BaseFieldEnum.audit_state.name()))); |
||||
|
// queryBuilder.filter(auditBoolQuery); |
||||
|
// }else { |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(BaseFieldEnum.audit_state.name(), query.getAuditStateList())); |
||||
|
// } |
||||
|
// } |
||||
|
// // 实体类型 |
||||
|
// if (query.getOntologyIdList() != null && !query.getOntologyIdList().isEmpty()){ |
||||
|
// queryBuilder.filter(QueryBuilders.termsQuery(KgSystemEnum.ontology_id.name(),query.getOntologyIdList())); |
||||
|
// } |
||||
|
// |
||||
|
// // 高级搜索自定义设置 |
||||
|
// if (query.isHighLevel()) { |
||||
|
// // 1、找到所有的not进行非处理 |
||||
|
// query.getHighLevelQueries().stream().filter(e -> SearchExpressionEnum.NOT.is(e.getExpression())).forEach(e -> { |
||||
|
// queryBuilder.mustNot(this.getHighLevelQueryBuilder(e, true)); |
||||
|
// }); |
||||
|
// |
||||
|
// // 2、循环处理剩下的不含not的，处理逻辑为：如果当前是and，则将tempHighLevel进行must处理，tempHighLevel中如果有多个则内部should处理 |
||||
|
// List<HighLevelQuery> tempHighLevel = new ArrayList<>(query.getHighLevelQueries().size()); |
||||
|
// query.getHighLevelQueries().stream().filter(e -> !SearchExpressionEnum.NOT.is(e.getExpression())).forEach(e -> { |
||||
|
// // 如果是and 且 tempHighLevel不为空，则处理tempHighLevel(>1个做内部或操作)并清空 |
||||
|
// if (SearchExpressionEnum.AND.is(e.getExpression()) && !tempHighLevel.isEmpty()) { |
||||
|
// // 拼接条件 |
||||
|
// BoolQueryBuilder tempQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// tempHighLevel.forEach(temp -> tempQueryBuilder.should(this.getHighLevelQueryBuilder(temp, false))); |
||||
|
// queryBuilder.must(tempQueryBuilder); |
||||
|
// tempHighLevel.clear(); |
||||
|
// } |
||||
|
// // 将当前项加入临时队列 |
||||
|
// tempHighLevel.add(e); |
||||
|
// }); |
||||
|
// |
||||
|
// // 此处拼接tempHighLevel未处理的内容 |
||||
|
// if (!tempHighLevel.isEmpty()) { |
||||
|
// BoolQueryBuilder tempQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// tempHighLevel.forEach(temp -> tempQueryBuilder.should(this.getHighLevelQueryBuilder(temp, false))); |
||||
|
// queryBuilder.must(tempQueryBuilder); |
||||
|
// } |
||||
|
// } |
||||
|
// |
||||
|
// // 统计全部关键词, k=关键词 v=积分放大倍数 |
||||
|
// Map<String, Integer> keywordMap = new HashMap<>(2); |
||||
|
// if (!Strings.isNullOrEmpty(query.getK())) { |
||||
|
// keywordMap.put(query.getK(), 10); |
||||
|
// } |
||||
|
// if (!Strings.isNullOrEmpty(query.getSk())) { |
||||
|
// keywordMap.put(query.getSk(), 20); |
||||
|
// } |
||||
|
// if (query.isHighLevel()) { |
||||
|
// query.getHighLevelQueries().forEach(e -> { |
||||
|
// Stream.of(e.getText()).forEach(text -> keywordMap.put(text, 10)); |
||||
|
// if (e.getTranslateText() != null) { |
||||
|
// Stream.of(e.getTranslateText()).forEach(text -> keywordMap.put(text, 10)); |
||||
|
// } |
||||
|
// }); |
||||
|
// } |
||||
|
// |
||||
|
// // 高亮自定义设置 |
||||
|
// if (query.getHighlight() != null && query.getHighlight()) { |
||||
|
// esBaseParam.setWithHighlight(true); |
||||
|
// esBaseParam.setHighlightFields(new ArrayList<>(BaseFieldEnum.getMatchFieldsWithPy().keySet())); |
||||
|
// Integer numOfFragments = 2; |
||||
|
// HighlightBuilder highlightBuilder = new HighlightBuilder() |
||||
|
// // match进行高亮 |
||||
|
// .requireFieldMatch(true) |
||||
|
// .order(HighlightBuilder.Order.SCORE) |
||||
|
// //fragment 是指一段连续的文字。返回结果最多可以包含几段不连续的文字。默认是5。 |
||||
|
// .numOfFragments(numOfFragments) |
||||
|
// //一段 fragment 包含多少个字符。默认100。 |
||||
|
// .fragmentSize(Constants.MAX_R_LENGTH / numOfFragments) |
||||
|
// .noMatchSize(Constants.MAX_R_LENGTH) |
||||
|
// .preTags("<em>") |
||||
|
// .postTags("</em>"); |
||||
|
// BaseFieldEnum.getMatchFieldsWithPy().keySet().forEach(highlightBuilder::field); |
||||
|
// |
||||
|
// /* |
||||
|
// * 高级搜索取消自定义高亮 |
||||
|
// * 精确搜索进行短语高亮重定义 |
||||
|
// * 否则进行关键词的高亮重定义 |
||||
|
// */ |
||||
|
// if (!query.isHighLevel()) { |
||||
|
// DisMaxQueryBuilder highlightQuery = QueryBuilders.disMaxQuery(); |
||||
|
// if (query.isAccurateQuery()) { |
||||
|
// query.getAccurateList().stream().forEach(e -> { |
||||
|
// highlightQuery.add(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), MultiMatchQueryBuilder.Type.PHRASE_PREFIX, e)); |
||||
|
// }); |
||||
|
// } else { |
||||
|
// keywordMap.forEach((keyword, boost) -> { |
||||
|
// BaseFieldEnum.getMatchFieldsWithPy().forEach((field, baseBoost) -> { |
||||
|
// float realBoost = baseBoost * boost * 100; |
||||
|
// highlightQuery.add(QueryBuilders.termQuery(field, keyword).boost(realBoost * 2)); |
||||
|
// highlightQuery.add(QueryBuilders.matchPhraseQuery(field, keyword).boost(realBoost)); |
||||
|
// }); |
||||
|
// highlightQuery.add(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), MultiMatchQueryBuilder.Type.BEST_FIELDS, keyword).boost(0.5F)); |
||||
|
// |
||||
|
// }); |
||||
|
// // 如果有二次搜索，因二次搜索使用短语前缀，此处需要特殊处理 |
||||
|
// if (query.getSk() != null && !"".equals(query.getSk().trim())) { |
||||
|
// highlightQuery.add(this.getMatchQueryBuilder(BaseFieldEnum.getMatchFieldsWithPy(), MultiMatchQueryBuilder.Type.PHRASE_PREFIX, query.getSk())); |
||||
|
// } |
||||
|
// } |
||||
|
// highlightBuilder.highlightQuery(highlightQuery); |
||||
|
// } |
||||
|
// esBaseParam.setHighlightBuilder(highlightBuilder); |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// |
||||
|
// // 评分重算条件 |
||||
|
// BoolQueryBuilder reScoreQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// if (!keywordMap.isEmpty()) { |
||||
|
// BoolQueryBuilder phraseQueryBuilder = QueryBuilders.boolQuery(); |
||||
|
// keywordMap.forEach((keyword, boost) -> { |
||||
|
// BaseFieldEnum.getMatchFieldsWithPy().forEach((field, baseBoost) -> { |
||||
|
// phraseQueryBuilder.should(QueryBuilders.matchPhrasePrefixQuery(field, keyword).slop(2).maxExpansions(10).boost(baseBoost * boost)); |
||||
|
// }); |
||||
|
// |
||||
|
// String paramKgSearchPriority = SettingEnum.PARAMS_KG_SEARCH_PRIORITY.getValue(); |
||||
|
// if (!Strings.isNullOrEmpty(paramKgSearchPriority)){ |
||||
|
// // 高优先级实体评分重算(Type指定PHRASE短语匹配；如果搜索词不匹配时，无损原重算逻辑) |
||||
|
// Long[] ontologyIds = Arrays.stream(paramKgSearchPriority.split(Constants.SEPARATOR_COMMA)).map(Long::parseLong).toArray(Long[]::new); |
||||
|
// List<AisKgPropertyEntity> titleProperties = OntologyUtil.getTitleProperties(ontologyIds); |
||||
|
// Map<String, Float> fieldMap = titleProperties.stream().collect(Collectors.toMap(AisKgPropertyEntity::getCode, aisKgPropertyEntity -> 300f, (o1, o2) -> o2)); |
||||
|
// phraseQueryBuilder.should(this.getMatchQueryBuilder(fieldMap,MultiMatchQueryBuilder.Type.PHRASE,keyword)); |
||||
|
// } |
||||
|
// }); |
||||
|
// reScoreQueryBuilder.must(phraseQueryBuilder); |
||||
|
// } |
||||
|
// /* |
||||
|
// // 相关度查询标记 |
||||
|
// boolean functionFlag = false; |
||||
|
// FunctionScoreQueryBuilder functionQueryBuilder = null; |
||||
|
// // 优化时间衰减函数查询 |
||||
|
// if (query.getOrderType() == scoreOrder) { |
||||
|
// // 更改标记并构建时间衰减函数Query对象 |
||||
|
// functionFlag = true; |
||||
|
// GaussDecayFunctionBuilder exp = ScoreFunctionBuilders.gaussDecayFunction(BaseFieldEnum.create_time.name(), System.currentTimeMillis(), 86400000, 86400000 * 30.0, 0.5); |
||||
|
// functionQueryBuilder = QueryBuilders.functionScoreQuery(queryBuilder, exp).boostMode(CombineFunction.MULTIPLY); |
||||
|
// } |
||||
|
// */ |
||||
|
// |
||||
|
// // 热门标签聚合名称 |
||||
|
// String aiTagLabelAgg = "aiTagLabelAgg"; |
||||
|
// String aiTagAgg = "aiTagAgg"; |
||||
|
// List<KeyValueDTO> hotTagList = new ArrayList<>(); |
||||
|
// PageResp<EsDTO> pageList = this.fetchPage(queryBuilder, esBaseParam, (customRequestBuilder) -> { |
||||
|
// // 高级/跨度/精确搜索时不增加评分重算 |
||||
|
// if (!query.isHighLevel() && !query.isSpanQuery() && !query.isAccurateQuery()) { |
||||
|
// customRequestBuilder.addRescorer(RescoreBuilder.queryRescorer(reScoreQueryBuilder).setQueryWeight(0.7f).setRescoreQueryWeight(1.2f), 100); |
||||
|
// } |
||||
|
// // 聚合当前结果的热门标签 |
||||
|
// // 内层标签属性聚合 |
||||
|
// AggregationBuilder aiTagLabelAggBuilder = AggregationBuilders.terms(aiTagLabelAgg) |
||||
|
// .field(this.nested(BaseFieldEnum.ai_tag.name(), LabelWeightFieldEnum.label.name())) |
||||
|
// .order(Terms.Order.count(false)) |
||||
|
// .size(query.getLimit()); |
||||
|
// // nested主聚合 |
||||
|
// NestedAggregationBuilder aiTagAggBuilder = AggregationBuilders.nested(aiTagAgg, BaseFieldEnum.ai_tag.name()).subAggregation(aiTagLabelAggBuilder); |
||||
|
// customRequestBuilder.addAggregation(aiTagAggBuilder); |
||||
|
// }, (customResponse) -> { |
||||
|
// // 处理热门标签, 取出聚合结果 |
||||
|
// Nested aiTagAggData = customResponse.getAggregations().get(aiTagAgg); |
||||
|
// Terms aiTagLabelAggData = aiTagAggData.getAggregations().get(aiTagLabelAgg); |
||||
|
// if (aiTagLabelAggData != null) { |
||||
|
// for (Terms.Bucket bucket : aiTagLabelAggData.getBuckets()) { |
||||
|
// hotTagList.add(new KeyValueDTO(bucket.getKeyAsString(), String.valueOf(bucket.getDocCount()))); |
||||
|
// } |
||||
|
// } |
||||
|
// }); |
||||
|
// // 拼装返回结果 |
||||
|
// SearchPageResp<R> pageResp = new SearchPageResp<>(query.getLimit(), query.getPage()); |
||||
|
// pageResp.setTotalCount((int) pageList.getTotal()); |
||||
|
// pageResp.setList(pageList.getList().stream().map(e -> e.toHighlightEntity(clazz)).collect(Collectors.toList())); |
||||
|
// pageResp.setHotAiTagList(hotTagList); |
||||
|
// return pageResp; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 拼装高级搜索--针对高级搜索中的一行或一个框 |
||||
|
// * |
||||
|
// * @param highLevelQuery |
||||
|
// * @return |
||||
|
// */ |
||||
|
// protected QueryBuilder getHighLevelQueryBuilder(HighLevelQuery highLevelQuery, boolean isNot) { |
||||
|
// BoolQueryBuilder result = QueryBuilders.boolQuery(); |
||||
|
// // 获取高级查询的字段 |
||||
|
// Map<String, Float> fieldMap = SearchScopeEnum.getFieldsByKey(highLevelQuery.getScope()); |
||||
|
// SearchScopeEnum searchScopeEnum = SearchScopeEnum.getEnumByKey(Objects.toString(highLevelQuery.getScope())); |
||||
|
// String path = (null == searchScopeEnum ? null : searchScopeEnum.getPath()); |
||||
|
// |
||||
|
// // 同段搜索---跨度搜索 |
||||
|
// if (SearchMatchTypeEnum.PARAGRAPH.equals(highLevelQuery.getMatchType())) { |
||||
|
// fieldMap.forEach((k, v) -> { |
||||
|
// this.addSpanQueryBuilder(result, k, highLevelQuery.getText(), SEPARATOR_PARAGRAPH); |
||||
|
// this.addSpanQueryBuilder(result, k, highLevelQuery.getTranslateText(), SEPARATOR_PARAGRAPH); |
||||
|
// }); |
||||
|
// return result; |
||||
|
// } |
||||
|
// |
||||
|
// // 同句搜索 |
||||
|
// if (SearchMatchTypeEnum.SENTENCE.equals(highLevelQuery.getMatchType())) { |
||||
|
// fieldMap.forEach((k, v) -> { |
||||
|
// this.addSpanQueryBuilder(result, k, highLevelQuery.getText(), SEPARATOR_SENTENCE); |
||||
|
// this.addSpanQueryBuilder(result, k, highLevelQuery.getTranslateText(), SEPARATOR_SENTENCE); |
||||
|
// }); |
||||
|
// return result; |
||||
|
// } |
||||
|
// |
||||
|
// // 原文普通搜索 |
||||
|
// QueryBuilder rawQueryBuilder = this.getMatchQueryBuilder(path,fieldMap, highLevelQuery.getText(), isNot, SearchWordStrategyEnum.getByKey(highLevelQuery.getWordStrategy())); |
||||
|
// if(rawQueryBuilder != null){ |
||||
|
// result.should(rawQueryBuilder); |
||||
|
// } |
||||
|
// |
||||
|
// // 如果译文不为空，则进行译文普通搜索 |
||||
|
// if (highLevelQuery.getTranslateText() != null) { |
||||
|
// QueryBuilder transQueryBuilder = this.getMatchQueryBuilder(path,fieldMap, highLevelQuery.getTranslateText(), isNot, SearchWordStrategyEnum.getByKey(highLevelQuery.getWordStrategy())); |
||||
|
// if (transQueryBuilder != null){ |
||||
|
// result.should(transQueryBuilder); |
||||
|
// } |
||||
|
// } |
||||
|
// return result; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取跨度搜索查询条件 |
||||
|
// * |
||||
|
// * @param field 字段名 |
||||
|
// * @param text 内容 |
||||
|
// * @param separator 分隔符 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// private void addSpanQueryBuilder(BoolQueryBuilder queryBuilder, String field, String[] text, String separator) { |
||||
|
// |
||||
|
// if (text == null || text.length == 0) { |
||||
|
// return; |
||||
|
// } |
||||
|
// // 将所有原词按照空格拆分 |
||||
|
// /* |
||||
|
// String[] splitText = Stream.of(text) |
||||
|
// .filter(StringUtils::isNotBlank) |
||||
|
// .flatMap(e -> Stream.of(e.split(" "))) |
||||
|
// .filter(StringUtils::isNotBlank) |
||||
|
// .toArray(String[]::new); |
||||
|
// */ |
||||
|
// String[] splitText = text; |
||||
|
// if (splitText == null || splitText.length == 0) { |
||||
|
// return; |
||||
|
// } |
||||
|
// |
||||
|
// SpanNearQueryBuilder spanNearQueryBuilder = QueryBuilders.spanNearQuery(QueryBuilders.spanTermQuery(field, splitText[0]), 250).inOrder(false); |
||||
|
// Stream.of(splitText).skip(1).forEach(e -> spanNearQueryBuilder.addClause(QueryBuilders.spanTermQuery(field, e))); |
||||
|
// SpanQueryBuilder exclude = QueryBuilders.spanTermQuery(field, separator); |
||||
|
// SpanNotQueryBuilder spanNotQueryBuilder = QueryBuilders.spanNotQuery(spanNearQueryBuilder, exclude); |
||||
|
// //跨度搜索 为了高亮显示 新增对于每个单次进行查询。 |
||||
|
// BoolQueryBuilder query = new BoolQueryBuilder(); |
||||
|
// Stream.of(splitText).forEach(e -> query.must(QueryBuilders.matchPhraseQuery(BaseFieldEnum.content.name(), e))); |
||||
|
// queryBuilder.should(QueryBuilders.boolQuery().must(spanNotQueryBuilder).must(query)); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 全文检索查询拼接----含词语策略 |
||||
|
// * |
||||
|
// * @param fieldMap 查询字段 |
||||
|
// * @param text 文本 |
||||
|
// * @param isNot 是否是排除 |
||||
|
// * @param strategyEnum 搜索词策略 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// private QueryBuilder getMatchQueryBuilder(String nestedPath,Map<String, Float> fieldMap, String[] text, boolean isNot, SearchWordStrategyEnum strategyEnum) { |
||||
|
// |
||||
|
// if (text == null || text.length == 0) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// /* |
||||
|
// // 将所有原词按照空格拆分 |
||||
|
// String[] splitText = Stream.of(text) |
||||
|
// .filter(StringUtils::isNotBlank) |
||||
|
// .flatMap(e -> Stream.of(e.split(" "))) |
||||
|
// .filter(StringUtils::isNotBlank) |
||||
|
// .toArray(String[]::new); |
||||
|
// */ |
||||
|
// String [] splitText = text; |
||||
|
// if (splitText == null || splitText.length == 0) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// |
||||
|
// BoolQueryBuilder result = QueryBuilders.boolQuery(); |
||||
|
// // 如果是非 或 指定完整匹配，则用短语，否则用最佳字段 |
||||
|
// MultiMatchQueryBuilder.Type multiMatchType = isNot || SearchWordStrategyEnum.WHOLE.equals(strategyEnum) ? MultiMatchQueryBuilder.Type.PHRASE_PREFIX : MultiMatchQueryBuilder.Type.BEST_FIELDS; |
||||
|
// // 使用拆分后的词进行匹配----如果使用完整匹配则不进行拆分，否则按空格拆分 |
||||
|
// Stream.of(SearchWordStrategyEnum.WHOLE.equals(strategyEnum) ? text : splitText).forEach((e) -> { |
||||
|
// // 校验所有还是单个词 |
||||
|
// QueryBuilder matchQuery = this.getMatchQueryBuilder(nestedPath,fieldMap, multiMatchType, e); |
||||
|
// if (SearchWordStrategyEnum.ALL.equals(strategyEnum)) { |
||||
|
// result.must(matchQuery); |
||||
|
// } else { |
||||
|
// result.should(matchQuery); |
||||
|
// } |
||||
|
// }); |
||||
|
// return result; |
||||
|
// } |
||||
|
// |
||||
|
// |
||||
|
// |
||||
|
// /** |
||||
|
// * 全文检索查询拼接(非nested属性重载方法) |
||||
|
// * |
||||
|
// * @param fieldMap 查询字段 |
||||
|
// * @param type 查询类型 |
||||
|
// * @param text 文本 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// private QueryBuilder getMatchQueryBuilder(Map<String, Float> fieldMap, MultiMatchQueryBuilder.Type type, String text) { |
||||
|
// return this.getMatchQueryBuilder(null,fieldMap,type,text); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 全文检索查询拼接，不支持nested属性与非nested属性混合使用，并且nested属性必须归属相同path |
||||
|
// * |
||||
|
// * @param fieldMap 查询字段 |
||||
|
// * @param type 查询类型 |
||||
|
// * @param text 文本 |
||||
|
// * @return |
||||
|
// */ |
||||
|
// private QueryBuilder getMatchQueryBuilder(String nestedPath,Map<String, Float> fieldMap, MultiMatchQueryBuilder.Type type, String text) { |
||||
|
// // 拼装搜索 |
||||
|
// QueryBuilder queryBuilder = QueryBuilders.multiMatchQuery(text) |
||||
|
// .fields(fieldMap) |
||||
|
// .type(type == null ? MultiMatchQueryBuilder.Type.BEST_FIELDS : type) |
||||
|
// .maxExpansions(5) |
||||
|
// .tieBreaker(0.3f) |
||||
|
// /// 关闭高频词处理 |
||||
|
// //.cutoffFrequency(0.01f) |
||||
|
// .lenient(Boolean.TRUE) |
||||
|
// .minimumShouldMatch("60%"); |
||||
|
// |
||||
|
// // 如果有path拼接nested并返回 |
||||
|
// if (!Strings.isNullOrEmpty(nestedPath)){ |
||||
|
// return this.nestedQuery(nestedPath, queryBuilder); |
||||
|
// } |
||||
|
// return queryBuilder; |
||||
|
// } |
||||
|
// |
||||
|
//} |
||||
@ -0,0 +1,240 @@ |
|||||
|
package com.bfd.mf.common.service.es; |
||||
|
|
||||
|
import org.elasticsearch.search.fetch.subphase.highlight.HighlightBuilder; |
||||
|
import org.elasticsearch.search.sort.SortOrder; |
||||
|
|
||||
|
import java.util.ArrayList; |
||||
|
import java.util.LinkedHashMap; |
||||
|
import java.util.List; |
||||
|
|
||||
|
/** |
||||
|
* es查询基类 |
||||
|
* @author Aquarius & Hao |
||||
|
*/ |
||||
|
public class EsBaseParam { |
||||
|
|
||||
|
public EsBaseParam(){} |
||||
|
|
||||
|
/** |
||||
|
* 构建 |
||||
|
* @param indexEnum |
||||
|
*/ |
||||
|
// public EsBaseParam(IndexEnum indexEnum){ |
||||
|
// this.index = new String[]{indexEnum.getSearchIndex()}; |
||||
|
// this.type = indexEnum.getType(); |
||||
|
// } |
||||
|
|
||||
|
/** |
||||
|
* 构建 |
||||
|
* @param index |
||||
|
* @param type |
||||
|
*/ |
||||
|
public EsBaseParam(String index, String type){ |
||||
|
this.index = new String[]{index}; |
||||
|
this.type = type; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 排序 |
||||
|
*/ |
||||
|
private String orderField; |
||||
|
private SortOrder descOrAsc; |
||||
|
|
||||
|
/** |
||||
|
* 多列排序 |
||||
|
*/ |
||||
|
private LinkedHashMap<String, SortOrder> lhashMap; |
||||
|
|
||||
|
/** |
||||
|
* 当前页码 |
||||
|
*/ |
||||
|
private Integer page; |
||||
|
/** |
||||
|
* 每页条数 |
||||
|
*/ |
||||
|
private Integer limit; |
||||
|
/** |
||||
|
* 从第几条开始 |
||||
|
*/ |
||||
|
private Integer offset; |
||||
|
|
||||
|
/** |
||||
|
* ES的索引 |
||||
|
*/ |
||||
|
private String[] index; |
||||
|
/** |
||||
|
* ES的type |
||||
|
*/ |
||||
|
private String type; |
||||
|
/** |
||||
|
* 分组的列 |
||||
|
*/ |
||||
|
private String term; |
||||
|
/** |
||||
|
* 分组的列1 |
||||
|
*/ |
||||
|
private String term1; |
||||
|
|
||||
|
/** |
||||
|
* 指定返回的字段名，不指定返回全部 |
||||
|
*/ |
||||
|
private String[] includes; |
||||
|
|
||||
|
/** |
||||
|
* 排出返回的字段名，不指定不做限制 |
||||
|
*/ |
||||
|
private String[] excludes; |
||||
|
|
||||
|
/** |
||||
|
* 高亮属性 |
||||
|
*/ |
||||
|
private HighlightBuilder highlightBuilder; |
||||
|
|
||||
|
/** |
||||
|
* 是否需要高亮 |
||||
|
*/ |
||||
|
private boolean withHighlight = false; |
||||
|
/** |
||||
|
* 高亮字段 |
||||
|
*/ |
||||
|
private List<String> highlightFields = new ArrayList<>(); |
||||
|
|
||||
|
public String[] getIncludes() { |
||||
|
return includes; |
||||
|
} |
||||
|
|
||||
|
public void setIncludes(String[] includes) { |
||||
|
this.includes = includes; |
||||
|
} |
||||
|
|
||||
|
public String[] getExcludes() { |
||||
|
return excludes; |
||||
|
} |
||||
|
|
||||
|
public void setExcludes(String[] excludes) { |
||||
|
this.excludes = excludes; |
||||
|
} |
||||
|
|
||||
|
public String getTerm1() { |
||||
|
return term1; |
||||
|
} |
||||
|
|
||||
|
public void setTerm1(String term1) { |
||||
|
this.term1 = term1; |
||||
|
} |
||||
|
|
||||
|
public String getOrderField() { |
||||
|
return orderField; |
||||
|
} |
||||
|
|
||||
|
public void setOrderField(String orderField) { |
||||
|
this.orderField = orderField; |
||||
|
} |
||||
|
|
||||
|
public String[] getIndex() { |
||||
|
return index; |
||||
|
} |
||||
|
|
||||
|
public void setIndex(String... index) { |
||||
|
this.index = index; |
||||
|
} |
||||
|
|
||||
|
public String getType() { |
||||
|
return type; |
||||
|
} |
||||
|
|
||||
|
public void setType(String type) { |
||||
|
this.type = type; |
||||
|
} |
||||
|
|
||||
|
public String getTerm() { |
||||
|
return term; |
||||
|
} |
||||
|
|
||||
|
public void setTerm(String term) { |
||||
|
this.term = term; |
||||
|
} |
||||
|
|
||||
|
public LinkedHashMap<String, SortOrder> getLhashMap() { |
||||
|
return lhashMap; |
||||
|
} |
||||
|
|
||||
|
public void setLhashMap(LinkedHashMap<String, SortOrder> lhashMap) { |
||||
|
this.lhashMap = lhashMap; |
||||
|
} |
||||
|
|
||||
|
public SortOrder getDescOrAsc() { |
||||
|
return descOrAsc; |
||||
|
} |
||||
|
|
||||
|
public void setDescOrAsc(SortOrder descOrAsc) { |
||||
|
this.descOrAsc = descOrAsc; |
||||
|
} |
||||
|
|
||||
|
public Integer getPage() { |
||||
|
return page; |
||||
|
} |
||||
|
|
||||
|
public void setPage(Integer page) { |
||||
|
this.page = page; |
||||
|
} |
||||
|
|
||||
|
public Integer getLimit() { |
||||
|
if (null == limit) { |
||||
|
limit = 0; |
||||
|
} |
||||
|
return limit; |
||||
|
} |
||||
|
|
||||
|
public void setLimit(Integer limit) { |
||||
|
this.limit = limit; |
||||
|
} |
||||
|
|
||||
|
public Integer getOffset() { |
||||
|
if (this.page != null && this.limit != null) { |
||||
|
if (this.page > 0 && this.limit > 0) { |
||||
|
offset = (this.page - 1) * this.limit; |
||||
|
} else { |
||||
|
offset = -1; |
||||
|
} |
||||
|
} |
||||
|
if (null == offset) { |
||||
|
offset = -1; |
||||
|
} |
||||
|
return offset; |
||||
|
} |
||||
|
|
||||
|
public void setOffset(Integer offset) { |
||||
|
this.offset = offset; |
||||
|
} |
||||
|
|
||||
|
public EsBaseParam orderBy(String orderField, SortOrder descOrAsc){ |
||||
|
this.setOrderField(orderField); |
||||
|
this.setDescOrAsc(descOrAsc); |
||||
|
return this; |
||||
|
} |
||||
|
|
||||
|
public boolean isWithHighlight() { |
||||
|
return withHighlight; |
||||
|
} |
||||
|
|
||||
|
public void setWithHighlight(boolean withHighlight) { |
||||
|
this.withHighlight = withHighlight; |
||||
|
} |
||||
|
|
||||
|
public List<String> getHighlightFields() { |
||||
|
return highlightFields; |
||||
|
} |
||||
|
|
||||
|
public void setHighlightFields(List<String> highlightFields) { |
||||
|
this.highlightFields = highlightFields; |
||||
|
} |
||||
|
|
||||
|
public HighlightBuilder getHighlightBuilder() { |
||||
|
return highlightBuilder; |
||||
|
} |
||||
|
|
||||
|
public void setHighlightBuilder(HighlightBuilder highlightBuilder) { |
||||
|
this.highlightBuilder = highlightBuilder; |
||||
|
} |
||||
|
} |
||||
@ -0,0 +1,277 @@ |
|||||
|
//package com.bfd.mf.common.service.es; |
||||
|
// |
||||
|
//import cn.percent.common.constants.Constants; |
||||
|
//import cn.percent.common.utils.BeanUtils; |
||||
|
//import cn.percent.modules.ais.entity.es.BaseEsEntity; |
||||
|
//import com.alibaba.fastjson.JSON; |
||||
|
//import com.google.common.base.Strings; |
||||
|
//import com.google.common.collect.Lists; |
||||
|
//import org.apache.commons.lang.ObjectUtils; |
||||
|
//import org.apache.commons.lang.StringUtils; |
||||
|
// |
||||
|
//import java.util.ArrayList; |
||||
|
//import java.util.List; |
||||
|
//import java.util.Map; |
||||
|
// |
||||
|
///** |
||||
|
// * ElasticSearch返回值 |
||||
|
// * |
||||
|
// * @author lihonghao |
||||
|
// */ |
||||
|
//public class EsDTO { |
||||
|
// public EsDTO() { |
||||
|
// } |
||||
|
// |
||||
|
// public EsDTO(String docId, Map<String, Object> data) { |
||||
|
// this.docId = docId; |
||||
|
// this.data = data; |
||||
|
// } |
||||
|
// |
||||
|
// public EsDTO(String docId, String index, Map<String, Object> data) { |
||||
|
// this.docId = docId; |
||||
|
// this.index = index; |
||||
|
// this.data = data; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 唯一主键 |
||||
|
// */ |
||||
|
// private String docId; |
||||
|
// /** |
||||
|
// * 索引名字 |
||||
|
// */ |
||||
|
// private String index; |
||||
|
// /** |
||||
|
// * 索引类型 |
||||
|
// */ |
||||
|
// private String type; |
||||
|
// |
||||
|
// /** |
||||
|
// * 数据 |
||||
|
// */ |
||||
|
// private Map<String, Object> data; |
||||
|
// /** |
||||
|
// * 数据 |
||||
|
// */ |
||||
|
// private Map<String, String> highlightData; |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取String值 |
||||
|
// * |
||||
|
// * @param key |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String getString(Object key) { |
||||
|
// return data == null ? "" : ObjectUtils.toString(data.get(key), ""); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取String值 |
||||
|
// * |
||||
|
// * @param key |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public String getString(Object key, String nullStr) { |
||||
|
// return data == null ? "" : ObjectUtils.toString(data.get(key), nullStr); |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 地理坐标点用字符串形式表示时是纬度在前，经度在后（”latitude,longitude”）， |
||||
|
// * 而数组形式表示时刚好相反，是经度在前，纬度在后（[longitude,latitude]）。 |
||||
|
// * 其实，在 ElasticeSearch 内部，不管字符串形式还是数组形式，都是纬度在前，经度在后。 |
||||
|
// * 不过早期为了适配 GeoJSON 的格式规范，调整了数组形式的表示方式。 |
||||
|
// * 因此，在使用地理位置（geolocation）的路上就出现了这么一个“捕熊器”，专坑那些不了解这个陷阱的使用者。 |
||||
|
// * <p> |
||||
|
// * 获取String值 |
||||
|
// * |
||||
|
// * @param key |
||||
|
// * @return [lon, lat] |
||||
|
// */ |
||||
|
// public Double[] getLocation(Object key) { |
||||
|
// try { |
||||
|
// if (data == null) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// Object location = data.get(key); |
||||
|
// if (location == null) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// |
||||
|
// if (location instanceof ArrayList) { |
||||
|
// List<Double> geoList = Lists.newArrayList(); |
||||
|
// ((ArrayList) location).forEach(e -> geoList.add(Double.parseDouble(ObjectUtils.toString(e)))); |
||||
|
// return geoList.toArray(new Double[geoList.size()]); |
||||
|
// } |
||||
|
// if (location instanceof Object[]) { |
||||
|
// return (Double[]) location; |
||||
|
// } |
||||
|
// if (location instanceof String) { |
||||
|
// String strLocation = ObjectUtils.toString(location, ""); |
||||
|
// if (strLocation.indexOf(Constants.SEPARATOR_COMMA) != -1) { |
||||
|
// String[] arrLocation = strLocation.split(","); |
||||
|
// return new Double[]{Double.parseDouble(arrLocation[0]), Double.parseDouble(arrLocation[1])}; |
||||
|
// } |
||||
|
// } |
||||
|
// return null; |
||||
|
// } catch (Exception e) { |
||||
|
// e.printStackTrace(); |
||||
|
// return null; |
||||
|
// } |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取经度值 |
||||
|
// * |
||||
|
// * @param key |
||||
|
// */ |
||||
|
// public Double getLongitude(Object key) { |
||||
|
// Double[] geoMap = getLocation(key); |
||||
|
// return geoMap == null ? null : geoMap[0]; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取纬度值 |
||||
|
// * |
||||
|
// * @param key |
||||
|
// */ |
||||
|
// public Double getLatitude(Object key) { |
||||
|
// Double[] geoMap = getLocation(key); |
||||
|
// return geoMap == null ? null : geoMap[1]; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 转实体 |
||||
|
// * |
||||
|
// * @param clazz |
||||
|
// * @param <T> |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public <T> T toEntity(Class<T> clazz) { |
||||
|
// if (data == null) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// // 如果继承至es基类则赋值doc_id |
||||
|
// T entity = JSON.parseObject(JSON.toJSONString(data), clazz); |
||||
|
// if (BaseEsEntity.class.isAssignableFrom(clazz)) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.DOC_ID, this.getDocId()); |
||||
|
// if (this.getIndex() != null) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.INDEX, this.getIndex()); |
||||
|
// } |
||||
|
// if (this.getType() != null) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.TYPE, this.getType()); |
||||
|
// } |
||||
|
// } |
||||
|
// return entity; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 转高亮实体 |
||||
|
// * |
||||
|
// * @param clazz |
||||
|
// * @param <T> |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public <T> T toHighlightEntity(Class<T> clazz) { |
||||
|
// String emTag = "<em>"; |
||||
|
// if (data == null) { |
||||
|
// return null; |
||||
|
// } |
||||
|
// if (highlightData != null) { |
||||
|
// |
||||
|
// highlightData.forEach((k, v) -> { |
||||
|
// boolean flag = data.get(k) == null || (!Strings.isNullOrEmpty(v) && v.contains(emTag)); |
||||
|
// if (flag){ |
||||
|
// data.put(k, v); |
||||
|
// } |
||||
|
// }); |
||||
|
// // data.putAll(highlightData); |
||||
|
// } |
||||
|
// // 如果拼音有值则覆盖原始值 |
||||
|
// if (highlightData != null) { |
||||
|
// highlightData.forEach((k, v) -> { |
||||
|
// String realKey = k; |
||||
|
// // 处理拼音后缀高亮 |
||||
|
// if (k.endsWith(EsBase.ES_PINYIN_SUFFIX) && StringUtils.isNotBlank(v)) { |
||||
|
// // 获取拼音字段原始key(去掉后缀.pinyin) |
||||
|
// realKey = StringUtils.removeEnd(k, EsBase.ES_PINYIN_SUFFIX); |
||||
|
// // 获取原始字段值 |
||||
|
// String realValue = data.get(realKey) == null ? "" : data.get(realKey).toString(); |
||||
|
// // 原始值中是否有高亮 |
||||
|
// boolean isOriginalHighlight = !Strings.isNullOrEmpty(realValue) && realValue.contains(emTag); |
||||
|
// // 如果原始值中有高亮则不再处理 |
||||
|
// if (isOriginalHighlight) { |
||||
|
// return; |
||||
|
// } |
||||
|
// |
||||
|
// // 如果原始值没有高亮，那么判断拼音值是否有高亮 |
||||
|
// String pinyinValue = v == null ? "" : v; |
||||
|
// // 原始值中是否有高亮 |
||||
|
// boolean isPinyinHighlight = !Strings.isNullOrEmpty(pinyinValue) && pinyinValue.contains(emTag); |
||||
|
// if (isPinyinHighlight) { |
||||
|
// data.put(realKey, v); |
||||
|
// } |
||||
|
// } |
||||
|
// }); |
||||
|
// } |
||||
|
// // 如果继承至es基类则赋值doc_id |
||||
|
// T entity = JSON.parseObject(JSON.toJSONString(data), clazz); |
||||
|
// if (BaseEsEntity.class.isAssignableFrom(clazz)) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.DOC_ID, this.getDocId()); |
||||
|
// if (this.getIndex() != null) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.INDEX, this.getIndex()); |
||||
|
// } |
||||
|
// if (this.getType() != null) { |
||||
|
// BeanUtils.setProperty(entity, BaseEsEntity.TYPE, this.getType()); |
||||
|
// } |
||||
|
// } |
||||
|
// return entity; |
||||
|
// } |
||||
|
// |
||||
|
// public String getDocId() { |
||||
|
// return docId; |
||||
|
// } |
||||
|
// |
||||
|
// public void setDocId(String docId) { |
||||
|
// this.docId = docId; |
||||
|
// } |
||||
|
// |
||||
|
// public Map<String, Object> getData() { |
||||
|
// return data; |
||||
|
// } |
||||
|
// |
||||
|
// public void setData(Map<String, Object> data) { |
||||
|
// this.data = data; |
||||
|
// } |
||||
|
// |
||||
|
// public Map<String, String> getHighlightData() { |
||||
|
// return highlightData; |
||||
|
// } |
||||
|
// |
||||
|
// public void setHighlightData(Map<String, String> highlightData) { |
||||
|
// this.highlightData = highlightData; |
||||
|
// } |
||||
|
// |
||||
|
// public String getIndex() { |
||||
|
// return index; |
||||
|
// } |
||||
|
// |
||||
|
// public void setIndex(String index) { |
||||
|
// this.index = index; |
||||
|
// } |
||||
|
// |
||||
|
// public String getType() { |
||||
|
// return type; |
||||
|
// } |
||||
|
// |
||||
|
// public void setType(String type) { |
||||
|
// this.type = type; |
||||
|
// } |
||||
|
// |
||||
|
// @Override |
||||
|
// public String toString() { |
||||
|
// return "EsDTO{" + |
||||
|
// "docId='" + docId + '\'' + |
||||
|
// ", data=" + data + |
||||
|
// '}'; |
||||
|
// } |
||||
|
//} |
||||
@ -0,0 +1,118 @@ |
|||||
|
package com.bfd.mf.common.service.es; |
||||
|
|
||||
|
import com.bfd.mf.common.util.enums.SearchExpressionEnum; |
||||
|
import com.bfd.mf.common.util.enums.SearchMatchTypeEnum; |
||||
|
import com.bfd.mf.common.util.enums.SearchScopeEnum; |
||||
|
import com.bfd.mf.common.util.enums.SearchWordStrategyEnum; |
||||
|
import com.google.common.base.Strings; |
||||
|
import io.swagger.annotations.ApiModel; |
||||
|
import io.swagger.annotations.ApiModelProperty; |
||||
|
import org.apache.commons.lang.StringUtils; |
||||
|
|
||||
|
import java.io.Serializable; |
||||
|
import java.util.stream.Stream; |
||||
|
|
||||
|
/** |
||||
|
* 高级搜索条件 |
||||
|
* @author lihonghao |
||||
|
*/ |
||||
|
@ApiModel(value = "HighLevelQuery") |
||||
|
public class HighLevelQuery implements Serializable { |
||||
|
|
||||
|
/** |
||||
|
* 表达式 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "表达式 1-AND 2-OR 3-NOT") |
||||
|
private Integer expression = SearchExpressionEnum.AND.iKey(); |
||||
|
/** |
||||
|
* 搜索类型 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "搜索范围 100-全文 200-标题 300-内容 400-关键词 500-同一段落 600-同一句子") |
||||
|
private Integer scope = SearchScopeEnum.ALL.iKey(); |
||||
|
/** |
||||
|
* 搜索词策略 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "搜索词策略 1-包含以下全部字词 2-包含以下完整词句 3-包含以下任一字词, 默认 3") |
||||
|
private String wordStrategy = SearchWordStrategyEnum.ANY.getKey(); |
||||
|
/** |
||||
|
* 文本内容 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "文本内容") |
||||
|
private String[] text; |
||||
|
/** |
||||
|
* 文本内容 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "译后-文本内容") |
||||
|
private String[] translateText; |
||||
|
/** |
||||
|
* 跨语种 |
||||
|
*/ |
||||
|
@ApiModelProperty(value = "跨语种, zh, en...") |
||||
|
private String language; |
||||
|
|
||||
|
/** |
||||
|
* 本条件是否可用 值不为空且如果是数组则数组至少有一个不为空 |
||||
|
* @return |
||||
|
*/ |
||||
|
@ApiModelProperty(hidden = true) |
||||
|
public boolean isAvailable(){ |
||||
|
return text != null && !Stream.of(text).allMatch(Strings::isNullOrEmpty); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取匹配类型 |
||||
|
* @return |
||||
|
*/ |
||||
|
@ApiModelProperty(hidden = true) |
||||
|
public SearchMatchTypeEnum getMatchType() { |
||||
|
return SearchScopeEnum.getMatchTypeByKey(this.scope); |
||||
|
} |
||||
|
|
||||
|
public Integer getExpression() { |
||||
|
return expression; |
||||
|
} |
||||
|
|
||||
|
public void setExpression(Integer expression) { |
||||
|
this.expression = expression; |
||||
|
} |
||||
|
|
||||
|
public Integer getScope() { |
||||
|
return scope; |
||||
|
} |
||||
|
|
||||
|
public void setScope(Integer scope) { |
||||
|
this.scope = scope; |
||||
|
} |
||||
|
|
||||
|
public String[] getText() { |
||||
|
return text; |
||||
|
} |
||||
|
|
||||
|
public void setText(String[] text) { |
||||
|
this.text = text == null ? null : Stream.of(text).filter(StringUtils::isNotBlank).toArray(String[]::new); |
||||
|
} |
||||
|
|
||||
|
public String[] getTranslateText() { |
||||
|
return translateText; |
||||
|
} |
||||
|
|
||||
|
public void setTranslateText(String[] translateText) { |
||||
|
this.translateText = translateText == null ? null : Stream.of(translateText).filter(StringUtils::isNotBlank).toArray(String[]::new); |
||||
|
} |
||||
|
|
||||
|
public String getLanguage() { |
||||
|
return language; |
||||
|
} |
||||
|
|
||||
|
public void setLanguage(String language) { |
||||
|
this.language = language; |
||||
|
} |
||||
|
|
||||
|
public String getWordStrategy() { |
||||
|
return wordStrategy; |
||||
|
} |
||||
|
|
||||
|
public void setWordStrategy(String wordStrategy) { |
||||
|
this.wordStrategy = wordStrategy; |
||||
|
} |
||||
|
} |
||||
@ -0,0 +1,209 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import java.util.Arrays; |
||||
|
import java.util.HashMap; |
||||
|
import java.util.Map; |
||||
|
|
||||
|
/** |
||||
|
* 文档-网页-图片索引属性枚举 |
||||
|
* @author lihonghao |
||||
|
*/ |
||||
|
public enum BaseFieldEnum { |
||||
|
/** |
||||
|
* 文件id |
||||
|
*/ |
||||
|
id, |
||||
|
/** |
||||
|
* 文件md5值 |
||||
|
*/ |
||||
|
md5, |
||||
|
/** |
||||
|
* 文件标题 |
||||
|
*/ |
||||
|
title, |
||||
|
/** |
||||
|
* 摘要 |
||||
|
*/ |
||||
|
summary, |
||||
|
/** |
||||
|
* 文档内容 |
||||
|
*/ |
||||
|
content, |
||||
|
/** |
||||
|
* 数据来源 |
||||
|
*/ |
||||
|
source, |
||||
|
/** |
||||
|
* 原文/译文 |
||||
|
*/ |
||||
|
type, |
||||
|
/** |
||||
|
* 原文id |
||||
|
*/ |
||||
|
original_id, |
||||
|
/** |
||||
|
*入库时间 |
||||
|
*/ |
||||
|
create_time, |
||||
|
/** |
||||
|
* 文档语言 |
||||
|
*/ |
||||
|
language, |
||||
|
/** |
||||
|
* 上传用户 |
||||
|
*/ |
||||
|
upload_user, |
||||
|
/** |
||||
|
* 上传用户姓名 |
||||
|
*/ |
||||
|
upload_user_name, |
||||
|
/** |
||||
|
* 是否删除 |
||||
|
*/ |
||||
|
del, |
||||
|
/** |
||||
|
* 网站枚举 |
||||
|
*/ |
||||
|
website, |
||||
|
/** |
||||
|
* 发布人 |
||||
|
*/ |
||||
|
publisher, |
||||
|
/** |
||||
|
* 发布时间 |
||||
|
*/ |
||||
|
public_time, |
||||
|
/** |
||||
|
* 网站版面 |
||||
|
*/ |
||||
|
cate_md5, |
||||
|
/** |
||||
|
* 智能标签 |
||||
|
*/ |
||||
|
ai_tag, |
||||
|
/** |
||||
|
* 智能地区 |
||||
|
*/ |
||||
|
ai_area, |
||||
|
/** |
||||
|
* 主题一级分类 |
||||
|
*/ |
||||
|
subject_classify1, |
||||
|
/** |
||||
|
* 主题二级分类 |
||||
|
*/ |
||||
|
subject_classify2, |
||||
|
/** |
||||
|
* 主题 |
||||
|
*/ |
||||
|
subject, |
||||
|
/** |
||||
|
* 渠道 |
||||
|
*/ |
||||
|
channel, |
||||
|
/** |
||||
|
* 审核状态 |
||||
|
*/ |
||||
|
audit_state, |
||||
|
/** |
||||
|
* 用户上传文档，归属部门 |
||||
|
*/ |
||||
|
department_id, |
||||
|
/** |
||||
|
* 整编状态 |
||||
|
*/ |
||||
|
edit_state, |
||||
|
|
||||
|
/** |
||||
|
* 敏感词 |
||||
|
*/ |
||||
|
sensitive_tag, |
||||
|
/** |
||||
|
* 置顶状态 |
||||
|
*/ |
||||
|
flag_top, |
||||
|
/** |
||||
|
* 置顶有效期 |
||||
|
*/ |
||||
|
flag_top_validity, |
||||
|
/** |
||||
|
* 0-无 1-不重要 2-有点重要 3-一般、4-重要、5-非常重要 |
||||
|
*/ |
||||
|
flag_importance, |
||||
|
/** |
||||
|
* 分类标签 |
||||
|
*/ |
||||
|
subject_tag, |
||||
|
/** |
||||
|
* 事件id |
||||
|
*/ |
||||
|
event_id, |
||||
|
/** |
||||
|
* 事件id |
||||
|
*/ |
||||
|
event_detect_time, |
||||
|
/** |
||||
|
* 重复校验字段 |
||||
|
*/ |
||||
|
duplicate_key, |
||||
|
/** |
||||
|
* 媒体类型 |
||||
|
*/ |
||||
|
media_type, |
||||
|
/** |
||||
|
* 文中提及的标准时间 |
||||
|
*/ |
||||
|
norm_time, |
||||
|
/** |
||||
|
* 时间间隔（天） |
||||
|
*/ |
||||
|
delay_time, |
||||
|
/** |
||||
|
* 省名称 |
||||
|
*/ |
||||
|
province_code, |
||||
|
/** |
||||
|
* 市名称 |
||||
|
*/ |
||||
|
city_code, |
||||
|
/** |
||||
|
* 区县 |
||||
|
*/ |
||||
|
county_code, |
||||
|
|
||||
|
; |
||||
|
|
||||
|
/** |
||||
|
* 需要进行匹配的属性 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static Map<String, Float> getMatchFields(){ |
||||
|
Map<String, Float> matchMap = new HashMap<>(2); |
||||
|
matchMap.put(BaseFieldEnum.title.name(), 2.0F); |
||||
|
matchMap.put(BaseFieldEnum.content.name(), 1.0F); |
||||
|
return matchMap; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 需要进行匹配的属性-含拼音 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static Map<String, Float> getMatchFieldsWithPy(){ |
||||
|
Map<String, Float> matchMap = getMatchFields(); |
||||
|
Map<String, Float> pyMap = new HashMap<>(matchMap.size() * 2); |
||||
|
matchMap.forEach((k, v) -> { |
||||
|
pyMap.put(k, v); |
||||
|
/// 系统中取消拼音搜索 |
||||
|
//pyMap.put(k.concat(EsBase.ES_PINYIN_SUFFIX), v/10); |
||||
|
}); |
||||
|
return pyMap; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部属性名 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static String[] getAllFields(){ |
||||
|
return Arrays.stream(values()).map(BaseFieldEnum::name).toArray(String[]::new); |
||||
|
} |
||||
|
} |
||||
@ -0,0 +1,15 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import javax.annotation.Resource; |
||||
|
|
||||
|
/** |
||||
|
* @Author dujing |
||||
|
* @Date 2023/4/23 10:34 |
||||
|
*/ |
||||
|
public enum DocumentFieldEnum { |
||||
|
; |
||||
|
|
||||
|
public static Resource title; |
||||
|
public static Resource content; |
||||
|
public static Resource ai_tag; |
||||
|
} |
||||
@ -0,0 +1,138 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import com.google.common.collect.Lists; |
||||
|
import com.google.common.collect.Maps; |
||||
|
|
||||
|
import java.util.Arrays; |
||||
|
import java.util.LinkedHashMap; |
||||
|
import java.util.List; |
||||
|
|
||||
|
/** |
||||
|
* 表达式枚举值 |
||||
|
* |
||||
|
* @author honghao.li |
||||
|
*/ |
||||
|
public enum SearchExpressionEnum { |
||||
|
|
||||
|
/** |
||||
|
* 与 |
||||
|
*/ |
||||
|
AND("1", ""), |
||||
|
/** |
||||
|
* 或 |
||||
|
*/ |
||||
|
OR("2", ""), |
||||
|
/** |
||||
|
* 非 |
||||
|
*/ |
||||
|
NOT("3", ""); |
||||
|
|
||||
|
/** |
||||
|
* 码值 |
||||
|
*/ |
||||
|
private String key; |
||||
|
/** |
||||
|
* 国际化值 |
||||
|
*/ |
||||
|
private String label; |
||||
|
|
||||
|
/** |
||||
|
* @param key 码值 |
||||
|
* @param label 列表展示值国际化编码 |
||||
|
*/ |
||||
|
SearchExpressionEnum(String key, String label) { |
||||
|
this.key = key; |
||||
|
this.label = label; |
||||
|
} |
||||
|
|
||||
|
public String getKey() { |
||||
|
return key; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 返回int型枚举 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public int iKey() { |
||||
|
return Integer.parseInt(key); |
||||
|
} |
||||
|
|
||||
|
public String getLabel() { |
||||
|
return label; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取当前枚举值的国际化 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
// public String getLabelI18n() { |
||||
|
// return LocaleI18nUtils.getMessage(label); |
||||
|
// } |
||||
|
|
||||
|
/** |
||||
|
* 判断是否是当前枚举 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public boolean is(Integer key) { |
||||
|
return Integer.valueOf(getKey()).equals(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 校验是否支持此类型 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static boolean isSupport(String key) { |
||||
|
return Arrays.stream(values()).anyMatch(e -> e.getKey().equals(key)); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部枚举值的map |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public static LinkedHashMap<String, SearchExpressionEnum> getEnumMap() { |
||||
|
LinkedHashMap<String, SearchExpressionEnum> map = Maps.newLinkedHashMap(); |
||||
|
for (SearchExpressionEnum temp : values()) { |
||||
|
map.put(temp.getKey(), temp); |
||||
|
} |
||||
|
return map; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取国际化内容 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
// public static String getLabelI18n(String key) { |
||||
|
// if (key == null) { |
||||
|
// return ""; |
||||
|
// } |
||||
|
// |
||||
|
// LinkedHashMap<String, SearchExpressionEnum> map = getEnumMap(); |
||||
|
// if (map.containsKey(key)) { |
||||
|
// return map.get(key).getLabelI18n(); |
||||
|
// } |
||||
|
// return key; |
||||
|
// } |
||||
|
// |
||||
|
// /** |
||||
|
// * 获取key value模式枚举值集合 |
||||
|
// * |
||||
|
// * @return |
||||
|
// */ |
||||
|
// public static List<KeyValueDTO> getEnumList() { |
||||
|
// List<KeyValueDTO> rList = Lists.newArrayList(); |
||||
|
// for (SearchExpressionEnum temp : values()) { |
||||
|
// rList.add(KeyValueDTO.parse(temp.getKey(), temp.getLabelI18n())); |
||||
|
// } |
||||
|
// return rList; |
||||
|
// } |
||||
|
|
||||
|
} |
||||
@ -0,0 +1,160 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import com.google.common.collect.Lists; |
||||
|
import com.google.common.collect.Maps; |
||||
|
|
||||
|
import java.util.Arrays; |
||||
|
import java.util.LinkedHashMap; |
||||
|
import java.util.List; |
||||
|
import java.util.stream.Stream; |
||||
|
|
||||
|
/** |
||||
|
* 跨度枚举值 |
||||
|
* |
||||
|
* @author honghao.li |
||||
|
*/ |
||||
|
public enum SearchMatchTypeEnum { |
||||
|
/** |
||||
|
* 分词 |
||||
|
*/ |
||||
|
MATCH("1", ""), |
||||
|
/** |
||||
|
* 精确 |
||||
|
*/ |
||||
|
ACCURATE("2", ""), |
||||
|
/** |
||||
|
* 模糊 |
||||
|
*/ |
||||
|
FUZZY("3", ""), |
||||
|
/** |
||||
|
* 同段 |
||||
|
*/ |
||||
|
PARAGRAPH("4", ""), |
||||
|
/** |
||||
|
* 同句 |
||||
|
*/ |
||||
|
SENTENCE("5", ""), |
||||
|
/** |
||||
|
* 嵌套 |
||||
|
*/ |
||||
|
NESTED("6", ""); |
||||
|
|
||||
|
/** |
||||
|
* 码值 |
||||
|
*/ |
||||
|
private String key; |
||||
|
/** |
||||
|
* 国际化值 |
||||
|
*/ |
||||
|
private String label; |
||||
|
|
||||
|
/** |
||||
|
* @param key 码值 |
||||
|
* @param label 列表展示值国际化编码 |
||||
|
*/ |
||||
|
SearchMatchTypeEnum(String key, String label) { |
||||
|
this.key = key; |
||||
|
this.label = label; |
||||
|
} |
||||
|
|
||||
|
public String getKey() { |
||||
|
return key; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 返回int型枚举 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public int iKey() { |
||||
|
return Integer.parseInt(key); |
||||
|
} |
||||
|
|
||||
|
public String getLabel() { |
||||
|
return label; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取当前枚举值的国际化 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
// public String getLabelI18n() { |
||||
|
// return LocaleI18nUtils.getMessage(label); |
||||
|
// } |
||||
|
|
||||
|
/** |
||||
|
* 判断是否是当前枚举 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public boolean is(Integer key) { |
||||
|
return Integer.valueOf(getKey()).equals(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 校验是否支持此类型 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static boolean isSupport(String key) { |
||||
|
return Arrays.stream(values()).anyMatch(e -> e.getKey().equals(key)); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 校验是否支持此类型 |
||||
|
* |
||||
|
* @param tempEnum |
||||
|
* @return |
||||
|
*/ |
||||
|
public static boolean isSpanType(SearchMatchTypeEnum tempEnum) { |
||||
|
return tempEnum != null && Stream.of(SearchMatchTypeEnum.PARAGRAPH, SearchMatchTypeEnum.SENTENCE).anyMatch(tempEnum::equals); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部枚举值的map |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public static LinkedHashMap<String, SearchMatchTypeEnum> getEnumMap() { |
||||
|
LinkedHashMap<String, SearchMatchTypeEnum> map = Maps.newLinkedHashMap(); |
||||
|
for (SearchMatchTypeEnum temp : values()) { |
||||
|
map.put(temp.getKey(), temp); |
||||
|
} |
||||
|
return map; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取国际化内容 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
// public static String getLabelI18n(String key) { |
||||
|
// if (key == null) { |
||||
|
// return ""; |
||||
|
// } |
||||
|
// |
||||
|
// LinkedHashMap<String, SearchMatchTypeEnum> map = getEnumMap(); |
||||
|
// if (map.containsKey(key)) { |
||||
|
// return map.get(key).getLabelI18n(); |
||||
|
// } |
||||
|
// return key; |
||||
|
// } |
||||
|
|
||||
|
/** |
||||
|
* 获取key value模式枚举值集合 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
// public static List<KeyValueDTO> getEnumList() { |
||||
|
// List<KeyValueDTO> rList = Lists.newArrayList(); |
||||
|
// for (SearchMatchTypeEnum temp : values()) { |
||||
|
// rList.add(KeyValueDTO.parse(temp.getKey(), temp.getLabelI18n())); |
||||
|
// } |
||||
|
// return rList; |
||||
|
// } |
||||
|
|
||||
|
} |
||||
@ -0,0 +1,218 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import com.bfd.mf.common.util.constants.ESConstant; |
||||
|
import com.google.common.collect.Maps; |
||||
|
|
||||
|
import java.util.*; |
||||
|
|
||||
|
/** |
||||
|
* 100-全文 200-标题 300-内容 400-关键词 500-同一段落 600-同一句子 |
||||
|
* 搜索范围 |
||||
|
* |
||||
|
* @author honghao.li |
||||
|
*/ |
||||
|
public enum SearchScopeEnum { |
||||
|
|
||||
|
/** |
||||
|
* 全文 |
||||
|
*/ |
||||
|
ALL("100", SearchMatchTypeEnum.MATCH) { |
||||
|
@Override |
||||
|
public Map<String, Float> getFieldMap() { |
||||
|
return new HashMap() {{ |
||||
|
put(ESConstant.TITLE, 1.0F); |
||||
|
put(ESConstant.CONTENT, 1.0F); |
||||
|
}}; |
||||
|
} |
||||
|
}, |
||||
|
/** |
||||
|
* 标题 |
||||
|
*/ |
||||
|
TITLE("200", SearchMatchTypeEnum.MATCH) { |
||||
|
@Override |
||||
|
public Map<String, Float> getFieldMap() { |
||||
|
return new HashMap() {{ |
||||
|
put(DocumentFieldEnum.title.name(), 1.0F); |
||||
|
}}; |
||||
|
} |
||||
|
}, |
||||
|
/** |
||||
|
* 内容 |
||||
|
*/ |
||||
|
CONTENT("300", SearchMatchTypeEnum.MATCH) { |
||||
|
@Override |
||||
|
public Map<String, Float> getFieldMap() { |
||||
|
return new HashMap() {{ |
||||
|
put(DocumentFieldEnum.content.name(), 1.0F); |
||||
|
}}; |
||||
|
} |
||||
|
}, |
||||
|
/** |
||||
|
* 关键词 |
||||
|
*/ |
||||
|
// TAG("400", SearchMatchTypeEnum.NESTED) { |
||||
|
// @Override |
||||
|
// public Map<String, Float> getFieldMap() { |
||||
|
// return new HashMap() {{ |
||||
|
// put(DocumentFieldEnum.ai_tag.name().concat(Constants.SEPARATOR_POINT).concat(LabelWeightFieldEnum.label.name()), 1.0F); |
||||
|
// }}; |
||||
|
// } |
||||
|
// |
||||
|
// @Override |
||||
|
// public String getPath() { |
||||
|
// return this.getFieldMap().keySet().stream().findFirst().get().split("\\"+Constants.SEPARATOR_POINT)[0]; |
||||
|
// } |
||||
|
// }, |
||||
|
/** |
||||
|
* 内容同一段落 |
||||
|
*/ |
||||
|
// PARAGRAPH("500", SearchMatchTypeEnum.PARAGRAPH) { |
||||
|
// @Override |
||||
|
// public Map<String, Float> getFieldMap() { |
||||
|
// return new HashMap() {{ |
||||
|
// put(HtmlFieldEnum.content.name(), 1.0F); |
||||
|
// }}; |
||||
|
// } |
||||
|
// }, |
||||
|
/** |
||||
|
* 内容同一句子 |
||||
|
*/ |
||||
|
SENTENCE("600", SearchMatchTypeEnum.SENTENCE) { |
||||
|
@Override |
||||
|
public Map<String, Float> getFieldMap() { |
||||
|
return new HashMap() {{ |
||||
|
put(DocumentFieldEnum.content.name(), 1.0F); |
||||
|
}}; |
||||
|
} |
||||
|
}; |
||||
|
|
||||
|
/** |
||||
|
* 码值 |
||||
|
*/ |
||||
|
private String key; |
||||
|
/** |
||||
|
* 匹配类型 |
||||
|
*/ |
||||
|
private SearchMatchTypeEnum matchTypeEnum; |
||||
|
|
||||
|
/** |
||||
|
* @param key 码值 |
||||
|
*/ |
||||
|
SearchScopeEnum(String key, SearchMatchTypeEnum matchTypeEnum) { |
||||
|
this.key = key; |
||||
|
this.matchTypeEnum = matchTypeEnum; |
||||
|
} |
||||
|
|
||||
|
public String getKey() { |
||||
|
return key; |
||||
|
} |
||||
|
|
||||
|
public String getPath() { |
||||
|
return null; |
||||
|
} |
||||
|
|
||||
|
public SearchMatchTypeEnum getMatchTypeEnum() { |
||||
|
return matchTypeEnum; |
||||
|
} |
||||
|
|
||||
|
// public Map<String, Float> getFieldMap() { |
||||
|
// return BaseFieldEnum.getMatchFieldsWithPy(); |
||||
|
// } |
||||
|
|
||||
|
/** |
||||
|
* 返回int型枚举 |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public int iKey() { |
||||
|
return Integer.parseInt(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 判断是否是当前枚举 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public boolean is(Integer key) { |
||||
|
return Integer.valueOf(getKey()).equals(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 校验是否支持此类型 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static boolean isSupport(String key) { |
||||
|
return Arrays.stream(values()).anyMatch(e -> e.getKey().equals(key)); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取对应属性 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static Map<String, Float> getFieldsByKey(Integer key) { |
||||
|
if (key == null) { |
||||
|
return new HashMap<>(0); |
||||
|
} |
||||
|
|
||||
|
String strKey = key.toString(); |
||||
|
Map<String, SearchScopeEnum> map = getEnumMap(); |
||||
|
if (map.containsKey(strKey)) { |
||||
|
return map.get(strKey).getFieldMap(); |
||||
|
} |
||||
|
// 默认值 |
||||
|
return BaseFieldEnum.getMatchFields(); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取对应属性 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static SearchScopeEnum getEnumByKey(String key) { |
||||
|
for (SearchScopeEnum value : SearchScopeEnum.values()) { |
||||
|
if (Objects.equals(key, value.getKey())) { |
||||
|
return value; |
||||
|
} |
||||
|
} |
||||
|
return null; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取对应属性 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public static SearchMatchTypeEnum getMatchTypeByKey(Integer key) { |
||||
|
if (key == null) { |
||||
|
return null; |
||||
|
} |
||||
|
String strKey = key.toString(); |
||||
|
Map<String, SearchScopeEnum> map = getEnumMap(); |
||||
|
if (!map.containsKey(strKey)) { |
||||
|
return null; |
||||
|
} |
||||
|
return map.get(strKey).getMatchTypeEnum(); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部枚举值的map |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public static LinkedHashMap<String, SearchScopeEnum> getEnumMap() { |
||||
|
LinkedHashMap<String, SearchScopeEnum> map = Maps.newLinkedHashMap(); |
||||
|
for (SearchScopeEnum temp : values()) { |
||||
|
map.put(temp.getKey(), temp); |
||||
|
} |
||||
|
return map; |
||||
|
} |
||||
|
|
||||
|
public abstract Map<String, Float> getFieldMap(); |
||||
|
} |
||||
@ -0,0 +1,71 @@ |
|||||
|
package com.bfd.mf.common.util.enums; |
||||
|
|
||||
|
import com.google.common.collect.Maps; |
||||
|
|
||||
|
import java.util.LinkedHashMap; |
||||
|
|
||||
|
/** |
||||
|
* 搜索词策略 |
||||
|
* 包含以下全部字词 |
||||
|
* 包含以下完整词句 |
||||
|
* 包含以下任一字词 |
||||
|
* @author lihonghao |
||||
|
*/ |
||||
|
public enum SearchWordStrategyEnum { |
||||
|
|
||||
|
/** |
||||
|
* 包含以下全部字词 |
||||
|
*/ |
||||
|
ALL("1"), |
||||
|
/** |
||||
|
* 包含以下完整词句 |
||||
|
*/ |
||||
|
WHOLE("2"), |
||||
|
/** |
||||
|
* 包含以下任一字词 |
||||
|
*/ |
||||
|
ANY("3"); |
||||
|
|
||||
|
SearchWordStrategyEnum(String key) { |
||||
|
this.key = key; |
||||
|
} |
||||
|
|
||||
|
private String key; |
||||
|
|
||||
|
public String getKey() { |
||||
|
return key; |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 判断是否是当前枚举 |
||||
|
* |
||||
|
* @param key |
||||
|
* @return |
||||
|
*/ |
||||
|
public boolean is(String key) { |
||||
|
return getKey().equals(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 根据key获取枚举 |
||||
|
* |
||||
|
* @param key 扩展名 |
||||
|
* @return |
||||
|
*/ |
||||
|
public static SearchWordStrategyEnum getByKey(String key) { |
||||
|
return SearchWordStrategyEnum.getEnumMap().get(key); |
||||
|
} |
||||
|
|
||||
|
/** |
||||
|
* 获取全部枚举值的map |
||||
|
* |
||||
|
* @return |
||||
|
*/ |
||||
|
public static LinkedHashMap<String, SearchWordStrategyEnum> getEnumMap() { |
||||
|
LinkedHashMap<String, SearchWordStrategyEnum> map = Maps.newLinkedHashMap(); |
||||
|
for (SearchWordStrategyEnum temp : values()) { |
||||
|
map.put(temp.getKey(), temp); |
||||
|
} |
||||
|
return map; |
||||
|
} |
||||
|
} |
||||
@ -1,61 +0,0 @@ |
|||||
server: |
|
||||
port: 18909 |
|
||||
tomcat: |
|
||||
uri-encoding: UTF-8 |
|
||||
max-threads: 800 |
|
||||
maxHttpHeaderSize: 655360 |
|
||||
http2: |
|
||||
enabled: true |
|
||||
|
|
||||
spring: |
|
||||
datasource: |
|
||||
driver-class-name: com.mysql.jdbc.Driver |
|
||||
username: root |
|
||||
password: bfd123 |
|
||||
url: jdbc:mysql://172.26.11.113:3306/intelligent_crawl?useOldAliasMetadataBehavior=true&characterEncoding=UTF-8&zeroDateTimeBehavior=round |
|
||||
|
|
||||
hikari: |
|
||||
maximum-pool-size: 10 |
|
||||
minimum-idle: 1 |
|
||||
|
|
||||
jpa: |
|
||||
open-in-view: false |
|
||||
database: mysql |
|
||||
|
|
||||
servlet: |
|
||||
multipart: |
|
||||
max-file-size: 1009MB #单个数据大小 |
|
||||
max-request-size: 2048MB #总数据大小 |
|
||||
|
|
||||
####### |
|
||||
bfd.api.mf: |
|
||||
textPostUrl: http://rule.sq.baifendian.com/nerplace |
|
||||
emotionPostUrl : http://172.18.1.166:15038/bertsentiment |
|
||||
wordCloudPostUrl : http://rule.sq.baifendian.com/wordcloud |
|
||||
|
|
||||
goFastPostUrl : http://172.18.1.113:8080/upload |
|
||||
goFastDomain : http://172.18.1.113:8080 |
|
||||
uploadOLYExcelPath : /opt/nfsdata/excelTask/" |
|
||||
uploadZipPath : /opt/nfsdata/uploadFiles/ |
|
||||
indexNamePre : cl_major_ |
|
||||
|
|
||||
# es-mini: |
|
||||
# name: SQ_Mini |
|
||||
# address: 172.18.1.147:9313 |
|
||||
# upper: 2018-09-01 |
|
||||
# standby: cl_major_* |
|
||||
# es-normal: |
|
||||
# name: SQ_Normal_new |
|
||||
# address: 172.18.1.134:9301 |
|
||||
# upper: 2018-09-01 |
|
||||
# standby: cl_index_* |
|
||||
es-mini: |
|
||||
name: SQ_Mini |
|
||||
address: 172.26.11.111:9301 |
|
||||
upper: 2018-09-01 |
|
||||
standby: cl_major_ |
|
||||
es-normal: |
|
||||
name: SQ_Normal |
|
||||
address: 172.26.11.109:9301 |
|
||||
upper: 2018-09-01 |
|
||||
standby: cl_index_* |
|
||||
@ -1,61 +0,0 @@ |
|||||
server: |
|
||||
port: 18909 |
|
||||
tomcat: |
|
||||
uri-encoding: UTF-8 |
|
||||
max-threads: 800 |
|
||||
maxHttpHeaderSize: 655360 |
|
||||
http2: |
|
||||
enabled: true |
|
||||
|
|
||||
spring: |
|
||||
datasource: |
|
||||
driver-class-name: com.mysql.jdbc.Driver |
|
||||
username: root |
|
||||
password: Bfd123!@# |
|
||||
url: jdbc:mysql://172.18.1.134:3306/intelligent_crawl?useOldAliasMetadataBehavior=true&characterEncoding=UTF-8&zeroDateTimeBehavior=round |
|
||||
|
|
||||
hikari: |
|
||||
maximum-pool-size: 10 |
|
||||
minimum-idle: 1 |
|
||||
|
|
||||
jpa: |
|
||||
open-in-view: false |
|
||||
database: mysql |
|
||||
|
|
||||
servlet: |
|
||||
multipart: |
|
||||
max-file-size: 1009MB #单个数据大小 |
|
||||
max-request-size: 2048MB #总数据大小 |
|
||||
|
|
||||
####### |
|
||||
bfd.api.mf: |
|
||||
textPostUrl: http://rule.sq.baifendian.com/nerplace |
|
||||
emotionPostUrl : http://172.18.1.166:15038/bertsentiment |
|
||||
wordCloudPostUrl : http://rule.sq.baifendian.com/wordcloud |
|
||||
|
|
||||
goFastPostUrl : http://172.18.1.113:8080/upload |
|
||||
goFastDomain : http://172.18.1.113:8080 |
|
||||
uploadOLYExcelPath : /opt/nfsdata/excelTask/ |
|
||||
uploadZipPath : /opt/nfsdata/uploadFiles/ |
|
||||
indexNamePre : cl_major_ |
|
||||
|
|
||||
es-mini: |
|
||||
name: SQ_Mini |
|
||||
address: 172.18.1.147:9313 |
|
||||
upper: 2018-09-01 |
|
||||
standby: cl_major_* |
|
||||
es-normal: |
|
||||
name: SQ_Normal_new |
|
||||
address: 172.18.1.134:9301 |
|
||||
upper: 2018-09-01 |
|
||||
standby: cl_index_* |
|
||||
# es-mini: |
|
||||
# name: SQ_Mini |
|
||||
# address: 172.26.11.111:9301 |
|
||||
# upper: 2018-09-01 |
|
||||
# standby: cl_major_ |
|
||||
# es-normal: |
|
||||
# name: SQ_Normal |
|
||||
# address: 172.26.11.109:9301 |
|
||||
# upper: 2018-09-01 |
|
||||
# standby: cl_index_* |
|
||||
Write
Preview
Loading…
Cancel
Save
Reference in new issue