一、全文搜索系统需求分析 1，需求说明 企业有一套爬虫程序，每天都会到互联网上抓取海量的文章数据，对于这些文章数据有以下需求： 要实现海量文章数据存储，支持数据更新需求。 提供针对海量文章数据的快速复杂查询功能。 2，需求分析 （1）Elasticsearch 最擅长的是快速复杂查询......
Spring Data Elasticsearch 提供了两种不同方式用于与 Elasticsearch 进行交互的，分别是 ElasticsearchRestTemplate 和 ElasticsearchRepository。我在之前的文章中详细介绍了前者的使用（点击查看），本文接着介绍 ElasticsearchRepository 的使用......
在之前的文章中介绍了如何使用 Elasticsearch 官方提供的 Java REST 客户端 Elasticsearch Rest Client 实现与 Elasticsearch 的集成。 而在 SpringBoot 项目中，我们还可以选择 Spring Data Elasticsearch 这个客户端，它集成于 Spring 生态系统，与 Spring Boot 等框架良好结合......
我在之前的文章中介绍了整个仿百度搜索引擎的功能和架构，本文开始这个搜索引擎项目的数据存储、建立索引、以及页面检索这三块功能的开发。大致的开发步骤如下： 调用接口获取数据导入 HBase 和 Redis（存储 Rowkey）。 通过 ES 对 HBase 中的数据建立索引。 对接 Web 项目，提供页面检索功能......
本文我们通过一个仿百度搜索引擎项目来演示如何将 HBase 和 Elasticsearch 整合到一起，这里利用了 HBase 适合海量数据存储、基于 Rowkey 查询效率高的特性，以及 Elasticsearch 适合快速复杂查询的特性。 一、项目整体介绍 1，项目整体架构 2，架构说明......
1，Too many open files 的问题 （1）ES 中的索引数据都是存储在磁盘文件中的，每一条数据在底层都会产生一份索引片段文件。这些索引数据默认的存储目录是在 ES 安装目录下的 data 目录里面。 其中路径的 0DZ2Lm20RG6FyMPdjx3S5w 表示是索引库的......
1，基本介绍 （1）我们在向 Elasticsearch 中添加数据的时候，ES 底层针对每个字段其实还会涉及到 index 和 store 这两个属性： index：表示是否在 ES 中建立索引，默认为 true。 store：表示是否在 ES 中存储，默认为 false。 （2）这里的 store 属性其实是 Lucene 中的语法......
1，索引库别名使用案例 （1）在工作中使用 ES 收集应用的运行日志，每个星期创建一个索引库，这样时间长了就会创建很多的索引库，操作和管理的时候很不方便。 （2）由于新增索引数据只会操作当前这个星期的索引库，所以为了使用方便，我们就创建了两个索引库别名......
在实际工作中针对一批大量数据存储的时候需要使用多个索引库，如果手工指定每个索引库的 settings 和 mapping 配置信息的话就很麻烦了。我们可以通过提前创建一个索引库模板，这样后期在创建索引库的时候，只要索引库的命名符合一定的要求就可以直接套用模板中的配置......
1，基本介绍 （1）Elasticsearch 在添加数据时，会根据 id 或者 routing 参数进行 hash，得到 hash 值再与该索引库的分片数量取模，得到的值即为存入的分片编号。 （2）如果多条数据使用相同的 routing，则最终计算出来的分片编号都是一样的，那么这些数据就可以存储到相同的分片里面了......