在之前的文章中介绍了如何使用 Elasticsearch 官方提供的 Java REST 客户端 Elasticsearch Rest Client 实现与 Elasticsearch 的集成。 而在 SpringBoot 项目中，我们还可以选择 Spring Data Elasticsearch 这个客户端，它集成于 Spring 生态系统，与 Spring Boot 等框架良好结合......
我在之前的文章中介绍了整个仿百度搜索引擎的功能和架构，本文开始这个搜索引擎项目的数据存储、建立索引、以及页面检索这三块功能的开发。大致的开发步骤如下： 调用接口获取数据导入 HBase 和 Redis（存储 Rowkey）。 通过 ES 对 HBase 中的数据建立索引。 对接 Web 项目，提供页面检索功能......
本文我们通过一个仿百度搜索引擎项目来演示如何将 HBase 和 Elasticsearch 整合到一起，这里利用了 HBase 适合海量数据存储、基于 Rowkey 查询效率高的特性，以及 Elasticsearch 适合快速复杂查询的特性。 一、项目整体介绍 1，项目整体架构 2，架构说明......
1，Too many open files 的问题 （1）ES 中的索引数据都是存储在磁盘文件中的，每一条数据在底层都会产生一份索引片段文件。这些索引数据默认的存储目录是在 ES 安装目录下的 data 目录里面。 其中路径的 0DZ2Lm20RG6FyMPdjx3S5w 表示是索引库的......
1，基本介绍 （1）我们在向 Elasticsearch 中添加数据的时候，ES 底层针对每个字段其实还会涉及到 index 和 store 这两个属性： index：表示是否在 ES 中建立索引，默认为 true。 store：表示是否在 ES 中存储，默认为 false。 （2）这里的 store 属性其实是 Lucene 中的语法......
1，索引库别名使用案例 （1）在工作中使用 ES 收集应用的运行日志，每个星期创建一个索引库，这样时间长了就会创建很多的索引库，操作和管理的时候很不方便。 （2）由于新增索引数据只会操作当前这个星期的索引库，所以为了使用方便，我们就创建了两个索引库别名......
在实际工作中针对一批大量数据存储的时候需要使用多个索引库，如果手工指定每个索引库的 settings 和 mapping 配置信息的话就很麻烦了。我们可以通过提前创建一个索引库模板，这样后期在创建索引库的时候，只要索引库的命名符合一定的要求就可以直接套用模板中的配置......
1，基本介绍 （1）Elasticsearch 在添加数据时，会根据 id 或者 routing 参数进行 hash，得到 hash 值再与该索引库的分片数量取模，得到的值即为存入的分片编号。 （2）如果多条数据使用相同的 routing，则最终计算出来的分片编号都是一样的，那么这些数据就可以存储到相同的分片里面了......
ES 中的索引数据最终都是存储在分片里面的，分片有多个，并且分片还分为主分片和副本分片。ES 在查询索引库中的数据时，具体是到哪些分片里面查询数据呢？本文将通过样例进行详细说明。 一、查询过程分析 1，分布式查询 下图表示是一个 3 个节点的 ES 集群，集群内有一个索引库......
1，基本介绍 （1）mapping 表示索引库中数据的字段类型信息，类似于 MySQL 中的表结构信息。 一般不需要手工指定 mapping，因为 ES 会自动根据数据格式识别它的类型 如果你需要对某些字段添加特殊属性（例如：指定分词器），就必须手工指定字段的 mapping......