查询数据网格缓存

Data Grid 配置控制索引的存储和构建方式。

索引存储

您可以配置 Data Grid 存储索引的方式：

<distributed-cache>
  <indexing storage="filesystem" path="${java.io.tmpdir}/baseDir">
    <!-- Indexing configuration goes here. -->
  </indexing>
</distributed-cache>

<distributed-cache>
  <indexing storage="local-heap">
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

索引路径

当 storage 为 'filesystem' 时，指定索引的文件系统路径。该值可以是相对或绝对路径。相对路径相对于配置的全局持久位置创建，或者在禁用全局状态时到当前工作目录。

默认情况下，缓存名称用作索引路径的相对路径。

索引启动模式

当 Data Grid 启动时，它可以执行操作以确保索引与缓存中的数据一致。默认情况下，缓存启动时不会进行索引操作，但您可以将 Data Grid 配置为：

<distributed-cache>
  <indexing storage="filesystem" startup-mode="purge">
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

<distributed-cache>
  <indexing storage="local-heap" startup-mode="reindex">
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

索引模式

indexing-mode 控制如何将缓存操作传播到索引中。

将 indexing-mode 设置为 manual ：

<distributed-cache>
  <indexing indexing-mode="manual">
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

索引读取器

索引读取器是一个内部组件，提供对索引的访问来执行查询。随着索引内容的变化，Data Grid 需要刷新读取器，以便搜索结果最新。您可以为索引读取器配置刷新间隔。默认情况下，Data Grid 会在索引自上次刷新后更改索引前读取索引。

<distributed-cache>
  <indexing storage="filesystem" path="${java.io.tmpdir}/baseDir">
    <!-- Sets an interval of one second for the index reader. -->
    <index-reader refresh-interval="1000"/>
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

索引写器

索引写器是一个内部组件，它构造由一个或多个片段(sub-indexes)组成的索引，可随着时间的推移合并以提高性能。较少的片段通常意味着查询期间的开销较少，因为索引读取器操作需要考虑所有片段。

Data Grid 在内部使用 Apache Lucene，并在两个层（内存和存储）中索引条目。新条目会首先进入内存索引，然后在出现 flush 时，到配置的索引存储。发生定期提交操作，从之前清空的数据中创建片段，并将所有索引更改永久更改。

<distributed-cache>
  <indexing storage="filesystem" path="${java.io.tmpdir}/baseDir">
    <index-writer commit-interval="2000"
                  low-level-trace="false"
                  max-buffered-entries="32"
                  queue-count="1"
                  queue-size="10000"
                  ram-buffer-size="400"
                  thread-pool-size="2">
      <index-merge calibrate-by-deletes="true"
                   factor="3"
                   max-entries="2000"
                   min-size="10"
                   max-size="20"/>
    </index-writer>
    <!-- Additional indexing configuration goes here. -->
  </indexing>
</distributed-cache>

要配置数据网格如何合并索引片段，您可以使用 index-merge 子元素。

索引分片

当您有大量数据时，您可以将 Data Grid 配置为将索引数据分成多个名为分片的索引。在分片中启用数据分布可提高性能。默认情况下禁用分片。

使用 shards 属性配置索引数量。分片数量必须大于 1。

<distributed-cache>
  <indexing>
    <index-sharding shards="6" />
  </indexing>
</distributed-cache>

您可以使用 Query.maxResults (int maxResults) 限制返回的结果数量。这可与 Query.startOffset (long startOffset) 一起使用，来实现结果集的分页。

// sorted by year and match all books that have "clustering" in their title
// and return the third page of 10 results
Query<Book> query = cache.query("FROM org.infinispan.sample.Book WHERE title like '%clustering%' ORDER BY year").startOffset(20).maxResults(10)

QueryResult 对象包含 .hitCount （） 方法，它返回一个 hit count 值，代表查询的结果总数，而不考虑任何分页参数。

另外，QueryResult 对象包含 .isExact （） 方法返回的布尔值，它指示 hit count 号是否准确还是低绑定。因为性能的原因，点击数仅适用于索引的查询。

Query 对象具有 .iterator （） 方法，可以完全获得结果。它返回一个在使用后必须关闭的 CloseableIterator 实例。

可以不必为每个执行构建一个新的 Query 对象，而是在查询中包含命名参数，这些参数可以在执行前使用实际值替换。这允许定义一次查询，并可以有效地执行多次。参数只能在操作器的右侧使用，并通过提供由 org.infinispan.query.dsl.Expression.param (String paramName) 方法生成的对象来创建查询时定义。定义参数后，可以通过调用 Query.setParameter (parameterName, value) 或 Query.setParameters (parameterMap) 来设置参数，如以下示例所示。

// Defining a query to search for various authors and publication years
Query<Book> query = cache.query("SELECT title FROM org.infinispan.sample.Book WHERE author = :authorName AND publicationYear = :publicationYear").build();

// Set actual parameter values
query.setParameter("authorName", "Doe");
query.setParameter("publicationYear", 2010);

// Execute the query
List<Book> found = query.execute().list();

或者，您可以提供一个实际参数值映射以一次性设置多个参数： ⁠

Map<String, Object> parameterMap = new HashMap<>();
parameterMap.put("authorName", "Doe");
parameterMap.put("publicationYear", 2010);

query.setParameters(parameterMap);

Query API 提供了两种方法在缓存中执行 Ickle 查询：

Ickle 支持许多可用于索引和非索引字段的过滤运算符。

以下示例中演示了多个属性条件和逻辑组合(和)和 disjunction (或)运算符，以创建更复杂的条件。布尔值运算符的已知运算符优先级规则适用于此处，因此操作器的顺序无关。这里 和 运算符的优先级比 高，即使先调用 或。

# match all books that have "Data Grid" in their title
# or have an author named "Manik" and their description contains "clustering"

FROM org.infinispan.sample.Book WHERE title LIKE '%Data Grid%' OR author.name = 'Manik' AND description like '%clustering%'

布尔值负值在逻辑运算符之间具有最高优先级，并且只适用于下一个简单的属性条件。

# match all books that do not have "Data Grid" in their title and are authored by "Manik"
FROM org.infinispan.sample.Book WHERE title != 'Data Grid' AND author.name = 'Manik'

通过括号更改逻辑运算符的优先级：

# match all books that have an author named "Manik" and their title contains
# "Data Grid" or their description contains "clustering"
FROM org.infinispan.sample.Book WHERE author.name = 'Manik' AND ( title like '%Data Grid%' OR description like '% clustering%')

在某些用例中，如果应用实际使用了一小部分属性，则返回整个域对象是过量的，特别是在域实体有嵌入式实体时。查询语言允许您指定属性（或属性路径）的子集来返回 - 投射。如果使用投射，则 QueryResult.list （） 不会返回整个域实体，而是返回 Object[] 列表，则数组中的每个插槽都与投射属性对应。

# match all books that have "Data Grid" in their title or description
# and return only their title and publication year
SELECT title, publicationYear FROM org.infinispan.sample.Book WHERE title like '%Data Grid%' OR description like '%Data Grid%'

# return the title, publication year and the cache entry version
SELECT b.title, b.publicationYear, version(b) FROM org.infinispan.sample.Book b WHERE b.title like '%Data Grid%'

# return the cache entry value and the cache entry version
SELECT b, version(b) FROM org.infinispan.sample.Book b WHERE b.title like '%Data Grid%'

# return the cache entry value and the the score of the matching
SELECT b, score(b) FROM org.infinispan.sample.Book b WHERE b.title like '%Data Grid%'

# match all books that have "Data Grid" in their title or description
# and return them sorted by the publication year and title
FROM org.infinispan.sample.Book WHERE title like '%Data Grid%' ORDER BY publicationYear DESC, title ASC

Data Grid 能够根据一组分组字段并构造来自每个组的结果聚合来对查询结果进行分组，方法是将聚合应用到每个组中的值集合。分组和聚合只能应用到投射查询（在 SELECT 子句中带有一个或多个字段）。

支持的聚合有： avg、sum、count、max 和 min。

组分组字段通过 GROUP BY 子句指定，并且用于定义分组字段的顺序无关。投射中选择的所有字段都必须分组字段，否则必须使用下面描述的分组功能之一来聚合它们。项目字段可以聚合，并同时用于分组。选择仅分组字段但没有聚合字段的查询是法律的。附录示例：作者对手册进行分组，并计算它们。

SELECT author, COUNT(title) FROM org.infinispan.sample.Book WHERE title LIKE '%engine%' GROUP BY author

聚合

您可以将以下聚合功能应用到一个字段：

使用分组和聚合评估查询

聚合查询可以包含过滤条件，如常规查询。可以在两个阶段执行过滤：在分组操作之前和之后执行。在执行分组操作之前，定义的所有过滤器条件都将应用到缓存条目（而不是最终投射）。这些过滤器条件可以引用查询的实体类型的任何字段，旨在限制要作为分组阶段输入的数据集。调用 groupBy （） 方法后定义的所有过滤器条件将应用到投射结果和分组操作。这些过滤器条件可以引用任何 groupBy （） 字段或聚合的字段。允许引用在 select 子句中指定的聚合字段，但禁止引用非aggregated 和 non-grouping 字段。在此阶段过滤将根据其属性减少组量。排序也可以指定，类似于常见的查询。排序操作在分组操作后执行，并可引用任何 groupBy （） 字段或聚合字段。

您可以使用以下语法从 Data Grid 缓存中删除实体：

DELETE FROM <entityName> [WHERE condition]

DELETE 查询无法使用以下任一方法：

要执行模糊查询，请添加 ~ 和整数，代表术语后面的术语的距离。例如

FROM sample_bank_account.Transaction WHERE description : 'cofee'~2

要执行范围查询，请在大括号内定义给定边界，如下例所示：

FROM sample_bank_account.Transaction WHERE amount : [20 to 50]

可以通过用引号括起来来搜索一组词语，如下例所示：

FROM sample_bank_account.Transaction WHERE description : 'bus fare'

要执行相似查询，请在特定距离中查找两个术语，请在短语后添加一个 ~ 和距离。例如，以下示例将查找取消和费用的词语，只要它们不多于 3 个词语：

FROM sample_bank_account.Transaction WHERE description : 'canceling fee'~3

要搜索"文本"或"test"，请使用 ? 单字符通配符搜索：

FROM sample_bank_account.Transaction where description : 'te?t'

要搜索 "test", "tests" 或 "tester"，请使用 * 多字符通配符搜索：

FROM sample_bank_account.Transaction where description : 'test*'

通过在 / 之间指定模式，可以执行正则表达式查询。Ickle 使用 Lucene 的正则表达式语法，因此可以搜索单词 moat 或 boat ：

FROM sample_library.Book  where title : /[mb]oat/

通过在术语后面添加 ^ 来提高给定查询的相关性，可以提高术语的提升因素越高。例如，要搜索包含 beer 和 wine 较高的相关标题(3 倍)，可以使用以下内容：

FROM sample_library.Book WHERE title : beer^3 OR wine

Data Grid 提供了一组默认的分析器定义。

这些分析器定义基于 Apache Lucene。有关令牌工具、过滤器和 CharFilters 的更多信息，请参阅 Apache Lucene 文档。

创建自定义分析器定义，并将它们添加到您的 Data Grid Server 安装中。

import org.apache.lucene.analysis.core.LowerCaseFilterFactory;
import org.apache.lucene.analysis.core.StopFilterFactory;
import org.apache.lucene.analysis.standard.StandardFilterFactory;
import org.apache.lucene.analysis.standard.StandardTokenizerFactory;
import org.hibernate.search.cfg.SearchMapping;
import org.infinispan.Cache;
import org.infinispan.query.spi.ProgrammaticSearchMappingProvider;

public final class MyAnalyzerProvider implements ProgrammaticSearchMappingProvider {

   @Override
   public void defineMappings(Cache cache, SearchMapping searchMapping) {
      searchMapping
            .analyzerDef("standard-with-stop", StandardTokenizerFactory.class)
               .filter(StandardFilterFactory.class)
               .filter(LowerCaseFilterFactory.class)
               .filter(StopFilterFactory.class);
   }
}

默认情况下，使用名为 key 的属性将作为目标。

select s.key.column from model.Structure s where s.key.zone = 'z7'

如果值已经具有名为 key 的属性，则密钥实体的定义可能会创建与属性的命名冲突。因此，通常也可以更改名称，将其分配为属性键的前缀，更改 @Indexed 注释的属性 keyPropertyName。

entity 键可以带有嵌入式实体。您可以通过更改属性 keyIncludeDepth （默认为 3 ）来限制被索引的嵌入式实体字段的深度。

持续查询为应用程序提供持续的更新流，从而产生大量事件。Data Grid 会临时为它生成的每个事件分配内存，这可能会导致内存压力，并可能导致 OutOfMemoryError 异常，特别是对于远程缓存。因此，您应该仔细设计您的连续查询以避免出现性能影响。

Data Grid 强烈建议您将持续查询的范围限制为您需要的最小信息。要达到此目的，您可以使用 projections 和 predicates。例如，以下语句只提供与条件匹配的字段子集而不是整个条目的结果：

SELECT field1, field2 FROM Entity WHERE x AND y

还需要确保创建的每个 continuous QueryListener 可以快速处理所有接收的事件，而无需阻塞线程。要达到此目的，您应该避免任何不必要地生成事件的缓存操作。