场景分析
- 输入：站内文章标题 List，例如 ["Java Streams in Action", "Effective Java", ...]
- 目标：分词（按非字母数字分隔）、统一小写、过滤停用词和长度<2的词，统计词频；按频次降序、词升序排序，取Top10；输出 LinkedHashMap<String, Long>
- 需要考虑：空输入、停用词集合为空或为null的兜底；排序稳定且确定；性能与可读性
代码实现
import java.util.*;
import java.util.function.Function;
import java.util.regex.Pattern;
import java.util.stream.Collectors;
public class KeywordCounter {
// 使用Unicode类别分词：非“字母或数字”的字符作为分隔符
private static final Pattern NON_ALNUM_SPLITTER = Pattern.compile("[^\\p{L}\\p{N}]+");
private static final int DEFAULT_TOP_N = 10;
/**
* 统计出现频次最高的关键词（Top N）。
*
* @param titles 文章标题列表，允许为null或空
* @param stopWords 停用词集合，允许为null或空（将按小写匹配）
* @param topN 需要返回的Top N，若<=0则使用默认值10
* @return 按频次降序、词典序升序稳定排序的LinkedHashMap<String, Long>
*/
public static LinkedHashMap<String, Long> topFrequentKeywords(
List<String> titles,
Set<String> stopWords,
int topN
) {
// 兜底：输入为空时直接返回空的LinkedHashMap
if (titles == null || titles.isEmpty()) {
return new LinkedHashMap<>();
}
// 兜底：停用词为null或空时，按空集合处理；并统一为小写以便匹配
final Set<String> normalizedStopWords = (stopWords == null || stopWords.isEmpty())
? Collections.emptySet()
: stopWords.stream()
.filter(Objects::nonNull)
.map(s -> s.toLowerCase(Locale.ROOT))
.collect(Collectors.toUnmodifiableSet());
final int limit = topN > 0 ? topN : DEFAULT_TOP_N;
// 1) 扁平化分词（flatMap）
// 2) 统一小写
// 3) 过滤空串、长度<2、停用词
// 4) 分组计数（groupingBy + counting）
Map<String, Long> frequency = titles.stream()
.filter(Objects::nonNull)
.flatMap(title -> Arrays.stream(NON_ALNUM_SPLITTER.split(title)))
.map(token -> token.toLowerCase(Locale.ROOT))
.filter(token -> !token.isBlank())
.filter(token -> token.length() >= 2)
.filter(token -> !normalizedStopWords.contains(token))
.collect(Collectors.groupingBy(Function.identity(), Collectors.counting()));
if (frequency.isEmpty()) {
return new LinkedHashMap<>();
}
// 自定义比较器：先按频次降序，再按词典序升序，保证确定性与可读性
Comparator<Map.Entry<String, Long>> byCountDescThenWordAsc =
Comparator.<Map.Entry<String, Long>, Long>comparing(Map.Entry::getValue)
.reversed()
.thenComparing(Map.Entry::getKey);
// 排序 + 截取TopN + 收集为按插入顺序保持的LinkedHashMap
return frequency.entrySet().stream()
.sorted(byCountDescThenWordAsc)
.limit(limit)
.collect(Collectors.toMap(
Map.Entry::getKey,
Map.Entry::getValue,
(a, b) -> a, // 不会冲突；占位以满足toMap签名
LinkedHashMap::new // 保持有序（稳定输出）
));
}
/**
* 默认Top10的便捷方法。
*/
public static LinkedHashMap<String, Long> topFrequentKeywords(
List<String> titles,
Set<String> stopWords
) {
return topFrequentKeywords(titles, stopWords, DEFAULT_TOP_N);
}
// 示例主方法（可选）
public static void main(String[] args) {
List<String> titles = Arrays.asList(
"Java Streams in Action",
"Effective Java: Best Practices",
"Java & JVM: Memory Model Insights!!!",
"Stream processing with Java 17 and Spring",
"Top 10 Java Streams Tips & Tricks"
);
Set<String> stopWords = new HashSet<>(Arrays.asList(
"in", "and", "with", "the", "a", "of", "to", "for", "on",
"jvm", "17", "10", "&" // 数字和符号若需过滤可加入停用词
));
LinkedHashMap<String, Long> top = topFrequentKeywords(titles, stopWords, 10);
System.out.println(top);
}
}
代码说明
- NON_ALNUM_SPLITTER：使用 "[^\p{L}\p{N}]+" 基于Unicode分词，支持多语言字母与数字。避免仅ASCII的局限。
- Locale.ROOT：统一小写时使用ROOT，避免土耳其语等区域性大小写陷阱。
- normalizedStopWords：将停用词小写化后放入不可变集合，查找O(1)。
- flatMap：对每个标题分词后扁平化为词流。
- 过滤链：
- isBlank 防止空白词进入。
- 长度>=2 满足需求，抑制单字符噪声。
- 非停用词过滤。
- groupingBy + counting：统计词频，返回Map<String, Long>。
- 排序比较器：
- 先按频次降序（reversed）
- 再按词升序（自然序）
这样在频次相同的情况下有确定性顺序，且配合稳定的Stream.sorted与LinkedHashMap保证输出稳定。
- limit(limit)：截取TopN，默认10。
- 收集器使用LinkedHashMap::new，按插入顺序保持排序结果。
使用示例
- 输入：
- titles:
- "Java Streams in Action"
- "Effective Java: Best Practices"
- "Java & JVM: Memory Model Insights!!!"
- "Stream processing with Java 17 and Spring"
- "Top 10 Java Streams Tips & Tricks"
- stopWords: ["in","and","with","the","a","of","to","for","on","jvm","17","10","&"]
- topN: 10
- 预期输出（LinkedHashMap，按顺序）：
- {java=5, streams=2, action=1, best=1, effective=1, insights=1, memory=1, model=1, practices=1, processing=1}
说明：频次相同的多个词按词典序升序挑选，确保结果可预测。
注意事项
- 分词规则：基于Unicode的字母/数字识别，适合大多数语言。若需特定语言的专业分词（如中文分词），需替换分词器。
- 停用词匹配采用小写对齐，请保证传入停用词为期望的语言与形态。
- 大数据量时，groupingBy会在内存中聚合所有词频；如数据规模特别大，可考虑分片处理或使用近似算法（如Top-K堆与流式频率估计），但需根据业务场景取舍精度。
- 不建议在此场景下使用并行流：排序与TopN需要全局有序，且串行管道更易确保稳定输出和可读性。
- 若允许数字词进入统计，请从停用词中移除数字字符串；若不希望数字进入，可在过滤中增加 token.chars().anyMatch(Character::isLetter) 条件排除纯数字。
