以下方案面向中文消费类商品用户评论（约5,200条），以“句向量+层次聚类（平均联接+余弦距离）”实现8簇主题发现与解释。包含概念说明、实施流程、方法选择、可视化与结果呈现的最佳实践，并提供完整代码骨架，确保可复现与业务可解释性。
一、聚类是什么，为什么重要
- 定义：聚类是一种无监督学习，将样本按相似性自动分组，组内相似、组间差异大。
- 在文本分析中的价值：
- 识别评论中的潜在主题与模式（如质量、物流、售后等），帮助定位高频痛点与机会点。
- 支撑舆情监控、体验洞察、策略分流（如把“物流破损”簇直接路由到仓配团队）。
- 生成可复用的“主题标签体系”，促进后续监控、A/B 验证与问答知识库建设。
- 注意点：
- 方法需与数据类型匹配（短文本用句向量+余弦较优）。
- 严格的数据清洗与去重能显著提升聚类质量。
- 簇数不应武断指定，应结合指标与业务语境验证（本项目先按8簇跑通，同时给出验证与调优手段）。
二、实施流程（端到端）
- 数据清洗与标准化
- 去HTML、统一全/半角、表情与标点规范化、去多余空白。
- 中文分句（用于后续摘要与代表句抽取）。
- 去重与近重复合并：相似度>0.95仅保留一条（基于句向量余弦相似度）。
- 向量化与降维
- 句向量：中文MiniLM（如 text2vec-base-chinese），L2归一化。
- PCA降到50维以降噪与加速；再L2归一化用于余弦距离。
- 聚类
- 距离：余弦；方法：层次聚类-平均联接（Ward不适用余弦）。
- 按最大簇数切割树为8簇（并提供验证与可调机制）。
- 簇解释
- 用TF-IDF/c-TF-IDF提取每簇Top关键词、双词短语。
- 代表评论：选簇内“medoid”（最接近簇中心的评论）。
- 以元数据（星级、是否含图、情感分数、文本长度、疑问句比例）描述簇画像（不参与聚类距离，只做解释）。
- 可视化
- t-SNE二维投影（余弦距离）上色显示簇，标注簇中心与关键词。
- 树状图（可抽样1000点）辅助理解层级结构。
- 评估与调优
- 内部指标：Silhouette（cosine）、Davies-Bouldin、Calinski-Harabasz。
- 稳定性：自助采样（bootstrap）一致性；树切分阈值敏感度分析。
- 业务验证：随机抽样质检+专家命名与合并/拆分。
三、不同聚类方法与应用场景对比（简）
- 层次聚类（平均联接+余弦）：适合中小规模文本、便于生成树状结构与可解释切分。本项目首选。
- KMeans（余弦或球面KMeans）：适合大规模、形状较规整的簇，但需预设K，截断性强。
- HDBSCAN：可自动发现簇数，处理噪声与不均衡，但簇解释略复杂；可作为对照验证。
- 谱聚类：适合非凸簇，但复杂度较高。
- 基于主题模型（LDA/BERTopic）：更偏“主题+词分布”解释；BERTopic与句向量结合易解释，可作为补充。
四、本项目的聚类方法（简要说明）
- 特征：句向量768维（中文MiniLM），L2归一化；PCA保留50维并再次归一化。
- 距离与联接：余弦距离 + 平均联接（UPGMA）。
- 簇数：先切8簇，随后用指标与抽样质检评估是否需合并/拆分。
- 解释：TF-IDF/c-TF-IDF关键词、代表评论（medoid）、簇画像（星级、图文比例、情感分数、长度、疑问句比例）。
五、输出格式与示例
- 识别的聚类列表（示例主题草案，非真实结果，跑完代码后以实际关键词与代表评论替换）
- 簇1 质量/做工缺陷：掉漆、开胶、异响、寿命短
- 簇2 物流/时效/破损：延迟、漏发、外箱/内件破损、快递态度
- 簇3 售后/客服体验：响应慢、推诿、处理效率、态度分歧
- 簇4 价格/促销/性价比：涨价、活动解释、价保、退差价
- 簇5 退换货流程：退货运费、检测周期、退款进度
- 簇6 安装/说明书/使用门槛：安装难度、缺少配件、说明不清
- 窟7 功能/性能（如续航/噪音/兼容）：性能不达预期、噪音、兼容性
- 簇8 外观/尺寸/颜色偏差：色差、尺寸不符、划痕
- 每个聚类的关键特征（示意字段，实际由代码计算生成）
- 关键词（Top10，含1-2gram）
- 代表评论（1-3条，靠近簇中心）
- 簇规模与占比
- 平均星级 vs 全局均值（偏高/偏低）
- 含图片比例 vs 全局均值
- 情感分数均值/方差（与全局对比）
- 文本长度、疑问句比例的提升/下降（显著性标注）
- 轮廓系数（簇内紧致度与分离度）
- 使用的聚类方法简要说明
- 算法：层次聚类（average linkage）+ 余弦距离
- 特征处理：MiniLM句向量→L2归一化→PCA至50维→L2归一化
- 切分：fcluster按maxclust=8
- 解释：c-TF-IDF/TF-IDF关键词、medoid代表评论；元数据仅用于画像解释
- 聚类可视化（如适用）
- t-SNE二维投影（cosine），点色=簇ID，簇心与Top关键词注释
- 树状图（抽样）显示簇之间层级关系
- 辅助图：各簇星级分布、小提琴图（情感分）、柱状图（含图比例）
六、可执行代码骨架（Python/Sklearn/Sentence-Transformers）
依赖
- pandas, numpy, scikit-learn, scipy, seaborn, matplotlib, sentence-transformers, jieba, umap-learn(可选), openTSNE(可选), plotly(可选)
伪代码/代码片段
import re, unicodedata, numpy as np, pandas as pd
from sklearn.preprocessing import StandardScaler, normalize
from sklearn.decomposition import PCA
from sklearn.manifold import TSNE
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics import silhouette_score, davies_bouldin_score, calinski_harabasz_score
from sklearn.neighbors import NearestNeighbors
from sentence_transformers import SentenceTransformer
from scipy.spatial.distance import cdist
from scipy.cluster.hierarchy import linkage, fcluster, dendrogram
import jieba
# 0. 加载数据：df需包含['text','star','has_image','sentiment','text_len','question_ratio']
# text_len和question_ratio可事先计算；若无，后续补充
df = pd.read_csv('comments.csv')
# 1. 文本清洗
def clean_text(s: str) -> str:
if not isinstance(s, str): return ''
s = re.sub(r'<[^>]+>', ' ', s) # 去HTML
s = unicodedata.normalize('NFKC', s) # 全/半角统一
s = re.sub(r'http\S+|www\.\S+', ' ', s) # 去URL
s = re.sub(r'[@#]\S+', ' ', s) # 去@/话题
s = re.sub(r'\s+', ' ', s).strip()
return s
df['clean'] = df['text'].astype(str).map(clean_text)
# 2. 句向量（中文MiniLM）
model = SentenceTransformer('shibing624/text2vec-base-chinese') # 或 paraphrase-multilingual-MiniLM-L12-v2
emb = model.encode(df['clean'].tolist(), batch_size=64, normalize_embeddings=True) # L2归一化
# 3. 近重复去重（相似度>0.95）
# 用近邻半径搜索：cosine距离<0.05
nn = NearestNeighbors(metric='cosine', radius=0.05, n_jobs=-1)
nn.fit(emb)
radii = nn.radius_neighbors(emb, return_distance=False)
to_drop = set()
seen = set()
for i, neigh in enumerate(radii):
if i in to_drop: continue
group = [j for j in neigh if j != i]
for j in group:
if j not in seen:
to_drop.add(j)
seen.add(i)
mask = ~df.index.isin(to_drop)
df = df[mask].reset_index(drop=True)
emb = emb[mask.values]
# 4. PCA降到50维并再次L2归一化
pca = PCA(n_components=50, random_state=42)
X50 = pca.fit_transform(emb)
X50 = normalize(X50) # 便于余弦距离稳定
# 5. 层次聚类（平均联接+余弦）
Z = linkage(X50, method='average', metric='cosine')
labels = fcluster(Z, t=8, criterion='maxclust')
df['cluster'] = labels
# 6. 簇解释：关键词（TF-IDF聚合）与代表评论（medoid）
def jieba_tokenizer(s):
return [w for w in jieba.lcut(s) if w.strip()]
tfidf = TfidfVectorizer(tokenizer=jieba_tokenizer, ngram_range=(1,2),
min_df=5, max_df=0.8, sublinear_tf=True)
X_tfidf = tfidf.fit_transform(df['clean'])
vocab = np.array(tfidf.get_feature_names_out())
cluster_info = []
X50_centroids = np.vstack([X50[labels==(k+1)].mean(axis=0) for k in range(8)])
for k in range(1, 9):
idx = np.where(labels == k)[0]
sub = df.iloc[idx]
# 关键词：对簇内TF-IDF求和排序
tfidf_sum = X_tfidf[idx].sum(axis=0).A1
top_idx = tfidf_sum.argsort()[::-1][:15]
keywords = vocab[top_idx].tolist()
# 代表评论：medoid（簇中心最近）
centroid = X50_centroids[k-1].reshape(1,-1)
dists = cdist(X50[idx], centroid, metric='cosine').ravel()
medoid_i = idx[dists.argmin()]
rep = df.loc[medoid_i, 'text'] # 使用原文
# 元数据画像
stats = {
'size': len(idx),
'star_mean': sub['star'].mean() if 'star' in sub else np.nan,
'img_ratio': sub['has_image'].mean() if 'has_image' in sub else np.nan,
'sentiment_mean': sub['sentiment'].mean() if 'sentiment' in sub else np.nan,
'len_mean': sub['text_len'].mean() if 'text_len' in sub else np.nan,
'question_ratio_mean': sub['question_ratio'].mean() if 'question_ratio' in sub else np.nan
}
cluster_info.append({'cluster': k, 'keywords': keywords[:10], 'representative': rep, 'stats': stats})
# 7. 可视化：t-SNE二维投影（余弦）
tsne = TSNE(n_components=2, perplexity=30, init='pca', learning_rate='auto',
metric='cosine', random_state=42)
X2 = tsne.fit_transform(X50)
df['tsne_x'], df['tsne_y'] = X2[:,0], X2[:,1]
# 8. 评估指标
sil = silhouette_score(X50, labels, metric='cosine')
dbi = davies_bouldin_score(X50, labels)
chi = calinski_harabasz_score(X50, labels)
print('Silhouette(cosine)=', round(sil,4), ' DBI=', round(dbi,4), ' CH=', int(chi))
# 9. 导出结果
# 每簇：关键词、代表评论、统计
for c in cluster_info:
print(f"Cluster {c['cluster']} | size={c['stats']['size']}")
print('Keywords:', ', '.join(c['keywords']))
print('Representative:', c['representative'][:120], '...')
print('Stats:', c['stats'])
print('-'*60)
# 可选：绘图（matplotlib）
import matplotlib.pyplot as plt
import seaborn as sns
plt.figure(figsize=(9,7))
sns.scatterplot(x='tsne_x', y='tsne_y', hue='cluster', data=df, palette='tab10', s=12, linewidth=0)
plt.title('t-SNE of Comments (Average-Linkage Cosine Clusters)')
plt.legend(title='Cluster', bbox_to_anchor=(1.02,1), loc='upper left')
plt.tight_layout(); plt.show()
# 树状图（大数据量可只抽样）
# dendrogram(Z, p=50, truncate_mode='lastp', no_labels=True); plt.show()
七、解读与可视化指导
- 主题命名：结合每簇Top关键词+代表评论，邀请业务同事共同命名，必要时合并高度相近簇。
- 代表评论的挑选：
- 中心最近的1-3条（medoid），再加1条“负极端”和1条“正极端”（按情感分或星级），增强覆盖面。
- 元数据关联：
- 用相对提升率标注：簇内均值/全局均值-1，如簇3的“含图比例”较全局高40%，提示场景特征。
- 稳定性与质量：
- 检查每簇轮廓系数，低于0.1提示边界模糊；查看相邻簇的关键词和代表评论，考虑合并或重切。
- 可视化注意：
- t-SNE只用于直观展示，判断边界仍以距离和簇内一致性为准。
- 树状图可帮助理解主题之间的层级与距离，辅助业务决策（如两簇可合并）。
八、优化聚类性能与常见挑战
- 近重复高相似度筛选：
- 5200条规模可直接半径近邻；若后续10万级，可用Faiss/HNSW加速或MinHash/LSH做初筛。
- 噪声与小簇：
- 设定最小簇规模阈值（如<1%样本）标注为“其他/待审”，或并入最近大簇。
- 平衡中文关键词质量：
- 使用结巴用户词典加入品牌词、品类词、功能词；TF-IDF设置ngram=(1,2)捕捉“价保/退差价”等短语。
- 长文本处理：
- 极长评论可按句向量平均或取加权（靠近情感/核心句权重更高）；限制编码长度避免截断误差。
- 模型与降维：
- 如主题混叠严重，可尝试更强中文向量（如 text2vec-large-chinese）或用UMAP代替PCA做结构保留，再层次聚类。
- 簇数选择与验证：
- 虽预设8簇，仍建议：轮廓系数曲线、层次树cut distance稳定段、业务抽样质检三者一致时再固化K。
九、结果呈现的最佳实践（面向业务）
- 一页总览：8个簇的规模、星级差异、情感分对比、Top关键词云图。
- 每簇卡片：
- 簇名、代表评论（2-3条）、Top10关键词、关键画像指标、近半年趋势（如按时间段簇占比）。
- 行动指引：
- 针对负面权重高的簇给出建议负责人与下一步（如“物流破损”反馈给仓配，联动QA复盘包装）。
- 可追溯与复现：
- 保存版本化的模型参数、阈值、关键词表、代表评论ID与时间戳；确保后续监控可复跑对比。
十、总结
- 通过“MiniLM句向量→PCA→层次聚类(平均联接+余弦)→c-TF-IDF解释→t-SNE展示”，能够在5,200条评论中稳定发现约8个业务相关主题簇。
- 强调数据清洗、去重与可解释特征仅用于画像不参与距离，避免信息泄漏与偏置。
- 用内部指标+抽样质检+业务语境三重验证簇的合理性，必要时调整簇数或改切阈值。
- 以“簇卡片+趋势+行动项”输出，提高洞察转化为改进动作的效率。
需要我基于您的真实数据运行并返回“每簇关键词与代表评论”的具体结果吗？可在您确认数据字段后，我可直接按上述代码生成最终输出表与可视化图。
