苹果是水果还是公司?AI 靠这招瞬间判断
“苹果发布了新手机”——苹果是公司。“苹果熟了可以摘”——苹果是水果。同一个词,你一眼就懂,因为你看了上下文。但 AI 怎么做到的?上一讲说过:Embedding 把每个词变成坐标。但”苹果公司”和”苹果水果”的坐标是一样的。光有坐标,AI 还是分不清。
这就是 Attention 的工作:每个词向句子里的其他词”发问”,算出相关度分数。“苹果”遇到”新手机”打高分,遇到”熟了”也打高分——分数不同,最终的理解就不同。不是 AI “读懂”了语境,而是它在算哪些词更相关,然后按权重调整含义。这个权重还是软的——不是只盯住一个词,而是所有词都参与,只是高分词影响更大。