笔记

论文阅读-强化学习发现更快的矩阵乘法算法

2026-10-25

核心问题：让 AI 自动搜索，发现高效的矩阵乘法算法，比人类设计的一些结构算法要好。

关于强化学习搜索策略可以看这篇文章。

问题转化

这是一个很笼统的问题。让 AI 搜索某种算法需要有定义清楚的流程。直接搜索矩阵乘法空间非常大，AI 没法做。

前人已经发现了：矩阵乘法空间等价于一个特定的 三维张量的低秩分解。

把问题转化了非常关键，可以给 AI 定义搜索动作了。

两个 2x2 的矩阵，乘法需要 8 次算法，但 Strassen 找到只用 7 次计算的方法：把元素按照某种不同的组合方法能降低计算次数。

数学原理不懂。可以让 GPT 解释一下：如何用大小为 4 × 4 × 4 的三维张量表示 2 × 2 矩阵乘法？这个张量记录的是哪些元素相乘、加在结果矩阵的哪个位置？

强化学习问题建模：张量分解问题变成一个明确的小游戏：强学学习需要的状态、动作、状态转移、奖励、终止条件、优化目标都定义特别清楚。

如果我后来要做强化学习，这部分也许可以学一下怎么定义；

搜索策略：这部分应该和我有比较大的关系。怎么让 AI 选择下一步？

每一步搜索：先用神经网络（策略网络）选出 K 个待选的向量；这一步相当于缩小了搜索范围。

然后，用蒙特卡洛搜索树判断哪个动作更值得选。这里有一个问题，尝试的下一步不能只看眼前最优。也就是说不能用贪心策略去看下一步。

论文怎么做的：维护一个树结构，每个选择代表下一个节点，它会把每个选择（包括当前看起来不是最优的）都接着往下多模拟几步，然后将结果反向更新到已经遍历过的节点。

我的分解策略可以经典方法和Agent 相互结合。不只靠Agent 瞎搜。

启用 JavaScript 后可以展开评论，或前往 GitHub 讨论区。