Identifying Interactions at Scale for LLMs

Berkeley AI Research 提出 SPEX 与 ProxySPEX 两种算法，利用稀疏恢复与层级结构，在大幅减少 Ablation 成本的情况下，识别 LLM 中关键的高阶交互。SPEX 在数千特征规模下实现了现有方法难以企及的忠实度表现，ProxySPEX 则通过层级假设使计算成本降低约 10 倍，显著提升了特征、数据及模型内部组件的可解释性分析效率。