你给一个交易 AI 的任务只有一句话：尽量赚钱。你没有教它什么叫操纵，也没有列出违规动作。它会不会在反复试错中，自己找到一条“先用交易推高价格、再卖出获利”的路径？论文《Can Reinforcement Learning Efficiently Discover Price Manipulation?》把这个问题放进模拟市场，得到的答案是：在特定波动率下，会。
但标题里的“主动寻找漏洞”需要收窄理解。这里不是 AI 产生了操纵意图，也不是它攻破了真实交易所。研究测试的是：当市场模型本身允许某种可盈利的往返交易时，只追求收益的强化学习代理，能否在无人明示规则的情况下把它找出来。本文全部实验结论均来自这一篇论文，尚无独立实证交叉验证。
漏洞藏在价格冲击里
研究使用一个模拟的单资产市场。价格按照 Almgren–Chriss 框架变化——这是一类描述“交易行为怎样影响成交价格”的执行模型。论文加入两种影响。
一种是永久冲击，即一笔买卖会在后续价格中留下影响；另一种是临时冲击，即订单消耗流动性后，只在成交当下造成额外成本。论文把永久冲击设为非线性，把临时冲击设为线性。
问题就出在非线性上。假设交易者先连续买入，自己的买单逐步推高价格，再在最后卖出。如果模型中推价效果与交易量的关系设置不当，这组交易可能在期初和期末都没有持仓，却仍取得正的预期现金流。这叫动态套利；在本文的理论语境中，也被称为价格操纵。
它和现实法律中的“市场操纵”不是同一个已经自动成立的判断。论文检验的是一个数学定义：交易策略以零持仓开始，也以零持仓结束，利润只来自模型内部的价格冲击机制，而不是押注市场本身涨跌。
作者先在离散时间中证明，这类策略确实存在。甚至把动作限制为两种交易速度，也能构造可盈利的往返路径。论文称这种简化策略为 pump-and-dump：前段沿一个方向积累头寸，最后反向交易，把持仓归零。
一个知道公式，一个只看结果
真正的比较不是“RL 能不能超过完美答案”，而是有限数据下两种学习路线谁更可靠。
第一条是 model-based，也就是基于模型的方法。它知道价格由什么机制生成，但不知道冲击参数的真实数值。研究者先生成 TWAP 成交数据——TWAP 指按时间均匀拆分并执行大单——再从这些样本估计永久和临时冲击参数。随后，系统把估计值交给 SLSQP。SLSQP 是一种带约束的数值优化算法，用来搜索预期收益最高、同时满足期末持仓归零的交易路径。
作为理想基准，作者还让 SLSQP 直接看到真实参数。由于问题是非凸的——简单说，收益地形里可能有许多局部高点——论文从 500 个不同初始点启动优化，再挑出最佳解。这条完全信息路线相当于“知道地图和道路，再规划路线”。
第二条是 model-free RL，即无模型强化学习。它不先猜市场公式，也不估计冲击参数，而是直接从交易结果学习怎样行动。论文采用 DDPG（Deep Deterministic Policy Gradient）——一种适合连续动作的深度强化学习算法，因为交易量不是“买或不买”两个按钮，而可以在一个连续范围内变化。
DDPG 内部有两个角色。Actor 根据当前状态决定买卖多少；Critic 评估这个动作未来可能带来多少累积收益。代理能看到的状态很简单：当前持仓、当前时间步，以及受到永久冲击后的价格。奖励来自每一步交易结果。训练早期，它在买卖之间探索；随着训练推进，策略逐渐收敛为前 20 个时间步持续买入、最后一步卖出归零。论文在第 500 个训练 episode 后停止，因为继续训练已看不到明显改善。
这个设计的关键在于，研究没有把“操纵动作”预先做成菜单。代理只收到收益反馈，然后自己学出连续交易路径。此前一些相关研究会先定义 spoofing、pinging 等诚实或操纵动作，再让 RL 判断何时采用；本文试图回答得更靠前：不告诉代理操纵机制，它能否从价格冲击中自行恢复这种策略。
RL赢在“不用先量地图”
为公平比较，两条有限样本路线使用相同数量的数据。模型方法从 500 或 5,000 组 TWAP 样本估计参数；DDPG 则使用对应数量的训练 episode。学完以后，各策略都在 1,000 次样本外模拟中接受测试。所谓样本外，就是拿训练时没见过的新场景检查收益，避免只看“背题”表现。
结果高度依赖波动率。
在中等波动率下，DDPG 学到了统计上显著为正的现金流，而且使用较小训练集时也能做到。相同规模的数据交给模型方法后，参数抽样误差会传导到交易策略：论文发现，永久冲击指数的估计尤其嘈杂，并且通常向上偏，进而产生更保守、头寸更小的策略，压低潜在收益。在这一特定条件下，DDPG 优于需要先估参的模型路线。
这并不意味着 RL 普遍更强。低波动率下，数据噪声较小，模型方法能更准确地恢复参数；使用较大样本的模型方法优于 DDPG。高波动率下，包括理论上的两速度策略、完全信息 SLSQP 和 DDPG 在内，比较方法都没能在有限测试集中识别出统计上显著的正收益。部分估参后的 SLSQP 策略还出现显著负收益。
换句话说，RL 的优势不在于知道更多，而在于少走了一道容易累积误差的工序。模型方法先估参数，再求策略；每一步都可能把有限样本噪声带到下一步。DDPG 直接把样本映射为行动，在中等噪声下反而找到更可用的路径。但当噪声太低时，正确模型重新占优；当噪声太高时，两条路线都无能为力。
为什么这值得市场监控人员看
这项工作的价值，更像一次红队测试。红队测试不是预测系统一定会作恶，而是主动寻找：如果奖励只写“赚钱”，环境中又存在可利用的结构，代理会走到哪里。
它提出了两个相连的风险。第一是模型风险。一个执行模型即使能描述常见价格冲击，也可能因为非线性设定而允许无风险式的往返获利。RL 可以充当自动压力测试工具，不依赖研究者提前猜中漏洞的具体形状。
第二是奖励设计风险。代理没有经济理解，也没有监管意识。它只会寻找累积奖励更高的动作。如果奖励函数没有表达市场完整性、行为边界或其他约束，那么“研究者不希望出现的策略”并不会因此从搜索空间中消失。
这也解释了论文最尖锐的地方：风险未必来自一个能力失控、产生恶意的 AI，也可能来自一个非常守规矩的优化器。它严格完成了“提高收益”这个任务，只是任务本身没有写全。
局限与未知
- 这是模拟的单资产 Almgren–Chriss 市场，不是真实交易所。论文没有证明 DDPG 会在现实市场主动搜索监管漏洞，也没有验证这些交易是否符合现实法律中的操纵定义。
- 结果对波动率非常敏感。中等波动率下的优势不能外推为 RL 普遍胜过模型方法；低波动率时模型方法更好，高波动率时所有比较方法都失败。
- 论文展示的是既定环境和奖励下的可学习性。它支持“应加强奖励约束与上线前压力测试”这一风险判断，但不能单独证明现实中的自主交易系统已经采用了同类策略。