Yuanhao Feng

返回

第一篇讲了 DSL 指令集和 Grid 数据模型。这篇接着讲生成过程:模型如何选择和组织 DSL 操作(op),系统又如何控制整个过程。

CubeMuse 的建造管线经历了三代。每次调整都源于上一版在实际生成中遇到的问题。

v1: 单次生成#

最初的做法很直接。用户输入自然语言,由一次 LLM 调用生成完整的 DSL 程序。引擎从回复中提取 JSON,完成自动修复和版本迁移,再检查语法与规模。检查通过后,执行程序并写入 Grid。如果第一次生成失败,就把诊断信息交给模型再试一次,最多调用两次。

问题是,模型需要在一次回复里完成建筑设计和布局,还要算对坐标、写对语法。任务集中在一起,生成的建筑往往比较简陋。程序一长,后半段也容易漏掉前面规定的约束,坐标对齐等空间推理尤其容易出错。

v1 能生成简单作品,但很难靠一次生成完成复杂建筑。

v2: 多阶段流水线#

v2 的思路是把 v1 集中在一次调用里的负担拆成多个阶段,每个阶段只做一类决策。

生成过程分为以下几步:

  1. S0 设计简报。 使用能力较强的模型,根据用户需求生成 DesignBrief,确定风格与材质方向,并预估建筑体量。
  2. S1 布局规划。 同样使用能力较强的模型,在 DesignBrief 基础上生成布局的中间表示(IR),描述各部分的体量、相对位置和连通要求。
  3. 布局解析。 由代码将相对位置解析为绝对边界框坐标,检查碰撞和连通,生成房间、门廊、屋顶等骨架。
  4. S2 构件选型。 使用速度较快的 Flash 档模型,为既定骨架选择构件及其参数,并指定对应的语义槽位,由代码计算实际放置位置。如果这一步失败,仍可使用已生成的骨架。
  5. S3 细节补全。 由代码追加带随机种子(seed)的 detail 操作,补上勒脚、窗台和檐口等细节。这一步不调用模型,相同种子会得到相同结果。

这是设计时的模型分工。实际运行时,也可以配置为各阶段使用同一个模型。

这套流水线能处理比 v1 复杂得多的结构,但各阶段只能向前推进。S1 确定布局后,后续步骤无法回头修改。骨架生成器主要面向建筑,也没有根据当前作品反复检查和调整的机制。如果骨架不合适,后续再补构件和细节也很难纠正。

v1 单次生成 一次调用生成完整 DSL,再校验纠错 自然语言 LLM 全量生成 设计 + 布局 + 坐标 + 语法 校验 Grid 失败: 诊断回喂重试 (至多 1 轮) 瓶颈 模型单次承担全部认知负荷: 设计、布局、坐标计算、语法 v2 固定流水线 分阶段编译: LLM 只做语义决策,几何交给确定性代码 S0 设计简报 LLM 强档 (设计分工,可配置) S1 布局规划 LLM 强档 (设计分工,可配置) 布局解析 纯代码 绝对坐标骨架 S2 构件选型 LLM flash 档 (设计分工,可配置) S3 细节补全 纯代码,零 token detail op Grid 单向流动,不可回溯 瓶颈: 阶段固化。后续步骤无法修正前面的决定,没有持续观察与修订的循环,骨架定错后面全跟着错。骨架与构件按建筑布局设计。 v3 有界工具循环 模型拿着工具箱自己决定下一步,预算封顶 预算边界 (建造步 / token / 墙钟 / 总调用) LLM 决策 选工具 + 参数 确定性执行 工具 + 编译 + Grid 观察反馈 文本 + 视觉描述 工具箱 建造 add_ops replace_group remove_group 侦察 search_library get_entry inspect look: 配置视觉模型后可用 完成 finish 同一模型处理相同的 12 条请求:v2 成功返回 9 份程序,v3 返回 11 份。各运行一次,未评估视觉质量。

v3: 有界工具循环#

v3 不再把生成过程切成固定阶段。模型每轮自主选择工具,根据当前作品决定下一步操作。服务端执行后把观察结果追加回对话,后续轮次可以根据已建内容重新决定建造顺序和局部结构。

一次典型的建造过程: 模型先用 search_library 查参考库,用 get_entry 读取感兴趣的条目,然后用 add_ops 开始建造。建了几步之后用 inspect 检查当前结构摘要和 lint 报告,发现屋顶比例不对,用 replace_group 按命名句柄替换屋顶部分。如果配置了视觉模型,还能用 look 对当前作品生成四视角截图并取得视觉描述。最后调用 finish 主动结束。

八个工具#

工具分三组:

建造工具。 add_ops 向当前程序追加一批 op,可同时增补或覆盖材质角色。replace_group 按 id 替换一个顶层 op,命名 group 为屋顶、入口等局部结构提供编辑句柄。remove_group 删除指定 id 的顶层 op。后续锚点引用因删除而失效时,候选变更会被整体拒绝。

查询与检查工具。 search_library 返回参考库中匹配条目的摘要,get_entry 再按 id 读取全文,模型只需展开感兴趣的构件或资料。inspect 返回结构摘要、静态检查(lint)报告和按需生成的 ASCII 切片,供模型核查层高、方块分布等情况。look 生成当前作品的四视角图像,再交给视觉模型描述,只在视觉能力配置成功后才可用。这些工具共用下文所述的查询与检查额度。

结束工具。 finish 用于主动结束本次建造。它只要求当前已有非空作品,没有按质量评分设置结束门槛。模型何时认为作品已经完成,主要由提示词引导。

候选程序校验与提交#

模型选好工具和参数后,建造会话 BuildSession 会先在候选程序上校验语法与规模,再执行程序并检查结果是否非空。全部通过后,才用新结果替换当前状态。如果修改被拒绝,就保留上一次通过检查的结果。因此,只要成功提交过一次,后续失败就不会丢掉已有作品。

如果预算耗尽,或连续错误触发了停止机制,系统会收尾并返回最近一次有效的作品。如果始终没有成功生成非空作品,则返回失败。

对照数据#

为了比较两代管线,测试使用同一个模型,让 v2 和 v3 分别处理相同的 12 条生成请求,题材包括建筑、树、船和像素画。在这轮测试中,v2 有 9 条请求成功返回了可执行的建造程序,v3 有 11 条。这里统计的是程序能否成功交付,并不代表作品的视觉质量;每条请求也只运行了一次。

城堡案例: 尺度与预算不足#

一次城堡生成记录说明了旧预算规则的问题:查询和检查占用了建造次数,等模型发现作品不合适时,已经没有多少调整空间。

当时每次工具调用都扣一步,最多 12 步。其中约 7 次用于建造,3 次用于查询参考资料(search_library 和 get_entry),1 次用于 look 检查,还有 1 次因为 group 子项缺少 op 字段而被拒绝。

模型查到了 watchtower-small 构件,但最终自行生成了塔楼,没有用 place_component 放置该构件。算上查询、视觉检查和被拒绝的操作,12 次调用中有 5 次没有直接增加作品中的方块,占总调用预算的 41.67%。

look 直到第 10 次调用才执行,此时只剩 2 次调用机会。视觉诊断指出,作品太小,看起来像民房,也缺少城门和雉堞。但当时预设的建造范围固定为 48×48×48,加上剩余调用次数不足,即使发现问题,也很难重新调整。

最终作品的尺寸是 31×20×34,共 4,681 个方块。模型检索到的 epic-castle 参考件则是 103×47×128,共 48,696 个方块。按方块数计算,成品只有参考件的约十分之一。

城堡失败轨迹: 12 次调用里 5 次没有产出几何 真机轨迹,预算改革前。旧规则下每次调用都扣步数,上限 12 步。 12 次调用的数量汇总,按动作类型分组 建造 7 调研 3 look 1 被拒 1 约 7 次建造机会: add_ops / replace_group 等 调研 3 次: 取回 watchtower-small,塔楼仍由模型自行生成 look 1 次: 4 视角截图 + 视觉模型描述 被拒 1 次: group 子项缺 op 字段,整步 REJECTED look 来得太晚 第 1~9 次 第 10 次 只剩 2 次 诊断全对: 太小,像民房,缺城门和雉堞 包络又锁在 48 立方,知道问题也改不动了 成品块数约为参考件的十分之一 本次成品 31x20x34, 4,681 块 epic-castle 48,696 块 它自己检索到的参考件,103x47x128 (当时参考卡读数)。主因是 prompt 把 building 包络写死成 48 立方 (后由 ScalePlan 修正)。 按新 M 档规则换算这 12 次调用 规则示意,实际取决于运行 旧规则 步数 12/12 新规则 (M 档) 建造步 7/14 侦察 4/6 被拒重试 1/6 侦察和被拒不扣建造步,但照常花 token 和墙钟

这次生成之后,预算规则做了两项调整:为查询与检查动作设置独立额度,额度内不占用建造步数;引入 ScalePlan,按请求所需的作品规模分配资源。

尺度分档与预算控制#

工具调用计数规则#

调整后的规则先检查操作是否出错,再区分建造与查询与检查。成功的建造动作和 finish 各扣一个建造步。查询与检查动作有独立额度,额度内不扣建造步,超额后才扣。被拒绝的操作另有 6 次额度,用完后也会扣建造步。如果工具连续 3 次返回错误,循环就会停止;一次成功返回会清零连续错误计数。

这样,模型可以先查资料、检查作品,留出更多建造步数用于实际修改。不过,独立额度内的查询与检查仍然消耗 token 和时间,因此系统还需要限制 token 用量、实际耗时和总调用次数。

四层上限#

建造步数、token 用量、实际耗时和总调用次数各有上限。达到其中任意一项,循环就不再继续。

  • 建造步: 按档位和类别计算有效步数,封顶 32。
  • Token: 统计建造模型累计的 promptTokens + completionTokens,包含查询与检查与被拒轮次的建造模型用量。look 的视觉模型用量进入独立账本。
  • 实际耗时: 默认上限为 240 秒,可通过配置调整。
  • 总调用: 限定建造循环的轮次。总调用上限 = 有效建造步 + 查询与检查额度 + 6。

阈值在整步执行结束后检查,当前调用可以超出阈值,触发后停止后续轮次。

循环还有两项提醒: 首次成功建造后尚未检索时补一次检索提示,消耗一半建造步仍未 look 时再补一次视觉检查提示。

预算封顶机制 每步执行后检查四层上限,任一触发即终止; 阈值在整步结束后检查,当前调用可超出阈值 步数预算: 建造动作扣步,侦察与坏动作各有独立额度 建造动作 add_ops / replace_group / remove_group / finish 每次扣 1 个建造步 侦察动作 search_library / get_entry / inspect / look 额度内不扣建造步 (S 4 / M 6 / L 8 / XL 10),超额按建造步计 被拒动作 校验不通过 / 格式错误 / 单条 op 体积拒收 6 次以内不扣建造步,超出后按建造步计; 连续被拒 3 次直接熔断 四层上限 (示例: M 档,建造步先触发) 建造步 14/14 触发 Token 118k/150k (建造模型累计) 墙钟 85s/240s 总调用 19/26 (建造循环轮次) 总调用上限 = 建造步 + 侦察额度 + 重试额度 = 14 + 6 + 6 此例 19 次调用 = 14 建造 + 4 侦察 + 1 被拒; 视觉调用用量单独记账 侦察与坏动作照常消耗 token 和时间。 由 token、墙钟、总调用三层上限兜底,最坏成本仍可控。 每步执行流程 LLM 选动作 工具 + 参数 确定性执行 建造变更通过校验才提交 预算计数 建造 / 侦察 / 被拒 上限 检查 未触发: 继续下一步 终止交付 返回当前快照 finish / 熔断 / token 墙钟 / 建造步 / 总调用 安全网: 已有成功提交时,预算耗尽或熔断返回最近一次有效状态。全程未提交成功则返回失败。

ScalePlan 四档#

“做一把椅子”和“做一座城堡”需要的资源不同。ScalePlan 为每次请求选择规模档位,并给出期望的尺寸范围,称为目标盒。档位优先采用用户的选择;用户未指定时,采用分类结果;两者都没有时,默认使用 M 档。

下表是 building 类别、无显式覆盖时的基准值:

档位目标盒建造步建造 token查询与检查额度look 额度循环调用上限
S24x24x2410150,0004220
M48x48x4814150,0006226
L84x84x8422250,0008336
XL120x120x12030350,00010446

有效建造步 = min(round(档位步基数 * 类别 budgetScale), 32)。循环调用上限 = 有效建造步 + 查询与检查额度 + 6。目标盒按 48 * 档位系数 逐轴四舍五入。

目标盒用于提示模型和评价作品尺寸。执行前,checkScale 会检查单条 op 声明的体积,超出限制就拒绝执行。如果整体作品在某个坐标轴上超出硬性上限,lint 会发出警告。

评测结果与局限#

相同请求下的方块数变化#

为了观察尺度与预算调整后的变化,前后两轮测试都使用 v3 管线、mimo-v2.5-pro 模型和 tool_calls 工具调用方式,每条请求各运行一次。选出两轮都成功返回程序的 11 条相同请求后,作品的平均方块数从 1,535 增至 14,982,约为原来的 9.76 倍。

调整前,13 条请求中有 11 条在首次运行时成功返回程序;对两条失败请求补跑后,累计有 12 条成功。调整后的测试批次名为 eval v4,其中的 v4 是评测编号,管线仍然是 v3。这一批增加了城堡(castle)和大教堂(cathedral)两条 L 档请求,共 15 条,全部返回了程序。不过,只有 1 条由模型调用 finish 主动结束,其余都因达到预算上限而停止:8 条耗尽 token,4 条达到时间上限,2 条用完建造步数。

在用于前后比较的 11 条请求中,调整后的橡树(oak)作品包含 92,790 个方块,占这一组作品总方块数的 56.31%。因此,平均值的增长很大程度上受这一个样本影响。

对照实验的局限#

两轮测试之间,除了尺度与预算规则,时间上限和传输可靠性也有调整。方块数说明生成规模变大了,但还不能判断每项改动分别起了多大作用,也不能据此认定作品更好看。这些问题需要单独做对照实验。

追问修订与局部修改#

用户说“把屋顶改成红色”时,不需要重建整栋楼。后续请求通过 revise.programText 携带现有程序,以 source:"user" 和 instruction 传入修改要求。已有作品时,系统默认继续修改,界面也提供从零新建的入口。

修订开始时,系统先将旧程序载入 BuildSession,模型再通过命名句柄修改对应部分。顶层 detail 操作会暂时移除,收尾时使用原来的 seed 恢复细节。修订沿用原作品的类别、档位和比例,但建造步数更少,token 预算也降为原来的 0.6 倍。

如果指定了修改范围(scope),每次提交前都会逐格检查范围之外的方块是否发生变化。只要改到了范围之外,整次修改就会被拒绝,避免模型在改屋顶时连墙壁也一起改掉。

按句柄替换要求顶层 op 带有 id。手工编辑产生的内容如果没有 id,主要通过追加操作修改。目前,局部修订已通过确定性测试,但还缺少使用真实模型完成整个修订流程的端到端验收记录。

结语#

从 v1 到 v2,主要是在解决一次生成承担的任务过多的问题。到了 v3,重点变成了让模型根据当前作品检查结果、继续调整。工具提供了修改的能力,预算规则则限制这个过程可以持续多久。

目前的评测还不足以说明质量提升了多少。每条请求只运行一次,平均方块数又明显受大体量样本影响。后续需要重复评测并加入视觉质量指标,也需要用真实模型验证局部修订的完整流程。

从单次生成到有界 Agent
https://me.yuanhaofeng.com/blog/cubemuse-agent-pipeline
作者 Yuanhao Feng
发布于 2026年9月16日