第一篇讲了 DSL 指令集和 Grid 数据模型。这篇接着讲生成过程:模型如何选择和组织 DSL 操作(op),系统又如何控制整个过程。
CubeMuse 的建造管线经历了三代。每次调整都源于上一版在实际生成中遇到的问题。
v1: 单次生成#
最初的做法很直接。用户输入自然语言,由一次 LLM 调用生成完整的 DSL 程序。引擎从回复中提取 JSON,完成自动修复和版本迁移,再检查语法与规模。检查通过后,执行程序并写入 Grid。如果第一次生成失败,就把诊断信息交给模型再试一次,最多调用两次。
问题是,模型需要在一次回复里完成建筑设计和布局,还要算对坐标、写对语法。任务集中在一起,生成的建筑往往比较简陋。程序一长,后半段也容易漏掉前面规定的约束,坐标对齐等空间推理尤其容易出错。
v1 能生成简单作品,但很难靠一次生成完成复杂建筑。
v2: 多阶段流水线#
v2 的思路是把 v1 集中在一次调用里的负担拆成多个阶段,每个阶段只做一类决策。
生成过程分为以下几步:
- S0 设计简报。 使用能力较强的模型,根据用户需求生成 DesignBrief,确定风格与材质方向,并预估建筑体量。
- S1 布局规划。 同样使用能力较强的模型,在 DesignBrief 基础上生成布局的中间表示(IR),描述各部分的体量、相对位置和连通要求。
- 布局解析。 由代码将相对位置解析为绝对边界框坐标,检查碰撞和连通,生成房间、门廊、屋顶等骨架。
- S2 构件选型。 使用速度较快的 Flash 档模型,为既定骨架选择构件及其参数,并指定对应的语义槽位,由代码计算实际放置位置。如果这一步失败,仍可使用已生成的骨架。
- S3 细节补全。 由代码追加带随机种子(seed)的
detail操作,补上勒脚、窗台和檐口等细节。这一步不调用模型,相同种子会得到相同结果。
这是设计时的模型分工。实际运行时,也可以配置为各阶段使用同一个模型。
这套流水线能处理比 v1 复杂得多的结构,但各阶段只能向前推进。S1 确定布局后,后续步骤无法回头修改。骨架生成器主要面向建筑,也没有根据当前作品反复检查和调整的机制。如果骨架不合适,后续再补构件和细节也很难纠正。
v3: 有界工具循环#
v3 不再把生成过程切成固定阶段。模型每轮自主选择工具,根据当前作品决定下一步操作。服务端执行后把观察结果追加回对话,后续轮次可以根据已建内容重新决定建造顺序和局部结构。
一次典型的建造过程: 模型先用 search_library 查参考库,用 get_entry 读取感兴趣的条目,然后用 add_ops 开始建造。建了几步之后用 inspect 检查当前结构摘要和 lint 报告,发现屋顶比例不对,用 replace_group 按命名句柄替换屋顶部分。如果配置了视觉模型,还能用 look 对当前作品生成四视角截图并取得视觉描述。最后调用 finish 主动结束。
八个工具#
工具分三组:
建造工具。 add_ops 向当前程序追加一批 op,可同时增补或覆盖材质角色。replace_group 按 id 替换一个顶层 op,命名 group 为屋顶、入口等局部结构提供编辑句柄。remove_group 删除指定 id 的顶层 op。后续锚点引用因删除而失效时,候选变更会被整体拒绝。
查询与检查工具。 search_library 返回参考库中匹配条目的摘要,get_entry 再按 id 读取全文,模型只需展开感兴趣的构件或资料。inspect 返回结构摘要、静态检查(lint)报告和按需生成的 ASCII 切片,供模型核查层高、方块分布等情况。look 生成当前作品的四视角图像,再交给视觉模型描述,只在视觉能力配置成功后才可用。这些工具共用下文所述的查询与检查额度。
结束工具。 finish 用于主动结束本次建造。它只要求当前已有非空作品,没有按质量评分设置结束门槛。模型何时认为作品已经完成,主要由提示词引导。
候选程序校验与提交#
模型选好工具和参数后,建造会话 BuildSession 会先在候选程序上校验语法与规模,再执行程序并检查结果是否非空。全部通过后,才用新结果替换当前状态。如果修改被拒绝,就保留上一次通过检查的结果。因此,只要成功提交过一次,后续失败就不会丢掉已有作品。
如果预算耗尽,或连续错误触发了停止机制,系统会收尾并返回最近一次有效的作品。如果始终没有成功生成非空作品,则返回失败。
对照数据#
为了比较两代管线,测试使用同一个模型,让 v2 和 v3 分别处理相同的 12 条生成请求,题材包括建筑、树、船和像素画。在这轮测试中,v2 有 9 条请求成功返回了可执行的建造程序,v3 有 11 条。这里统计的是程序能否成功交付,并不代表作品的视觉质量;每条请求也只运行了一次。
城堡案例: 尺度与预算不足#
一次城堡生成记录说明了旧预算规则的问题:查询和检查占用了建造次数,等模型发现作品不合适时,已经没有多少调整空间。
当时每次工具调用都扣一步,最多 12 步。其中约 7 次用于建造,3 次用于查询参考资料(search_library 和 get_entry),1 次用于 look 检查,还有 1 次因为 group 子项缺少 op 字段而被拒绝。
模型查到了 watchtower-small 构件,但最终自行生成了塔楼,没有用 place_component 放置该构件。算上查询、视觉检查和被拒绝的操作,12 次调用中有 5 次没有直接增加作品中的方块,占总调用预算的 41.67%。
look 直到第 10 次调用才执行,此时只剩 2 次调用机会。视觉诊断指出,作品太小,看起来像民房,也缺少城门和雉堞。但当时预设的建造范围固定为 48×48×48,加上剩余调用次数不足,即使发现问题,也很难重新调整。
最终作品的尺寸是 31×20×34,共 4,681 个方块。模型检索到的 epic-castle 参考件则是 103×47×128,共 48,696 个方块。按方块数计算,成品只有参考件的约十分之一。
这次生成之后,预算规则做了两项调整:为查询与检查动作设置独立额度,额度内不占用建造步数;引入 ScalePlan,按请求所需的作品规模分配资源。
尺度分档与预算控制#
工具调用计数规则#
调整后的规则先检查操作是否出错,再区分建造与查询与检查。成功的建造动作和 finish 各扣一个建造步。查询与检查动作有独立额度,额度内不扣建造步,超额后才扣。被拒绝的操作另有 6 次额度,用完后也会扣建造步。如果工具连续 3 次返回错误,循环就会停止;一次成功返回会清零连续错误计数。
这样,模型可以先查资料、检查作品,留出更多建造步数用于实际修改。不过,独立额度内的查询与检查仍然消耗 token 和时间,因此系统还需要限制 token 用量、实际耗时和总调用次数。
四层上限#
建造步数、token 用量、实际耗时和总调用次数各有上限。达到其中任意一项,循环就不再继续。
- 建造步: 按档位和类别计算有效步数,封顶 32。
- Token: 统计建造模型累计的 promptTokens + completionTokens,包含查询与检查与被拒轮次的建造模型用量。look 的视觉模型用量进入独立账本。
- 实际耗时: 默认上限为 240 秒,可通过配置调整。
- 总调用: 限定建造循环的轮次。总调用上限 = 有效建造步 + 查询与检查额度 + 6。
阈值在整步执行结束后检查,当前调用可以超出阈值,触发后停止后续轮次。
循环还有两项提醒: 首次成功建造后尚未检索时补一次检索提示,消耗一半建造步仍未 look 时再补一次视觉检查提示。
ScalePlan 四档#
“做一把椅子”和“做一座城堡”需要的资源不同。ScalePlan 为每次请求选择规模档位,并给出期望的尺寸范围,称为目标盒。档位优先采用用户的选择;用户未指定时,采用分类结果;两者都没有时,默认使用 M 档。
下表是 building 类别、无显式覆盖时的基准值:
| 档位 | 目标盒 | 建造步 | 建造 token | 查询与检查额度 | look 额度 | 循环调用上限 |
|---|---|---|---|---|---|---|
| S | 24x24x24 | 10 | 150,000 | 4 | 2 | 20 |
| M | 48x48x48 | 14 | 150,000 | 6 | 2 | 26 |
| L | 84x84x84 | 22 | 250,000 | 8 | 3 | 36 |
| XL | 120x120x120 | 30 | 350,000 | 10 | 4 | 46 |
有效建造步 = min(round(档位步基数 * 类别 budgetScale), 32)。循环调用上限 = 有效建造步 + 查询与检查额度 + 6。目标盒按 48 * 档位系数 逐轴四舍五入。
目标盒用于提示模型和评价作品尺寸。执行前,checkScale 会检查单条 op 声明的体积,超出限制就拒绝执行。如果整体作品在某个坐标轴上超出硬性上限,lint 会发出警告。
评测结果与局限#
相同请求下的方块数变化#
为了观察尺度与预算调整后的变化,前后两轮测试都使用 v3 管线、mimo-v2.5-pro 模型和 tool_calls 工具调用方式,每条请求各运行一次。选出两轮都成功返回程序的 11 条相同请求后,作品的平均方块数从 1,535 增至 14,982,约为原来的 9.76 倍。
调整前,13 条请求中有 11 条在首次运行时成功返回程序;对两条失败请求补跑后,累计有 12 条成功。调整后的测试批次名为 eval v4,其中的 v4 是评测编号,管线仍然是 v3。这一批增加了城堡(castle)和大教堂(cathedral)两条 L 档请求,共 15 条,全部返回了程序。不过,只有 1 条由模型调用 finish 主动结束,其余都因达到预算上限而停止:8 条耗尽 token,4 条达到时间上限,2 条用完建造步数。
在用于前后比较的 11 条请求中,调整后的橡树(oak)作品包含 92,790 个方块,占这一组作品总方块数的 56.31%。因此,平均值的增长很大程度上受这一个样本影响。
对照实验的局限#
两轮测试之间,除了尺度与预算规则,时间上限和传输可靠性也有调整。方块数说明生成规模变大了,但还不能判断每项改动分别起了多大作用,也不能据此认定作品更好看。这些问题需要单独做对照实验。
追问修订与局部修改#
用户说“把屋顶改成红色”时,不需要重建整栋楼。后续请求通过 revise.programText 携带现有程序,以 source:"user" 和 instruction 传入修改要求。已有作品时,系统默认继续修改,界面也提供从零新建的入口。
修订开始时,系统先将旧程序载入 BuildSession,模型再通过命名句柄修改对应部分。顶层 detail 操作会暂时移除,收尾时使用原来的 seed 恢复细节。修订沿用原作品的类别、档位和比例,但建造步数更少,token 预算也降为原来的 0.6 倍。
如果指定了修改范围(scope),每次提交前都会逐格检查范围之外的方块是否发生变化。只要改到了范围之外,整次修改就会被拒绝,避免模型在改屋顶时连墙壁也一起改掉。
按句柄替换要求顶层 op 带有 id。手工编辑产生的内容如果没有 id,主要通过追加操作修改。目前,局部修订已通过确定性测试,但还缺少使用真实模型完成整个修订流程的端到端验收记录。
结语#
从 v1 到 v2,主要是在解决一次生成承担的任务过多的问题。到了 v3,重点变成了让模型根据当前作品检查结果、继续调整。工具提供了修改的能力,预算规则则限制这个过程可以持续多久。
目前的评测还不足以说明质量提升了多少。每条请求只运行一次,平均方块数又明显受大体量样本影响。后续需要重复评测并加入视觉质量指标,也需要用真实模型验证局部修订的完整流程。