时延特性

华明持续优化模型服务的接入网络与算力调度，在保障服务连续性的同时，尽最大努力提升模型响应能力。一次模型调用的实际耗时，既与请求经过的网络和机房有关，也受到模型、调用方式、上下文长度及服务负载等因素影响。

全球数据中心与网络连接示意图

一、多通道接入与机房容灾

华明为部分模型提供多通道接入，通过不同机房的服务通道降低单一机房故障对模型调用的影响。当某个机房出现故障或服务异常时，可通过备用通道承接请求，尽可能保障服务连续性。

海外机房可能作为备用算力承接负载。因此，部分请求在路由至海外机房时，会因跨地域网络传输而增加接入时延。同一模型在不同时间的响应速度，也可能因实际使用的服务通道而有所变化。

以下为华明接入点到部分机房的网络接入时延参考：

以上数据用于说明不同区域的网络接入差异，实际时延会随网络线路、拥塞情况和机房状态变化。这些数值不代表模型生成完整回答的耗时，也不包含用户自身网络到华明接入点的全部耗时。

模型调用的响应速度不能仅由网络接入时延判断，还需要结合具体请求来看：

调用方式：流式调用会逐步返回生成内容，便于用户更早看到输出；非流式调用通常在生成完成后一次性返回结果。流式调用改善的是等待体验，并不意味着完整回答的生成耗时一定更短。
上下文长度：输入内容、历史对话和附带材料越多，模型需要处理的上下文通常也越多，可能增加开始输出前的等待时间。
模型与输出要求：不同模型的推理速度存在差异；任务复杂度、推理深度和输出长度也会影响整体耗时。
服务负载：并发请求、算力容量和排队情况会影响请求开始处理的时间，机房及服务通道的变化也可能带来时延波动。

评估调用体验时，建议分别关注「首个内容片段返回的时间」与「完整响应完成的时间」，并使用接近实际业务的上下文和并发量进行测试。

华明会尽最大努力持续优化接入线路、服务路由和算力调度，提升模型响应能力。对于有明确业务规模和吞吐需求的特定 VIP 用户，华明支持提前协商安排高 TPM 算力资源。

TPM（Tokens Per Minute）表示每分钟可处理的 Token 数量，主要反映服务的吞吐能力。更高的 TPM 有助于承载更大的调用量，但不等同于单次请求一定更快。

如需相关支持，请提前与华明沟通目标模型、预计 TPM、并发规模、典型上下文长度及使用时段，以便评估资源并安排容量。具体资源配置、开通时间和服务指标由双方协商确认。