02|pi-ai:为什么需要单独一层来统一模型调用

这篇写什么

只讲 packages/aipi-ai)的设计动机与职责边界:它到底统一了什么、为什么对 agent 很关键、它和 pi-agent-core 的分工是什么。

先说结论

pi-ai 的本质不是“又一个模型 SDK”,而是:一个面向 agent 场景的多模型统一抽象层。

它的目标是把不同厂商、不同协议、不同风格的大模型调用方式,收敛成一套统一输入输出标准,让上层系统稳定工作。

为什么值得单独做一层

如果没有这一层,上层会直接面对:

  • 不同厂商的 API 结构、消息格式、流式协议差异
  • tool calling 表达差异
  • reasoning/thinking 支持差异
  • usage / cost 统计差异

最终会导致:

  • agent 层被 provider 细节污染
  • 每加一个 provider 都要横向改大量代码
  • 跨模型继续对话变得不稳定

pi-ai 的价值不是“让调用更方便一点”,而是:让上层架构不被底层模型差异拖垮。

它到底统一了什么

可以粗分四类:

  1. 统一输入
  2. 统一输出
  3. 统一模型描述
  4. 统一兼容策略

1) 统一输入

上层只表达:

  • 用哪个模型
  • 当前上下文是什么
  • 这轮允许哪些工具
  • 运行参数是什么

2) 统一输出

对 agent 来说,统一输出比统一输入更关键,因为 agent 需要过程:

  • 文本增量
  • thinking/reasoning 增量
  • tool call 增量
  • stop reason
  • usage/cost

pi-ai 把各家原始流式返回翻译成统一事件流,上层不需要理解各家 chunk 细节。

3) 统一模型描述

模型不是一个字符串,而是调用语义载体:

  • provider / 协议类型
  • 上下文窗口与最大输出
  • 是否支持 reasoning、多模态
  • 成本信息
  • 兼容配置

这些信息让上层可以做能力判断、成本统计与路由。

4) 统一兼容策略

现实里“兼容”带脏细节。pi-ai 把兼容处理集中在底层适配与模型兼容配置里,而不是让上层四处写 if/else。

协议层视角:不以 provider 为唯一抽象单位

一个关键设计点是:抽象单位更像“协议类型”,而不是“厂商名”。

这样 OpenAI-compatible 或 Anthropic-compatible 的服务可以大量复用实现,只在少数不兼容点做局部修正。

它为什么特别适合 agent

因为 agent 需要:

  • 工具调用
  • 多轮循环
  • 中间态事件
  • 上下文可重放
  • 成本与 stop reason

pi-ai 从一开始就不是“聊天式封装”,而是“agent 式封装”。

pi-agent-core 的边界

  • pi-ai 负责:统一模型调用、上下文表示、流式事件、工具表达、usage/cost/stop reason、屏蔽 provider 差异。
  • pi-agent-core 负责:什么时候调模型、什么时候执行工具、工具结果怎么回灌、是否继续下一轮、什么时候停止。

一句话:pi-ai 解决“怎么和模型说话”,pi-agent-core 解决“怎么让模型持续干活”。

Read more

LTX-2.3 本地部署完整复盘

先把结论放前面:LTX-2.3(22B)这条 pipeline 在 4×RTX 3090(24GB)这套硬件上,按官方默认推理方式基本跑不起来。我最终得到的不是“没跑通”,而是一个更有价值的结果:把它为什么跑不起来、卡在哪、该怎么判断“物理不可行”,完整验证了一遍。 这篇文章是一次本地部署的工程复盘:从模型文件下载、依赖链补齐、环境和代码层踩坑,到显存拆分、多卡 device 规划,再到最终 OOM 的边界判断。希望你在遇到类似“看起来只要把权重放进去就能跑”的大模型工程时,可以少走很多弯路。 TL;DR(1 分钟读完) * LTX-2.3 不是单模型,而是一个多组件 pipeline:文本编码器(Gemma)+ 视频 diffusion 主模型(

By ladydd

一次 generate-prompts 服务连续超时事故的完整排查记录

背景 一个平时很稳定的服务,在 2026-04-02 这天突然出现“连续失败”。 最让人难受的不是失败本身,而是失败信息太少:日志里只有一串「第 1 次请求失败」,没有异常类型、没有耗时、没有栈。 这种时候人的直觉会把怀疑撒向四面八方:逻辑是不是坏了、参数是不是不对、上游是不是抽风、网络是不是波动……但没有证据,一切都只是猜。 1. 先把故障“照亮”:只补日志,不动行为 线上系统已经跑了很久,第一原则是:先让问题可见,但不要一上来就改主逻辑。 我加的日志只做两件事: * 把“这次请求到底发生了什么”讲清楚 * 保持所有行为不变(重试次数、超时、请求参数、返回解析都不动) 具体补充项包括: * 请求开始时的关键信息(目标地址、超时、参数摘要、prompt 长度) * 当前是第几次重试、总重试次数 * 每次请求耗时

By ladydd

快手 KAT-Coder-Pro V2 模型测试

市面上几乎没人聊这个模型,反倒让我很好奇,我决定全面测评使用一下 StreamLakeStreamLake溪流湖是快手toB视频云平台,提供领先的音视频AI解决方案。包含KAT-Coder智能编程助手、万擎大模型平台、视频云服务、直播云、点播云、实时音视频RTC等产品。基于前沿AI技术和音视频算法,为企业提供智能代码生成、视频处理、内容理解、智能审核等全链路服务,助力数字化转型。StreamLakeStreamLake 付完款发现上下文只有256K , 到今天来说 已经落后了 而且不支持视觉,也没有mcp接入 联网搜索之类的东西 确实是远远落后了 时隔半年再次看快手模型的官网,发现现在几乎就主打这一个模型了 coding plan用这个,然后api 调用这个是, 接入openclaw 也是这个,总之一个模型走天下,看上去太穷了,像是随时跑路的状态,但其实我很喜欢这种方式, 一个模型通杀所有场景 哈哈哈 接入 opencode 中使用 开了一个新的项目,决定保守一点,先让写文档, 之后再生成代码 下面是实际的体验 1. 不断 chat

By ladydd
陕公网安备61011302002223号 | 陕ICP备2025083092号