Together AI 提供 Tencent Hy4 推理服务:7700 亿参数混合专家模型,输入价格为每百万 token 0.83 美元
Together AI 将 Tencent Hy4 加入其无服务器推理服务,支持一百万 token 上下文、工具调用和 JSON 输出。
每日 AI 简报中关于 Together AI 的全部主题,按时间从新到旧排列。
Together AI 将 Tencent Hy4 加入其无服务器推理服务,支持一百万 token 上下文、工具调用和 JSON 输出。
开放式语音合成模型 Qwen3-TTS-12Hz-1.7B(Apache 2.0)以每百万字符 20 美元的价格提供服务,包含九种可通过自然语言指令调节的声音,支持包括法语在内的十种语言,最快可在 97 ms 内输出首段声音。
Together AI 为每个 GPU 集群提供面向 S3 存储和 Hugging Face Hub 的 NVMe 缓存,无需修改代码;根据其测量,从 Cloudflare R2 读取一个 2 Gio 文件的耗时从 12,7 至 15,0 s 降至 0,64 至 0,72 s,且由 200 个节点组成的集群只需从源站下载一次。
Together AI 以七折价格提供阿里巴巴的旗舰模型(MoE,总参数量 2.4T,其中激活参数量 71B,上下文长度 1M);Nous Research 则与 Inferact 合作,在 Nous Portal 中免费开放该模型五天,但未说明结束日期或使用限制。
DeepSeek-V4.1-Flash-1017 加入 Together Post-Training:用户可使用自己的数据、奖励和环境进行 SFT 或强化学习,训练循环仍保留在客户的 Python 代码中。
Together Compiler 发布两周后,Together AI 研究团队公布了它的设计历程:去年,团队还在构建 megakernel,即手工编写的 GPU 内核;今年,他们已放弃这条路线。
Wonderful 仅在欧洲使用专用 NVIDIA GPU 提供其自有语音模型,这些模型针对支持不足的语言进行了微调;据 Together AI 称,首句话延迟为 274 ms。
Together AI 详细介绍了如何衡量其平台对编程智能体的易用程度,也就是它所说的智能体体验 (智能体体验)。
Together AI 和 Ollama 解释说,智能体运行框架(Claude Code、Codex,或通过 ollama launch 使用的 Pi)必须保持提示词开头不变,引擎则须将每一轮请求路由到持有缓存的 GPU:在理想化计算下,100 轮交互中,无缓存时需处理 5 050 单位的提示词,有缓存时则仅需 100 单位。
11 月 8 日,Together AI 表示,通过使用智能体优化服务栈,包括 MoE 路由、调度、计算内核、推测解码和稀疏注意力,已将 StepFun 的 Step 5 吞吐量提升至原来的三倍以上,但未公布绝对数值。
Together AI 于 11 月 4 日介绍了持续优化各客户 kernels 的智能体,此次再次提及它们,仅提供一项新数据:据 Together AI 称,在已经过手工优化的无服务器(serverless)端点上,每秒 tokens 数的中位数提高了 12 至 20%。
此前未出现在本资讯追踪中的实验室 Ricursive Intelligence 发布了 Ripple-65B Preview:这是一款拥有 650 亿参数的稠密语言模型,从零开始使用 12 万亿 tokens 进行预训练,采用 Apache 2.0 许可证,上下文长度最高为 1 048 576 tokens。
Together AI 将推理引擎的优化交给智能体。
Together AI 在 Kimi K3.1 Pro 权重发布当天提供该模型服务,可直接使用,也可通过 Together Post-Training 进行 RL 或 SFT 后训练;公告未提供价格。
Together AI 转发了一条推文,称 Revolut 已将开放模型设为编程的默认选择:
Together AI 推出与特定地理区域绑定的推理端点,首先从美国开始。
Together AI 称已训练并托管初创公司 Phonic 专为语音智能体打造的端到端语音(speech-to-speech)模型 Phonic-1;LiveKit 当天即完成集成,并称其在 Artificial Analysis Speech to Speech 指数中位列第一(该排名尚未在来源处核实)。
Together AI 引用了该客户的案例,该客户用于预测招聘人员想要面试的候选人:通过 Together Post-Training 进行微调后,其开源模型在离线评估中与闭源模型表现持平,且服务成本更低,未公布具体数据。
Together AI 详细介绍了今年早些时候推出的 GPU Clusters 节点自动修复功能:健康检查、依据证据采取最小程度的修复、细化至 Xid 错误码的可调授权,以及等待正在运行的任务完成,默认等待时间为 2 小时。
据 MiniMax 引述的 Unsloth 数据,其动态 2 位 GGUF 将这个 428B 的 MoE 模型压缩至 143.9 GB,体积缩小 45 %,在七个领域上的最高概率词元一致率为 91.5 %;Together AI 也在其后训练服务中支持该模型,可进行 SFT 或 RL。
Together AI 作为首发合作伙伴,从发布首日起提供该模型,介绍其适用于智能体、编程、计算机操作和网络安全,支持一百万个 token 的上下文及视觉能力;未公布价格。