仅需200M参数，零样本性能超越有监督！谷歌发布时序预测基础模型TimesFM

---

时间序列预测在各个领域中起着重要作用，例如零售、金融、制造业、医疗保健和自然科学等。在零售行业中，通过提高需求预测的准确性，可以有效降低库存成本并增加收入。这意味着企业能够更好地满足客户需求，减少库存积压和损失，同时提高销售额和利润。因此，时间序列预测在零售领域中具有重要的价值，能够为企业带来实质

深度学习（DL）模型在“多变量时间序列预测”任务中占据主导地位，在各种比赛和实际应用中展现出色的性能。

与此同时，自然语言处理（NLP）任务中的大型基础语言模型也取得了显著进展，有效提升了翻译、检索增强生成、代码补全等任务的性能。

NLP模型的训练依赖于海量文本数据，其中数据来源多种多样，包括爬虫、开源代码等，训练后的模型能够识别语言中的模式，并具备零样本学习的能力：比如说把大模型用在检索任务时，模型可以回答有关当前事件的问题并对其进行总结。

尽管基于深度学习的预测器在许多方面优于传统方法，包括降低训练和推理成本，但仍然存在一些挑战需要克服：

许多深度学习模型要经过长时间的训练和验证才能在新的时间序列上进行测试。相比之下，时间序列预测的基础模型具备"开箱即用预测"功能，无需额外训练即可应用于未知时间序列数据。这种特性让用户能够专注于改进零售需求规划等实际下游任务的预测工作。

Google Research的研究人员最近提出了一个名为TimesFM的时序预测基础模型，在1000亿个真实世界时间点上进行了预训练。与目前最新的大型语言模型（LLMs）相比，TimesFM的规模要小得多，仅包含200M参数。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://arxiv.org/pdf/2310.10688.pdf

实验结果表明，尽管规模较小，TimesFM在各个领域和时间尺度上的不同未经训练的数据集中展现出了令人惊讶的「零样本性能」，接近于明确经过训练、最先进的监督方法在这些数据集上的表现。

研究人员计划今年晚些时候在Google Cloud Vertex AI中为外部客户提供TimesFM模型。

基础模型TimesFM

LLMs通常以仅解码器（decoder-only）的方式进行训练，包括三个步骤：

1. 文本被分解为称为token的子词（subwords）

2. tokens被馈送到堆叠的causal Transformer层，并生成与每个输入token对应的输出，需要注意的是，该层无法处理没输入的token，即future tokens

3. 对应于第i个token的输出总结了来自先前token的所有信息，并预测第（i+1）个token

在推理期间，LLM每次生成一个token的输出。

例如，当输入提示「法国的首都是哪里？」（What is the capital of France？）时，模型可能会生成token为「The」，然后以该提示为条件生成下一个token「首都」（captial）等，直到模型生成完整的答案：「法国的首都是巴黎」（The capital of France is Paris）。

时间序列预测的基础模型应该适应可变的上下文（模型观察到的内容）和范围（查询模型预测的内容）长度，同时具有足够的能力来编码来自大型预训练数据集的所有模式（patterns）。

与LLMs类似，研究人员使用堆叠的Transformer层（自注意力和前馈层）作为TimesFM模型的主要构建块；在时间序列预测的背景下，把一个patch（一组连续的时间点）作为一个token，思路来源于最近的long-horizon forecasting工作：具体任务是预测在堆叠的Transformer层的末尾处，针对给定第i个输出来预测第（i+1）个时间点patch

但TimesFM与语言模型有几个关键的区别：

1. 模型需要一个具有残差连接的多层感知器块，将时间序列的patch转换为token，其可以与位置编码（PE）一起沿着输入到Transformer层。为此，我们使用类似于我们以前在长期预测中的工作的残差块。

2. 来自堆叠的Transformer的输出token可以用于预测比输入patch长度更长的后续时间点的长度，即，输出patch长度可以大于输入patch长度。

Machine Translation

聚合多个来源的AI翻译

49 查看详情

假设，长度为512个时间点的时间序列被用于训练具有「输入patch长度32」和「输出patch长度128」的TimesFM模型时：

在训练期间，模型同时被训练为使用前32个时间点来预测接下来的128个时间点，使用前64个时间点来预测时间点65至192，使用前96个时间点来预测时间点97至224等等。

假设输入数据为长度为256的时间序列，并且其任务是预测未来的接下来的256个时间点，模型首先生成时间点257至384的未来预测，然后以初始256长度输入加上生成的输出为条件来生成时间点385至512。

另一方面，如果在模型中，输出patch长度等于输入patch长度32，那么对于相同的任务，模型经历八次生成步骤而非2次，增加了错误累积的风险，因此在实验结果中可以看到，更长的输出patch长度会带来更好的长期预测性能。

预训练数据

就像LLMs可以通过更多token变得更好一样，TimesFM需要大量合法的时间序列数据来学习和改进；研究人员花了大量的时间来创建和评估训练数据集，发现两个比较好的方法：

合成数据有助于基础（Synthetic data helps with the basics）

可以使用统计模型或物理模拟生成有意义的合成时间序列数据，基本的时间模式可以引导模型学习时间序列预测的语法。

真实世界的数据增加了真实世界的感觉（Real-world data adds real-world fl*or）

研究人员梳理了可用的公共时间序列数据集，并有选择地将1000亿个时间点的大型语料库放在一起。

在数据集中，有Google趋势和维基百科的页面浏览量，跟踪用户感兴趣的内容，并且很好地反映了许多其他真实世界时间序列的趋势和模式，有助于TimesFM理解更大的图景，可以针对「训练期间没见过的、特定领域上下文」提升泛化性能。

零样本评估结果

研究人员使用常用的时间序列基准，针对训练期间未见过的数据对TimesFM进行零样本评估，可以观察到TimesFM的性能优于大多数统计方法，如ARIMA，ETS，并且可以匹配或优于强大的DL模型，如DeepAR，PatchTST，这些模型已经在目标时间序列上进行了明确的训练。

研究人员使用Monash Forecasting Archive来评估TimesFM的开箱即用性能，该数据集包含来自各个领域的数万个时间序列，如交通、天气和需求预测，覆盖频率从几分钟到每年的数据。

根据现有文献，研究人员检查了适当缩放的平均绝对误差（MAE），以便在数据集上取平均值。

可以看到，zero-shot（ZS）TimesFM比大多数监督方法都要好，包括最近的深度学习模型。还对比了TimesFM和GPT-3.5使用llmtime（ZS）提出的特定提示技术进行预测，结果证明了TimesFM的性能优于llmtime（ZS）

在Monash数据集上，TimesFM（ZS）与其他有监督和零样本方法的比例MAE（越低越好）

大多数Monash数据集都是短期或中期的，也就是说预测长度不会太长；研究人员还测试了TimesFM对常用基准长期预测对最先进的基线PatchTST（和其他长期预测基线）。

研究人员绘制了ETT数据集上的MAE，用于预测未来96和192个时间点的任务，在每个数据集的最后一个测试窗口上计算指标。

TimesFM（ZS）的最后一个窗口MAE（越低越好）相对于ETT数据集上的llmtime（ZS）和长期预测基线

可以看到，TimesFM不仅超过了llmtime（ZS）的性能，而且与在相应数据集上显式训练的有监督PatchTST模型的性能相匹配。

结论

研究人员使用1000亿真实的世界时间点的大型预训练语料库训练了一个仅用于解码器的基础模型，其中大部分是来自Google趋势的搜索兴趣时间序列数据和维基百科的页面浏览量。

结果表明，即使是一个相对较小的200 M参数预训练模型，使用TimesFM架构，在各种公共基准测试（不同的领域和粒度）中都展现出相当好的零样本性能。

以上就是仅需200M参数，零样本性能超越有监督！谷歌发布时序预测基础模型TimesFM的详细内容，更多请关注其它相关文章！

# 训练  # 模型  # 最先进  # 洛阳关键词网站优化价格  # 云南网站seo开发  # 榆林市网站品牌推广  # 较小  # 越好  # 未来  # 法国  # 开源  # 丰田  # 中国科学院  # 可以看到  # 仅需  # 自己建设的网站怎么赚钱  # seo技术教程自学网  # cc域名谷歌seo  # 西昌网站排名优化  # 如何查找商品关键词排名  # 济源网站建设优化推广  # 广西建设网站官网 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： AI会帮我们把活干完吗？  大疆 DJI Mini 4 Pro 无人机曝光：流线设计，有望迎来功能性提升  抖音在Android平台获得VR|直播|软件著作权  AI与5G的强强联合：唤醒数字时代的无尽潜能  “无人驾驶船”将首次亮相世界人工智能大会，下半年或开进上海迪士尼  谷歌AudioPaLM实现「文本+音频」双模态解决，说听两用大模型  能走、能飞、能游泳，科学家打造全能 M4 机器人  华为HarmonyOS 4：享流畅提升20%，AI大模型更智能一览无余  腾讯机器狗进化：通过深度学习掌握自主决策能力  报告称 70% 程序员已使用各种 AI 工具编程  脑机接口产业联盟发布十大脑机接口关键技术  OpenAI已向中国申请注册“GPT-5”商标，此前已在美国提交申请  特斯拉机器人面世 未来将大幅提振磁材需求，引领人工智能时代  生成式AI爆发，亚马逊云科技持续专注创新，助力企业数字化转型  李开复官宣新公司「零一万物」，进军 AI 2.0  2025世界人工智能大会前沿科技共绘“未来”图景， 这家这家独角兽企业的通用大脑将在AI领域大放异彩  GPT-4最全攻略来袭！OpenAI官方发布，六个月攒下来的使用经验都在里面了  Meta发布音频AI模型，仅需2秒片段模拟真人语音  小米9号员工李明宣布创业：打造首款安卓桌面机器人  世界人工智能大会上，科大讯飞宣布与华为联手  机智云AI离线语音识别模组，让家电变得更加智能便捷  猿辅导发布最新SaaS业务进展公告：Motiff UI设计工具推出三项新的AI功能  周鸿祎：360智脑开放API接口 AI大模型将赋能百行千业  人工智能如何改变未来语言？  美图公司吴欣鸿：AI技术重构影像产业  静安大宁功能区企业云天励飞亮相2025世界人工智能大会，秀出AI硬实力！  苹果AI战略与微软谷歌大相径庭，到底是领先还是落后？  MiracleVision视觉大模型上线时间  央广车联网亮相2025世界人工智能大会  科技赋能司法执行 阿里资产免费为全国法院升级VR新服务  构建人机交互创新模式，微美全息研究AIGC智能交互界面生成技术  首届亚太网络法实务大会召开 九位大咖探讨元宇宙与人工智能发展  陈根教授：离人形机器人时代还有10年吗？  彭博社：苹果Vision Pro曾测试VR手柄追踪方案  Nature发AIGC禁令！投稿中视觉内容使用AI的概不接收  厂商陆续公布AI进展 完美世界游戏展示复合应用AI in GamePlay  人手一部「*」！视频版Midjourney免费可用，一句话秒生酷炫大片惊呆网友  对艺术家拒绝置若罔闻，Stability AI 将推出适应多种画风的开源模型  午报 | 字节跳动要造机器人；东方甄选首次启动自有APP|直播|  深剖Apple Vision Pro中暗藏的“AI”  百川智能发布Baichuan-13B AI模型，号称“130亿参数开源可商用”  意大利警察拟用AI预测犯罪 该算法被指种族歧视严重  美图公司影像节或发布AI设计新品  消息称苹果 iPhone 15 系列健康应用将深度融合 AI 技术  马斯克发推讽刺人工智能：机器学习的本质就是统计  编程已死，AI 当立？教授公开“唱反调”：AI 还帮不了程序员  中国电信AI能力通过国家级金融领域权威认证并荣膺AI国际头部竞赛冠军  烟台大学学生首次在全国大学生无人机航拍竞赛中获奖  速途网络成立“人工智能专家委员会”5位中美博士加盟  字节、网易相继入局，AI之后大厂又找到下一个风口？ 

 2024-03-16