Token 是自然语言处理（NLP）中的一个基本概念，是文本的最小可处理单位。在如 Transformer 这种深度学习模型中，输入的文本数据需要被转换为 token 序列。模型通过学习这些 token 序列的模式和关系，来理解语言的结构和语义。
例如，在英文中，“Hello, world!” 可以被分解为以下 token：["Hello", ",", "world", "!"]。
在中文中，“你好，世界！”可以被分解为以下 token：["你好", "，", "世界", "！"]。
文本数据的Token分解
Token 可以做为训练数据量的度量
业界通常会用 token 的数量来衡量训练数据的规模。例如，DeepSeek v3 的预训练使用了 14.8 万亿 token，这意味着模型在训练过程中学习了 14.8 万亿个 token 的序列。
Token 可以做为计算复杂度的指标
模型的计算复杂度通常与 token 的数量密切相关，处理更多的 token 需要更多的计算资源和时间。
DeepSeek-R1 采用 Mixture-of-Experts (MoE) 架构，总参数量为 6710 亿，每次推理时激活的参数为 370 亿，模型使用了 14.8 万亿 tokens 进行训练，最大生成长度为 32,768 tokens，支持长文本的处理。
DeepSeek-R1的性能表现
在多个基准测试中，DeepSeek-R1 的性能与 OpenAI 的 o1 模型相当，甚至在某些任务上表现更优。
DeepSeek-R1在不同测试方式中的排名
DeepSeek-R1的运行成本
DeepSeek-R1 的运行成本显著低于 OpenAI 的 o1 模型。具体来说，DeepSeek-R1 每百万输入token的成本为 0.55 美元，每百万输出token的成本为 2.19 美元，而 OpenAI o1 的成本分别为 15 美元和 60 美元。DeepSeek-R1 的成本降低了约 95%。
DeepSeek-R1的训练成本
DeepSeek-R1 的预训练阶段使用了 2048 个 H800 GPU 的集群进行训练，采用混合精度 FP8 训练，耗时约 3.7 天，总计约 180,000 个 H800 小时。
DeepSeek-R1 的训练成本约为 557 万美元，在强化学习阶段的计算成本估计约为 100 万美元，总计约为600万美元。相比较之下，Open AI o1 的训练成本约为5亿美元，成本是 DeepSeek-R1 的83倍。
算力需求趋于理性和均衡
DeepSeek 通过算法优化、数据效率提升、硬件利用率优化以及全流程成本控制等多方面的技术创新，显著降低了训练和推理所需的算力，实现了高性能模型的低成本训练和部署。
以运行 DeepSeek R1 671B 全量模型所需硬件配置为例，具体如下：
CPU：AMD Ryzen 9 7950X 或更高配置。
内存：至少 1TB DDR5 内存。
存储：至少 2TB PCIe 4.0 NVMe SSD。
显卡：20张 RTX 3090 或 10张 RTX A6000。
虽然全量模型的运行的配置要求仍然比较高，但是对于企业用而言，不再是可望而不可及。
短期来看，算力需求的下降冲击了传统算力供应商的业务增长逻辑。长期来看，当AI应用百花齐放，大模型与产业应用深度结合之后，会推动算力需求持续上涨。
新兴GPU和AI芯片厂商迎来发展机遇
DeepSeek 在研发过程中采用了PTX（Parallel Thread Execution）语言。PTX作为一种底层硬件指令集，能够直接与GPU驱动函数进行交互，显著降低了对CUDA框架的依赖，并在硬件适配方面展现出了更高的灵活性和自主性。
华为昇腾等国产GPU厂商已完成DeepSeek V3/R1的部署，并且开放服务。DeepSeek 的成功降低了大模型对高端芯片的依赖，为其他 AI 芯片厂商提供了更多的市场机会。
算法与芯片协同优化，推动边缘AI加速应用
DeepSeek 模型的开源给了所有AI芯片厂商的创新提供了新思路，通过将芯片的CPU、GPU和TPU、FPGA等核心异构集成，针对AI模型算法进行进一步优化，可大幅提升端侧AI设备的表现，从而推动AI的应用场景不断拓展，从智能制造、智能驾驶、智能安防等领域向医疗、教育、金融、零售等更多行业渗透。
官方微信