在agent时间最贵的是什么？是token。

一些重度agent使用者，一个月用掉几亿token，账单小几万块钱亦然常有的事。

关联词咫尺运行，有这样一个开采者他开源了一个土产货决策，一台苹果条记本就能部署，也便是说，你从此已毕了“龙虾解放”，跑再多任务，也不会再为token付出一分钱了。最枢纽的是，他用的照旧DeeSeek V4 Falsh。

几天前，antirez在GitHub上发布了一个神志，叫ds4。

这是一个专门为DeepSeek V4 Flash写的推理引擎。一共几千行C代码，不错让DeepSeek V4 Flash这个模子在128G内存的苹果电脑上跑起来。

开采者antirez，真名Salvatore Sanfilippo，是意大利表率员，同期他亦然开源数据库Redis的原作家。Redis自后成为全球互联网基础设施里最常用的内存数据库之一。

往好的方面去念念，DeepSeek影响力阔气大，劝诱到了圈内顶流的表率员，但是坏的方面是，DeepSeek这回的确免费了。

任何开采者齐不错用ds4，去把DeepSeek V4 Flash装进我方的MacBook Pro里，土产货跑代码、土产货读陡立文、土产货作念agent任务，而这一切的一切，不需要给DeepSeek付1分钱。

自然DeepSeek V4 Flash自己开源，可FP16精度的原始模子要吃掉284G内存，显存需求更是高达160G。

因此，念念运行它，你至少得有两张英伟达A100 80GB、一条512GB DDR5 ECC内存，以及一个4TB NVMe SSD。总老本50万东说念主民币。

而咫尺，一台3万块钱的MacBook Pro就能跑。

那antirez为什么偏巧选中DeepSeek V4 Flash呢？

原因是DeepSeek最合适被“塞进土产货电脑”。

它有284B总参数，阔气大；但每次推理只激活13B参数，又不像传统大模子那样千里重。

它相沿100万token陡立文，合适编程助手这种长任务；同期KV cache压缩得阔气狠，给土产货内存和SSD留住了操作空间。

DeepSeek V4 Flash刚好站在了这样一个神奇的均衡点上，既大到值得折腾，又小到能被塞进苹果条记本里。

YC的CEO Garry Tan在X上转了这条音讯，只打了一转字：正不才载……100万token陡立文窗口，可用的编程助手技艺，全在一台128GB的MacBook Pro上，太猖狂了。

01

ds4究竟是什么？

先说论断，ds4不是一个模子，它是一台“专用发动机”。DeepSeek V4 Flash是车，苹果电脑是路，ds4正经把这辆原来更合适跑在云霄的大车，改到土产货机器上能跑、能接API、还能被coding agent调用。

当年群众念念在我方电脑上跑大模子，广漠用的齐是llama.cpp这个器具。它的平允是什么模子齐能跑，Llama、Qwen、DeepSeek完好意思相沿。

可问题便是，什么齐能跑，就意味着什么齐跑不到最快。为了眷注所有模子，llama.cpp必须作念许多和洽，性能上不可能作念到极致。

antirez的念念法适值相悖，他才无论别的模子存一火，他就专门伺候DeepSeek V4 Flash这一个，把它优化到极限。

他一共作念了3件事。

第一件事，是永诀称的2-bit量化。

DeepSeek V4 Flash的架构是MoE（Mixture of Experts），284B总参数里，每次推理只激活13B，这13B是路由挑出来的多少个群众子收集。

就像一个器具箱里有284把器具，每次只拿出13把来用。这284B内部，有一大堆“备选群众”占了90%以上的空间，但它们不是每次齐用，仅仅候补。

antirez的作念法是，只对这批routed experts作念激进的2-bit量化，up和gate矩阵用IQ2_XXS，down矩阵用Q2_K，而模子里所相枢纽旅途上的组件，包括shared experts、projections、routing收集，PG娱乐电子游戏中国APP下载沿路保持原始精度不动。

也便是说，antirez把这些“候补群众”狠狠压缩，压到只剩原来1/4的大小，但那些每次齐要用的中枢组件，一丝齐不动，保持原样。

这是一种永诀称的压缩战略，砍掉体积大头，保住质地命根子。

第二件事，是把KV Cache搬到SSD上。

DeepSeek V4 Flash相沿100万token的陡立文，这相称于你不错把一整本演义扔给它，它能全记取。

但这样长的陡立文，意味着AI在职责时要连接地回头翻看前边的内容。为了让这个“回头翻看”的算作不至于慢到卡死，AI需要把这些内容暂存在一个叫“缓存”的场地，便捷随时调用。

以前的作念法是把这个缓存放在内存里。内存速率快，AI每次生成一个字齐要不时查这个缓存，是以必须放内存。

但问题是，如果让128GB内存的MacBook Pro跑DeepSeek-V4 Flash，光缓存就能把内存吃光，模子自己齐没场地放了。

是以antirez的作念法是平直把缓存扔到硬盘（SSD）上。ds4把一部分KV景况作念成可落盘、可规复的缓存，让长指示词和agent反复续写时，无谓每次重新惩处。

这听起来有点离谱，因为硬盘比内存慢多了。

关联词当代Mac SSD阔气快，合适作念KV缓存耐久化和规复。加上DeepSeek V4 Flash自己对缓存作念过压缩，读写量不大，是以硬盘完全顶得住。

扫尾便是内存省出来了，100万token的超长对话的确在一台MacBook上跑起来了。

不外这不等于128GB MacBook不错毫无压力地把100万token沿路拉满。

按照ds4我方的泄漏，2-bit模子自己依然要占掉大要80GB级别的内存，的确闲居使用时，100k到300k陡立文会更试验一丝。

第三件事，是纯Metal原生旅途。

antirez把所有优化齐押在苹果电脑的GPU上。

因此他专门为苹果芯片写了一套代码，让DeepSeek V4 Flash能在苹果电脑上跑得赶紧。

至于CPU，并不是这个神志标重心。README里也写得很直白，CPU阵势咫尺还不踏实，以致可能触发系统崩溃。antirez进一步默示，Z6尊龙凯时如果有东说念主真念念走这条路，后续好像还得靠社区来救助。

在M3 Max 128GB的MacBook Pro上，实测速率是每秒能生成26个字驾御。M3 Ultra 512GB的Mac Studio上能跑到每秒36个字。

不算快，但写代码、调试这些闲居职责完全够用。

更专诚旨真理的是，antirez是独自一东说念主通过GPT-5.5完成的通盘这个神志。

02

利好DeepSeek

凭据外媒报说念，DeepSeek咫尺正在寻求高达73.5亿好意思元的融资，梁文锋咫尺就处在这个枢纽的转机点上，用交易叙事取代DeepSeek过往的技巧叙事。

那投资东说念主看什么？不仅仅看模子跑分，不仅仅看API调用量，更看生态位和不可替代性。

一个国外驰名开采大佬，风景为你的模子写专用引擎，这自己就泄漏DeepSeek在国外有着一定的生态地位。

当年一年，中国开源模子的出海叙事里，主流估计圭臬是benchmark，MMLU、HumanEval、SWE-bench，一串又一串的数字。

但有东说念主风景围绕你作念二次工程，才代表你的模子被招供了。Anthropic用千问作念实验，Cursor蒸馏Kimi，这种招供比分数更值钱。

antirez不是AI圈里那种什么新模子齐要试一遍的博主

他选一个模子，然后还要花几周的时辰去写专用推理引擎、作念特制量化、搭HTTP劳动层、作念agent集成测试，赫然是他认为DeepSeek值得。

这就变额外于，一个有信誉的第三方，在用我方的时辰和名声给DeepSeek-V4背书。

说到国产模子出海，咫尺我能念念到的路有两条。

一条是API被调用。你提供劳动，别东说念主付费使用，你是service provider，客户是consumer。

这条路很平直，也很试验，别东说念主不错随时切换，你物换星移齐得抵抗你的竞品，从性能到价钱。

另一条是模子被改良。有东说念主把你的权重拿走，作念量化、作念蒸馏、作念专用runtime、作念土产货部署、作念agent器具链。在这条路里，你的模子成了材料。

材料和劳动的区别在于，材料会被镶嵌到别东说念主的器具链里，然后就很难被换掉了。

举个例子，某个开采者把ds4集成到我方的coding agent里，写了一堆树立文献、调试剧本、自动化经过。他的团队成员也齐民风了这套器具，公司的代码库里到处齐是基于DeepSeek土产货推理的调用。

这时候如果要换成别的模子，就不是“改个API key”那么浅薄了，而是要从新适配引擎、重写剧本、从新培训团队民风。老本太高，好像率就不换了。

这便是“被镶嵌”的粘性。

ds4把DeepSeek V4 Flash嵌进了Metal原生土产货推理这个场景。范围发稿，Hugging Face上antirez阿谁deepseek-v4-gguf仓库，就依然有25000次下载了。

每一次下载，齐意味着有东说念主在我方的机器上跑起了DeepSeek，粘性也就这样一丝一丝的建造起来了。

更值得提防的是连锁效应。

Hacker News上有这样一条高赞指摘，他说如果以后针对精准的GPU加模子组合构建超优化推理引擎会若何？GPU越来越贵，综合层去掉得越多，优化空间就越大。

这个成见一朝被考据，意味着每一代有重量的开源模子发布时，齐会有东说念主跳出来给它作念专属引擎、专属量化、专属agent接入。

相称于是每一代模子齐应该有一个我方的“antirez”，开采出一个我方的“ds4”。

DeepSeek V4 Flash适值踩在了这个起始上。

如果这套逻辑诞生，那么后续每个V4 Flash的小版块迭代，齐会自然地被镶嵌到这个“一代模子配一个专用引擎”的轮回里。

梁文锋成了第一个吃螃蟹的东说念主。

DeepSeek也从一个模子品牌，酿成国外开采者手里的基础设施材料。

关于现阶段的DeepSeek来说，这种“升维”极端伏击。

03

失之东隅

讲收场利好，必须讲另一面。

咫尺来看，DeepSeek的中枢交易化旅途是API。开采者调用，按token付费，薄利多销。

这是DeepSeek最擅长的打发。

但ds4这种神志，本色上是在“劝退”一部分API用户。

你不错这样来交融，一个落寞开采者或者小团队，当年用Claude Code或者DeepSeek的API跑coding agent。coding agent是高token破坏场景，长陡立文、多轮对话、不时器具调用、反复重试。

按token计费的话，一个重度agent的开采者每个月可能要花几千块钱的token用度。

关联词咫尺他眼前出现了另一个选项。

花几万块钱买一台128GB的MacBook Pro，然后跑ds4。

前期参加一次，之后推理莫得旯旮老本，数据不出土产货，蔓延完全可控。

外网论坛上有个开采者共享了他的要领：闲居写代码、改bug这些浅薄任务，全扔给土产货的ds4跑，不费钱。只须遭遇复杂的架构策画问题，才切换到云霄的DeepSeek V4-Pro或者Claude Opus。

高token破坏的部分被土产货化了，只须极少高价值调用还留在云霄。

相称于一分钱莫得给到DeepSeek，却在绝大多量时辰齐在使用DeepSeek。

同期，antirez领受的量化要领亦然有“坑”的。

即使是永诀称量化战略，只压MoE群众不压枢纽旅途，也不可能完全莫得质地亏损。

外网论坛上依然有东说念主发出了测试扫尾，ds4土产货量化版块在超2000行代码的文献里偶尔丢失变量作用域，幻觉略多，MoE路由层对量化噪声尤其敏锐。

这就引出了另一个更不毛的问题，叫作念体验讲解权。

就像DeepSeek劳动器崩了，我不知说念是为什么崩的，我只会以为是DeepSeek不行。

用户调用DeepSeek官方API，如果成果不好，他好像率会认为是DeepSeek我方的问题。但用户在土产货跑ds4时，面临的是2-bit量化、Metal runtime、SSD KV cache、陡立文截断、agent树立等一整套变量。

这内部任何一个要领出问题，终末时常被归因到“DeepSeek不行”。

别东说念主帮你扩散模子，但他并不会帮你去抠门口碑，主如若东说念主家也没这义务。

更深一层看，“成为材料”和“成为平台”是完全不同的两件事，梁文锋更念念要的是后者，然而ds4却让DeepSeek成为了前者。

材料只会被镶嵌别东说念主的器具链，不成为DeepSeek提供交易闭环，只须平台才掌抓分发、计费、账户、数据、开采者关系和升级节律。

DeepSeek如果仅仅提供权重，被antirez、Cursor、各式土产货agent和第三方runtime拿去改良，它自然得回了名声。不外的确能留住用户的东说念主，可能是那些器具链的开采者。

这便是开源模子的悖论。

模子越得手，越容易成为别东说念主的底层技艺；但底层技艺如果莫得收拢开采者的进口，就有可能被表层家具吃掉大部分交易价值。

是以ds4对DeepSeek不是浅薄的好音讯，也不是坏音讯。

不错笃定的是Z6尊龙凯时官方网站，关于DeepSeek来说，他们又有故事不错讲给投资东说念主听了。