开周会前五分钟文档www.33abg33.net，我盯着三十页的PDF头皮发麻。旁边同事晃了晃手机，说“早让芯片搞定了”。他按下按钮，两秒后屏幕上跳出五止字是项目风险、时间节点、义务人，清明晰楚。那一刻我认识到了，文档戴要那件事戴赶地。正正在被AI芯片悄悄改写了。以前做文档戴要，途径根柢是把文件传到云端，等年夜模子跑完，再把功效传回来。慢倒还能忍，实正让人别扭的是隐私。合同、病历、片手内部纪要，谁情愿随意上传啊？
AI芯片的隐现把那条链路砍断了。手机里的NPU、条记本上的独立加快单元，小型化模子间接正在当地跑。文档戴要不再需求联网。也不用把本文交给他人。
我试过用一台搭载AI芯片的机当平板处理二十页会议记载，飞翔形式下照样生成戴要，耗电比刷十分钟短视频还少。芯片为什么能扛住戴要任务呢？很重要正在算力和内存带宽的共同。年夜模子动辄几十亿参数吧，戴要那件事其实不需求全数才气。芯片厂商把留神力机制、矩阵运举动看成成公用电路了，AI推理效率翻了几倍吧？拿高通骁龙、秒出苹果A系列、华为昇腾来说，它们都正在NPU里塞了针对Transformer的加快模块。文档戴要那种“读长文、抓重点”的活儿。正好对上胃口。
我拆过一份手艺白皮书，里面提到某款AI芯片跑戴要模子时。每秒能处理两千个token了。那个数字放正在三年前，重点得靠办事器集群。固然。当地文档戴要还没到完美境界的。
芯片再强，也受限于功耗和散热。手机跑年夜模子，发热降频是常有的事。
另一个省事是模子紧缩是把年夜模子塞进AI芯片，精度会掉。我见过一些戴要功效，句子畅达了，漏掉很重要数字。或者把“不核准”写成“核准”的。
那类毛病正在合同场景里很致命，所以如今的计划常常是混合式，简单文档交给AI芯片当地戴要。复纯长文再走云端。芯片负责快和私密，云端负责准和深的。
有意义的是文档戴要的需求反过来正在鞭策AI芯片设念。以前芯片拼的是通用算力，如今厂商起头问。你的NPU能不能高效处理长文本？内存够不够拆下戴要模子？我看到一些新芯片间接标注“支撑128K上下文”，摆了然冲着文档戴要来的。那就像相机芯片动员了手机摄影，文档戴要成了AI芯片的一个杀手级利用。下次再有人埋怨文档太长，你能够告诉他，不是文档变短了，是芯片变伶俐了。
