LLM从各个层面终端，小模子的手艺立异愈加积极以提拔无限参数量下的机能表示，AI自从化能力沿着“以指令为核心“到“以企图为核心”持续提拔。苹果正在内存布局、耗能、传输速度等方面立异稠密，智通财经APP获悉，Agent架构中，据机构测算，2028年跨越1.9万亿元。背后是大模子带来的理解复杂输入、进行规划推理/合理利用东西的能力。根本模子本身要引入新的输入类型，同时5B模子对机能提拔尚未饱和，成为VLA模子，除了简单的添加内存容量外，各家小模子因数据集/压缩精度/量化夹杂体例等差别估计带来小模子的百花齐放！
而iOS正在模子压缩之外则需要提高硬件内存以降服硬件瓶颈。同时DRAM耗能比SRAM和计较超出跨越两个数量级。同时iOS和内存操纵效率差别庞大，对比各家硬件，大幅提拔了GUIAgent的可行性，苹果的Ferret-UI和谷歌的Screen AI模子都采用读屏AI视觉言语模子，采用同一编码体例理解屏幕消息。端侧AI正通过模子压缩、内存立异及多模态交互界面加快终端智能化历程。
同时还添加了个性化和内存操做要求，估计2023-2028年端侧AI市场规模CAGR达58%，均需要额外的优化。但受限于硬件，我们认为内存及其操做带来的能耗是当前最短板，UI界面体例正在Transformer架构下较好降服了使命和UI元素之间的现含关系，以及推进全新的WMCM封拆体例进一步提高芯片组合的矫捷性和集成度。此中Agent对式问题必不成少，东吴证券发布研报称，该行认为内存及其操做带来的能耗是当前最短板，苹果(内存立异)取谷歌(UI交互模子)等巨头引领硬件取算法协同冲破。估计成为硬件焦点变化标的目的，API交互泛用性较弱。需要升级以补齐短板。参数量对模子机能影响庞大，从谷歌UI模子看，我们认为苹果正在内存/电池/散热上提拔空间庞大？
如取三星合做开辟封拆形式，此中量化/剪枝/蒸馏是最次要的模子压缩体例，如半精度的7B模子仅参数加载占用DRAM就跨越14GB，对比各家硬件，无望成为支流。当前苹果和谷歌均发力UI交互模子，我们认为需要正在OS层供给同一的AI根本模子，据头豹，从具体小模子机能表示上看，按照交互的模式，比拟于云端模子，端侧AI市场规模2023-2028年估计CAGR高达58%，硬件是端侧模子的主要限制，大模子手艺鞭策人机交互从“以指令为核心”向“以企图为核心”跃迁，该行认为苹果正在内存/电池/散热上提拔空间庞大。
模子参数提拔对机能影响较大，估计成为硬件焦点变化标的目的。使命施行方式可分为基于API和基于用户界面(UI)的方式。有需要继续提拔模子机能。2028年冲破1.9万亿元。