12月11日消息,科技媒体Wccftech于昨日(12月10日)发布博文称,初创公司Tiiny AI推出了一款名为Tiiny AI Pocket Lab的产品,该产品号称是全球最小的AI超级计算机,重量仅300克,大小与手掌相当,却配备了ARMv9.2架构的12核CPU和80GB LPDDR5X内存,算力可达190 TOPS。
IT之家引用相关博文内容称,这款计算机的尺寸仅为14.2×8×2.53厘米,重量大约300克,用户可以很轻松地把它握在手掌里。虽然它体积不大,但Tiiny AI表示,该设备能够成功搭载1200亿(120B)参数的模型,这在同类型设备里还是第一次实现。
这款设备所支持的大语言模型(LLM),据称可出色应对“博士级推理、多步骤分析与深度上下文理解”这类任务;它配备了最新的ARMv9.2 12核CPU,并且借助定制化的异构模块(SoC加独立NPU),能够提供大约190 TOPS的AI算力。
为了支撑庞大模型的运行,该设备配备了高达80GB的LPDDR5X内存与1TB SSD存储空间。如此大容量的内存配置,能够让用户启用激进的量化技术,进而在本地环境中流畅运行120B模型。不仅如此,该设备的功耗控制表现优异,其TDP为30W,典型系统功耗大约在65W左右。
Tiiny为了让120B模型能在这类紧凑设备上落地使用,运用了两项关键技术。第一项是TurboSparse,它属于神经元层面的稀疏激活技术,可在保留模型全部智能的前提下,大幅提升推理效率。
其次是PowerInfer,这是一款在GitHub上获得超8000星标的开源异构推理引擎,它可借助动态分配CPU与NPU间的计算任务,为繁重的LLM工作负载提供加速支持。
在软件生态构建上,AI Pocket Lab可实现一键部署GPT-OSS、Llama、Qwen、DeepSeek、Mistral、Phi等数十款主流开源模型与代理框架,全程无需联网或借助云端服务,能够支持纯粹的离线运行模式。Tiiny AI方面已明确表示,将在2026年的CES展会上对这款设备进行正式展示。