Nexa SDK

✨ Nexa SDK：轻松打造本地智能 AI，快速上线！

Nexa SDK 是一款功能强大的工具，助您在任何设备上快速运行各类 AI 模型，无论是文本、视觉、音频、语音还是图像生成！告别复杂的部署，Nexa SDK 让您的 AI 应用本地化部署变得前所未有的简单。

---

💡 Nexa SDK 有哪些核心优势？

• 🚀 极致兼容性

  Nexa SDK 拥抱主流硬件生态，全面支持 Qualcomm、Intel、AMD 和 Apple 的 NPU。无论您使用哪种设备，都能畅享 AI 加速的流畅体验。

• 🧠 模型多样性

  我们支持 GGUF、Apple MLX 等多种模型格式，并能运行最新的先进模型，例如：

  • 语言模型：
    • Gemma3-1B：紧凑型多语言 LLM，针对快速、高效的设备端语言理解进行了优化。
    • Qwen3-VL 系列：多模态推理模型，用于高级视觉和文本理解。
    • Granite-4-Micro：3B 长上下文模型，优化了效率、多语言使用和企业任务。
    • Llama3.2-3B-NPU-Turbo：针对 Qualcomm NPU 推理加速的优化型 Llama3.2-3B 版本。
    • phi4-mini-npu-turbo & phi3.5-mini-npu：针对 Qualcomm NPU 推理加速的优化型 Phi4-mini 和 Phi3.5-mini 版本。
    • DeepSeek-R1-Distill-Qwen-1.5B (Intel NPU) / 7B (Intel NPU): 轻量级模型，用于在受限设备上进行高效推理。
  • 视觉模型：
    • EmbedNeural：设备端多模态嵌入模型，支持即时、私密的 NPU 驱动视觉搜索。
    • SDXL-turbo & SDXL-Base：用于实时文本到图像生成的模型。
    • Prefect-illustrious-XL-v2.0p：专为漫画风格的2D奇幻插画定制的图像生成模型。
  • OCR 模型：
    • PaddleOCR v4：领先的 OCR 模型，用于在图像中进行快速、准确的多语言文本检测和识别。
    • DeepSeek-OCR：高精度多语言OCR，适用于文档、场景，并可部署在设备上。
  • 音频模型：
    • parakeet-v3-ane & parakeet-v3-npu：6亿参数多语言自动语音识别 (ASR) 模型，专为高吞吐量语音转文本转录而设计。
  • 多模态模型：
    • OmniNeural-4B：世界上第一个 NPU 感知多模态模型，原生理解文本、图像和音频。
    • AutoNeural-VL-1.5B：实时、NPU 原生多模态模型，适用于车载驾驶舱。
  • 其他：
    • Jina-reranker-v2：针对文本重排序任务进行微调，这是许多信息检索系统中的关键组件。

  “Nexa SDK 支持 GGUF 和 MLX 模型，让您在设备上运行前沿模型，先人一步！”

• ⚡ 卓越性能表现

  我们为您优化了 AI 运行体验：

  • 加速： 支持 Qualcomm、Apple、AMD、Intel 等 NPU 硬件加速。
  • 能效： 在 NPU 上，能效提升 >9 倍。
  • 速度： 比 SOTA NPU 解决方案快 >5 倍。

• 💾 模型压缩黑科技

  我们强大的 NexaQuant 技术，通过专有压缩方法，在不牺牲精度的情况下，将前沿模型缩小 4 倍，将模型完美适配移动/边缘设备的 RAM。

  • 内存使用减少 4 倍。
  • 模型精度保持 99%。

• 💻 轻松部署，快速迭代

  使用 Nexa SDK，通过 3 行代码即可实现从 CLI 测试到跨平台应用的部署！

  1. Nexa CLI： 在 CLI 中测试模型；启动一个本地兼容 OpenAI 的 API 以进行快速原型开发。
  2. 部署 SDK： 集成到 Windows, macOS, Linux, Android & iOS 应用中。

---

🎯 立即体验 Nexa SDK

无论您是经验丰富的开发者，还是 AI 领域的新手，Nexa SDK 都能帮助您轻松将人工智能带到您的产品中。 我们友好且高效的 SDK，将是您构建未来智能应用的理想选择！