Jan

Jan是一个开源的、注重隐私的本地AI平台，旨在提供类似ChatGPT的对话式AI体验，但以100%离线运行和用户数据控制为核心。它允许用户在自己的设备上运行大型语言模型（LLM），无需依赖云服务，从而确保数据隐私和安全性。

主要用途

Jan是一个本地AI助手平台，适用于个人、开发者和企业，旨在通过以下方式增强生产力：

1. 隐私优先的AI交互：用户可以在本地设备上运行开源AI模型（如Llama3、Gemma、Mistral等），无需将数据发送到云端，适合对数据隐私敏感的用户。
2. 替代云端AI服务：作为ChatGPT、Claude等云端AI的开源替代品，Jan提供离线AI功能，同时支持可选的云模型连接。
3. 开发者和工具集成：通过OpenAI兼容的本地API，Jan可以与其他应用程序无缝集成，适合开发者构建AI驱动的本地应用。
4. 定制化AI体验：用户可以根据需求调整模型参数、安装扩展，甚至创建个性化AI助手。

核心功能

Jan提供了丰富的功能，涵盖AI模型管理、隐私保护、开发支持和用户体验定制。以下是详细的功能介绍：

1. 本地运行AI模型

• 模型中心（Model Hub）：Jan内置模型中心，用户可以从Hugging Face或其他来源下载开源模型（如Llama3、Gemma3、Mistral等），或导入本地的GGUF格式模型。
• 离线操作：下载模型后，Jan无需互联网即可运行AI，适合无网络环境或对隐私要求高的场景（如研究敏感数据或离线写作）。
• 硬件兼容性：支持多种硬件配置，包括NVIDIA GPU、Apple M系列芯片、普通CPU等。用户可通过GPU加速提升性能（需安装相关驱动）。

2. 本地API服务器

• OpenAI兼容API：Jan提供了一个运行在localhost:1337（或自定义端口）的本地API服务器，与OpenAI的API兼容。开发者可以将Jan作为ChatGPT的替代品，连接到支持OpenAI API的应用程序（如Continue.dev、Cline等）。
• 一键设置：用户只需一键即可启动本地API服务器，简化开发流程。

3. 云模型支持（可选）

• 灵活连接云端AI：虽然Jan主打本地运行，但也支持通过API密钥连接云端模型（如OpenAI的GPT-4o、Anthropic的Claude、Groq、Mistral等），为需要更高性能的用户提供选择。
• 无额外费用：Jan不向云模型使用加价，用户仅需支付云服务提供商的标准费用。

4. 扩展和定制化

• 扩展生态：Jan的架构类似VSCode，允许用户通过扩展添加功能，如云AI连接、数据连接器、工具集成等。核心扩展包括：
  • llama.cpp：高效的本地推理引擎，支持多种硬件。
  • NVIDIA NIM：用于GPU加速的企业级模型部署。
  • Triton-TRT-LLM：高性能推理后端，适合大规模模型部署。
• 个性化AI助手：用户可以创建定制化的AI助手，未来还将支持记忆功能，记住对话历史并执行特定任务。
• 界面和设置定制：用户可以调整界面主题、聊天布局、拼写检查、快捷键等，提供个性化的使用体验。

5. 数据隐私和控制

• 本地数据存储：所有对话和文件存储在用户设备上，使用通用格式，方便迁移，无厂商锁定。
• 可调整的审查级别：用户可以根据需求调整AI的过滤和审查设置，控制输出内容。
• 透明的隐私政策：当使用第三方云服务时，Jan会提醒用户查看相关隐私条款，并可选共享匿名使用统计以改进产品。

6. 跨平台支持

• 操作系统兼容：Jan支持Windows、macOS和Linux，提供64位标准安装包（如AppImage）。
• 移动端计划：Jan正在开发移动应用，未来将支持iOS和Android，进一步融入移动工作流。
• 硬件要求：运行不同模型需要不同硬件配置，例如3B参数模型需>8GB RAM，7B需>16GB RAM，14B需>32GB RAM。

7. 实验性功能

• 文件对话功能：Jan支持实验性的“与文件对话”功能，允许用户上传文件并基于内容进行交互，适合文档分析或知识检索。
• 知识检索：用户可以启用知识检索功能，上传个人文档构建知识库，增强AI的上下文理解能力。

8. 社区和开发支持

• 开源和免费：Jan基于AGPLv3许可证，完全免费，无订阅费用。用户可从GitHub fork并自定义代码。
• 社区驱动：由Menlo Research维护，Jan拥有活跃的社区，用户可通过Discord获取支持或贡献代码。
• 开发工具：Jan集成了Cortex（一个可嵌入的本地AI引擎），支持多引擎（如llama.cpp、ONNX、TensorRT-LLM），为开发者提供灵活的AI开发框架。

使用场景

Jan适用于多种场景，包括但不限于：

• 个人生产力：作家可离线头脑风暴、获取写作反馈；学生可用于学习和笔记整理。
• 开发者工作流：程序员可通过本地API测试AI应用，或集成到代码编辑器（如VSCode）中。
• 敏感数据处理：研究人员可在不联网的情况下分析敏感数据，生成报告或总结。
• 企业定制：企业可部署Jan在内部服务器上，构建定制化AI助手，保护商业数据。