Jan – 开源免费的 ChatGPT AI 机器人,100% 离线在自己设备上运行大语言模型

2 min


Jan 是一款支持 macOS、Linux 的本地 ,利用 AI 模型和自己的硬件(CPU、显卡),让你在自己电脑上运行大语言模型,实现 100% 完全离线、ChatGPT

很多同学一直在找可以运行在自己电脑上的大语言模型,这不它来了。

Turn your computer into an AI computer – Jan

Run LLMs like Mistral or Llama2 locally and offline on your computer, or connect to remote AI APIs like 's GPT-4 or Groq.

Jan – 免费的 ChatGPT 开源替代

原理就是使用自己的硬件来提供算力,目前支持:

  • Nvidia GPUs (fast)
  •   M-series (fast)
  •  Apple Intel
  •  Linux Debian
  •  Windows x64

也支持多 GPU 集群,反正你有什么设备尽管上,越多算力越大,速度越快。

兼容 OpenAI API

Jan 提供了 OpenAI 等效 API,可以在本地 1337 端口直接调用。

截图

Jan 的使用界面很简单,从边栏选择并模型后,就可以直接用了:

选择并下载模型

主界面

用起来,就像和 ChatGPT 一样聊天,只不过这次,算力由你自己的电脑提供。

除了从 Jan 提供的 Hub 选择模型,也支持手动导入模型、使用在线模型(远程服务器)。

测试了 OpenAI 的的确没啥问题,推荐给各位 4090 用户玩玩。


Like it? Share with your friends!

0
Anonymous

Choose A Format
Story
Formatted Text with Embeds and Visuals
List
The Classic Internet Listicles
Countdown
The Classic Internet Countdowns
Open List
Submit your own item and vote up for the best submission
Ranked List
Upvote or downvote to decide the best list item
Video
Youtube and Vimeo Embeds