笔记本也能飞：运行chat大模型

背景

在过去的一年，ChatGPT的崛起彻底改变了我们与AI的交互方式。它不再是被动的信息提供者，而是成为了一个可以与我们自由交流、分享知识的伙伴。无论是生活中的琐事，还是工作中的难题，ChatGPT都能给出有价值的建议和信息。

同时，ChatGPT也在各个领域引发了深远的变革。在教育领域，ChatGPT可以为学生提供个性化的辅导，帮助他们理解复杂的概念。在商业领域，ChatGPT可以协助员工进行市场调研、数据分析等工作，提高工作效率。在娱乐领域，ChatGPT则可以为游戏和电影创作提供无限灵感。

那作为普通开发者的我们，如何拥有一个属于自己的「ChatGPT」呢？

技术选型

• 服务器：个人笔记本，Apple M1 Pro，32 GB版本
• 模型：shibing624/chinese-alpaca-plus-13b-pth（https://huggingface.co/shibing624/chinese-alpaca-plus-13b-pth）
• Chat界面：LlamaChat（https://github.com/alexrozanski/LlamaChat）

安装步骤

shibing624/chinese-alpaca-plus-13b-pth模型

介绍

本模型是 decapoda-r服务器托管网esearch/llama-13b-hf 底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重， 并转化为PyTorch版本权重（.pth文件），可以直接使用或者继续训练。

下载

正式下载前，需要先注册huggingface.co账号，且该步骤需要魔法上网。

• 安装依赖

pip install -U huggingface_hub

• 下载模型

服务器托管网

huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False shibing624/chinese-alpaca-plus-13b-pth --local-dir shibing624/chinese-alpaca-plus-13b-pth

• 镜像网站✨✨✨

镜像网站：https://hf-mirror.com/，具体内容见网页详情。

LlamaChat

介绍

LlamaChat是一款MacOS应用程序，可以让你用LLaMA、Alpaca、GPT4等模型进行聊天。

下载

• 最新版本的LlamaChat，链接：https://github.com/alexrozanski/LlamaChat/releases

安装

配置

聊天

总结

与所有技术一样，ChatGPT也引发了一些担忧和争议。人们担心AI的发展会取代人类的工作，或者导致信息泛滥、假消息传播等问题。但这些担忧并不应阻碍我们对AI的探索和发展。正如ChatGPT所示，AI的真正价值在于它能够帮助我们解决问题、提升生活质量，而不是替代我们。

至此，大家本地已经有了一个属于自己的「ChatGPT」，希望它在未来能够带给我们更多的惊喜和可能性。

服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
机房租用，北京机房租用，IDC机房托管， http://www.fwqtg.net

相关推荐: Roaring bitmaps

Roaring bitmaps 最近看一篇文章，里面涉及到使用roaring bitmaps来推送用户广告并通过计算交集来降低用户广告推送次数。本文给出roaring bitmaps的原理和基本用法，后续给出原文的内容。 本文来自：A primer on Ro…