1，视频地址
2，关于llama.cpp 项目
https://github.com/ggerganov/llama.cpp
LaMA.cpp 项目是开服务器托管网发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型（简易 Python 代码示例）手撸的纯 C/C++ 版本，用于模型推理。所谓推理，即是给输入-跑模型-得输出的模型运行过程。
那么，纯 C/C++ 版本有何优势呢？
无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接服务器托管网编译出可执行文件，跳过不同硬件的繁杂准备；
支持 Apple Silicon 芯片的 ARM NEON 加速，x86 平台则以 AVX2 替代；
具有 F16 和 F32 的混合精度；
支持 4-bit 量化；
golang 的项目地址：
https://github.com/go-skynet/go-llama.cpp
3，准备工作，解决cgo编译问题
关于go-llama.cpp 项目地址：
https://github.com/go-skynet/go-llama.cpp
首先下载模型：
https://hf-mirror.com/TheBloke/Yi-6B-GGUF/tree/main
然后运行测试：
虽然模型回答的不太对，但是可以运行了，速度确实还可以。
4，只要是llama.cpp支持的模型就可以
已经支持很多模型了，都需要测试下效果。
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
相关推荐: 实战：如何编写一个 OpenTelemetry Extensions
前言 前段时间我们从 SkyWalking 切换到了 OpenTelemetry ，与此同时之前使用 SkyWalking 编写的插件也得转移到 OpenTelemetry 体系下。 我也写了相关介绍文章： 实战：如何优雅的从 SkyWalking 切换到 O…
