亲爱的读者朋友们,今天我要给大家介绍一个强大的开源工具——A服务器托管网ntSK。这个工具能让您在没有Internet连接时依然能使用人工智能知识库对话和查询,想象一下,即使在无网络的环境中,您也能与AI进行愉快的交流!
项目地址:
https://github.com/xuzeyu91/AntSK
AntSK不仅免费、开源,更妙的是它可以完全离线运行,不再依赖于OpenAI的API接口。它的核心是集成了LLamaSharp,让我们可以在本地机器上运行gguf格式的模型。本次教程中,我们使用的是“tinyllama-1.1b-chat.gguf”模型来进行测试。
初探AntSK的配置世界
配置可能是很多人的噩梦,但AntSK的配置简单明了。首先,看到配置文件时,我们主要关注以下几个要点:
"LLamaSharp": { "Chat": "D:CodeAIAntBlazormodeltinyllama-1.1b-chat.gguf", "Embedding": "D:CodeAIAntBlazormodeltinyllama-1.1b-chat.gguf" },
在这里,我的Embedding和Chat都是配置成相同的tinyllama模型。你可能会问,为什么需要两个相同的路径?这是因为AntSK提供了聊天和语义嵌入两种功能,二者可以使用同一个模型,也可以分别配置不同的模型以满足不同的需求。
下一步,我们要模拟设置OpenAI的终端:
"OpenAIOption": { "EndPoint": "https://localhost:5001/llama/", "Key": "这个用本地可以随便写", "Model": "这个用本地可以随便写", "EmbeddingModel": "这个用本地可以随便写" },
在实际本地运行时,上述的“EndPoint”将是服务的本地地址,而其他的Key、Model等字段在本地运行时并不会被实际验证,所以你可以随意填写。
激动人心的第一次启动
当我们配置好所有必要的参数之后,就可以启动程序,看看它第一次呼吸的样子了:
你看,AI已经在本地运行起来了,一切准备就绪后,界面会展示给我们一个期待已久的聊天窗口。
知识库文档的导入与应用
AntSK支持导入知识库文档,这意味着你可以将专业知识、文档或是你日常积累的笔记嵌入到系统中:
有了这些定制化的文档后,AntSK的AI能针对特定的内容给出更为精准的反馈和答案。
实战测试:和AI进行问答
终于到了最激动人心的时刻——我对AntSK进行了一系列的问答测试,看看它的表现如何:
备注:这个是离线运行效果,不依赖LLMAPI而是直接本地加载模型,并且我使用服务器托管网的是CPU进行的知识库文档导入和问答
从测试结果来看,AntSK回答问题流畅、准确,给人近乎实时聊天的体验。可以想象,在没有网络的情况下,这样的工具将极大地方便我们的生活和工作。
加入我们的交流群,一起成长
学习新技术的路上,交流总是非常重要的。我在这里诚邀各位感兴趣的朋友,加入我们的交流群。在这里,你可以和如我一样热爱.NET和AI技术的小伙伴们交流心得,分享经验,互相解答疑惑。
最后,如果你对AntSK或LLamaSharp有任何疑问或想要了解更多细节,不妨访问AntSK的GitHub项目页面,那里有更详细的文档和指引。
亲爱的朋友们,感谢你们阅读这篇文章,希望对你们了解和使用AntSK带来帮助。我将继续关注.NET/AI技术领域的最新发展,为大家带来更多优质的内容。记得关注、点赞和分享哦!我们下次见!
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
机房租用,北京机房租用,IDC机房托管, http://www.fwqtg.net
分享是最有效的学习方式。 博客:https://blog.ktdaddy.com/ 老猫的设计模式专栏已经偷偷发车了。不甘愿做crud boy?看了好几遍的设计模式还记不住?那就不要刻意记了,跟上老猫的步伐,在一个个有趣的职场故事中领悟设计模式的精髓吧。还等什…