Know Thyself

https://x.com/oran_ge/status/1815997989955240296

最近Meta又在搞大新闻，发布了Llama 3.1的8B、70B、405B三个版本的大模型，还有一篇论文。

昨天我把论文大略翻看了下，训练模型用了16000个80G显存的H100显卡。

训练成本那么高，居然完全免费！而且据说最小的那个模型，只要16G内存就能运行，我终于可以体验本地运行的大模型了。

我先是从官网下载8B版本的模型，大约15G，但是我不知道怎么在本地运行。在conda中安装好各种依赖，最后提示“Runtime Error: use_libuv was requested but PyTorch was build without libuv support”，我不知道哪个版本的torch有这个选项，通过pip安装也是相同的错误。

我知道通过Hugging Face应该也可以下载运行，而且不需要自己踩坑，但是我不想重复下载。

最后发现也可以使用ollama一键运行，这个软件跟docker有点像，但我试图导入本地模型时用了很长时间一直没有结束，因为相关文档比较少，我也不确定是否支持本地导入。最后我考虑重新下载一遍，但是在Windows中不论是否使用代理都因网络问题很难下载下来。

最后到Linux下用代理把模型下载到本地，发现只有4.34G，测试没问题后又复制到Windows系统中。

在Linux下没有使用独立显卡，CPU占用比较高，在Windows下使用8G独显运行最小的模型也没什么压力。

X (formerly Twitter)

orange.ai (@oran_ge) on X

在电脑上运行 llama 3.1 ，超级简单，五分钟搞定：
第一步，到 ollama 官网，点击下载
第二步，打开终端，输入：ollama run llama3.1
第三步，输入问题，开始自由自在地玩耍吧

llama 3.1 中文比 llama 3 要好。
安全方面模型还是比较容易攻破的。。

👍3❤1

www.tgoop.com/master_thyself/2022

1.05K viewsedited  Jul 25, 2024 at 08:28

https://x.com/oran_ge/status/1815997989955240296

最近Meta又在搞大新闻，发布了Llama 3.1的8B、70B、405B三个版本的大模型，还有一篇论文。

昨天我把论文大略翻看了下，训练模型用了16000个80G显存的H100显卡。

训练成本那么高，居然完全免费！而且据说最小的那个模型，只要16G内存就能运行，我终于可以体验本地运行的大模型了。

我先是从官网下载8B版本的模型，大约15G，但是我不知道怎么在本地运行。在conda中安装好各种依赖，最后提示“Runtime Error: use_libuv was requested but PyTorch was build without libuv support”，我不知道哪个版本的torch有这个选项，通过pip安装也是相同的错误。

我知道通过Hugging Face应该也可以下载运行，而且不需要自己踩坑，但是我不想重复下载。

最后发现也可以使用ollama一键运行，这个软件跟docker有点像，但我试图导入本地模型时用了很长时间一直没有结束，因为相关文档比较少，我也不确定是否支持本地导入。最后我考虑重新下载一遍，但是在Windows中不论是否使用代理都因网络问题很难下载下来。

最后到Linux下用代理把模型下载到本地，发现只有4.34G，测试没问题后又复制到Windows系统中。

在Linux下没有使用独立显卡，CPU占用比较高，在Windows下使用8G独显运行最小的模型也没什么压力。

BY Know Thyself