当前位置：首页 > news >正文

如何在算家云搭建Llama3-Factory（智能对话）

news 文章来源：https://blog.csdn.net/SJJS_1/article/details/143371149 2025/1/9 2:10:39

一、Llama3-Factory 简介

当地时间 4 月 18 日，Meta 在官网上宣布公布了旗下最新大模型 Llama 3。目前，Llama 3 已经开放了 80 亿（8B）和 700 亿（70B）两个小参数版本，上下文窗口为 8k。Llama3 是 Meta 公司（前身为 Facebook）开发的一个大型语言模型（LLM），它属于人工智能和自然语言处理领域的一项技术成果。

Llama3 通过深度学习技术，特别是基于 Transformer 架构的预训练模型，实现了对自然语言的高度理解和生成能力。它利用了海量的文本数据进行训练，从而能够捕获语言的复杂模式和规律，并在各种自然语言处理任务中展现出卓越的性能。

二、模型搭建流程

建议创建实例成功后，建议关机升高配置双显卡，数据盘扩容200，您可以微调其他的大语言模型，如果只使用Llama-3-8B数据集则不用扩容数据盘，但在导出训练权重磁盘可能不够

1.选择模型实例

在应用社区中搜索或找到“Llama3-Factory”模型

或者下滑左侧功能选项中找到“文本生成”应用栏选择“智能对话”后单击

微信截图_20240923154025.png

2.创建模型实例

在Llama3-Factory页面中单击“创建应用”

微信截图_20240923154111.png

选择GPU资源项选择RTX 4090后单击”立即创建“

（创建实例成功后，建议关机升高配置双显卡，数据盘扩容）

微信截图_20240923155235.png

3.启动项目

实例创建成功之后，点击“项目实例”再点击“WebShell”开启终端（小黑屏）

下载模型文件

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3.1-8B-Instruct.git  /root/sj-tmp/

时间有点长耐心等待下载完成

微信截图_20240923165933.png

使用下列命令运行项目

conda activate llama_factory
cd LLaMA-Factoryexport 
GRADIO_SERVER_PORT=8080
python src/webui.py

4.开启外部访问

返回项目实例页面，点击Llama3-Factory项目实例开放端口

开放端口.jpg

5.访问获取的地址,开始使用

打开一个新的网页，将得到网址进行粘贴，模型界面成功打开

微信截图_20240923163706.png

以上就是在算家云搭建 Llama3-Factory 的流程。具体使用方式可进入算家云“应用社区”查看该模型的使用说明

点击算家云-应用社区，选择模型，一键开启 AI 之旅！