AI有关的学习和python

一、基本概念

AIGC（AI Generated content AI 生成内容）

AI生成的文本、代码、图片、音频、视频。都可以成为AIGC。

Generative AI（生成式AI）所生成的内容就是AIGC

• AI指代计算机人工智能，模仿人类的智能从而解决问题和完成任务。
  • 机器学习是AI的子集，不需要做显示编程，而是通过算法让计算机自动学习和改进

    • 监督学习算法接受带有标签的训练数据，也就是期望的输出值（例如进行分类和回归）

    • 无监督学习自主发现数据里的模式或规律（ 例如聚类）

    • 强化学习在环境里采取行动，根据反馈学习（下围棋）

    • 深度学习使用人工神经网络，模仿人脑处理信息的方式，通过层次化提取和表示数据的特征

知识库

想象一下你是一个机器人，你要去帮助人们回答问题。但是你自己并不知道所有的答案，所以你需要一个地方来存储这些信息，就像是一个巨大的书库一样，里面装满了各种各样的书。

这个“书库”就是知识库。里面可能有各种书籍，每本书都代表了一个特定的知识领域。比如，有一本书是关于天气预报的，里面包含了各种关于天气的知识，比如什么样的云会带来雨水，哪种气象条件会导致雷暴等等。

另一本书可能是关于烹饪的，里面包含了各种菜谱、食材和烹饪技巧。每本书都是一种知识表示方式，它们可能是规则、概念、图表或者其他形式的知识结构。

当有人向你提问时，你可以去搜索这些书籍，找到相关的信息，并根据它们给出答案。比如，如果有人问你明天的天气如何，你可以去查找天气预报这本书，然后告诉他们明天会是晴天还是多云。它提供了一个结构化的方式来存储和组织知识，使得智能系统能够理解和处理人类的信息需求。

微调

微调指在预训练的基础上，使用特定领域的少量数据进一步训练模型，以适应特定的任务需求。它能让模型更准确地处理特定类型的问题。微调就是在一个已经训练好的人工智能模型基础上，稍微修改一些参数，以便适应新的任务或数据。就像是在一个已经学会了一些知识的学生基础上，再加上一点新的知识，以适应新的考试题目一样。

AI Agent

AI代理（Agent）是一种在人工智能领域中常见的概念，它指的是能够感知环境、进行决策和执行动作的程序或系统。这些代理可以是物理实体，如机器人，也可以是虚拟实体，如在计算机程序中运行的智能系统。

大模型相当为大脑，agent为手脚。模型负责下达指令，agent负责收集执行等。

提示词工程

提示词直接决定了反馈结果的优劣，想让大模型回答我们想要的内容，就需要优化提示词，使得模型的回答更加符合我们的预期的要求。提示词就起到了数据清洗和筛选作用。

提示词的作用有三点

• 更精确的答案：确保大模型能够准确理解并回答用户的问题。
• 多样性：一个稍有不同的提示，会导致截然不同的答案。
• 控制输出风格：提示词可以用来指导模型的输出风格或内容。

提示词的制定环节

1. 明确目标：首先确定你希望大模型或者机器人为你做什么？
2. 优化提示：可以给大模型更加具体的指示。
3. 评估和迭代：通过不同的提示词，来问它同样的问题，查看模型反馈是否满意。

提示词的核心技术

N-gram ：通过统计通过计算N个词出现的概率，来预测下一个词（N为不固定的数）

深度学习：由多层神经网络组成，可以自动从数据中心学习，让模型不断自我学习优化，直到反馈符合预期

如何使用提示词

1. 语言清晰
2. 尽量把任务要求和用户输入用分隔符来隔开，尽量使用英文的""
3. 给模型足够的信息，充分引导模型沿着正确的道路得出正确的答案。

提示词结构

1. Context上下文（可选）

   1. 角色
   2. 任务
   3. 知识

2. instruction命令（必选）

   1. 步骤
   2. 思维链
   3. 示例

3. input data输入数据（必选）

   1. 句子

   2. 文章

   3. 问题

4. output indicator输出格式（可选）

机器学习和神经网络

【偏难，看不懂可跳过】机器学习和神经网络基础知识_哔哩哔哩_bilibili

神经网络的基础概念

1. 神经元（Neuron）： 神经网络的基本单元，也称为节点或者单元。它模拟了生物神经元的功能，接收输入信号、进行加权求和、经过激活函数处理后产生输出。
2. 连接权重（Weights）： 连接权重是神经元之间连接的强度，用来调节输入信号对神经元输出的影响程度。权重越大，表示该输入对神经元的影响越大。
3. 激活函数（Activation Function）： 激活函数决定了神经元是否被激活（输出非零值）。常用的激活函数包括sigmoid、ReLU、tanh等，它们用于引入非线性特性，使神经网络能够学习更复杂的模式。
4. 输入层（Input Layer）： 输入层接收来自外部的数据输入，并将数据传递给网络中的其他层。每个输入层节点对应输入数据的一个特征。
5. 隐藏层（Hidden Layer）： 隐藏层位于输入层和输出层之间，负责处理输入数据并提取特征。一个神经网络可以包含多个隐藏层。
6. 输出层（Output Layer）： 输出层负责将神经网络的计算结果输出，通常用于进行分类、回归等任务。
7. 前向传播（Forward Propagation）： 前向传播是指输入数据经过神经网络各层的计算和传递过程，最终产生输出结果的过程。
8. 反向传播（Backpropagation）： 反向传播是一种通过计算梯度来更新神经网络参数的方法，它是训练神经网络的核心算法之一。

卷积神经网络

卷积神经网络（Convolutional Neural Network，CNN）是一种专门用于处理具有网格状拓扑结构数据的人工神经网络。CNN 在图像识别、计算机视觉和自然语言处理等领域取得了巨大成功。

CNN 的核心特点包括：

1. 卷积层（Convolutional Layer）： CNN 使用卷积层来提取输入数据中的特征。卷积操作将一个滤波器（也称为卷积核）应用于输入数据的不同位置，从而生成特征图。
2. 池化层（Pooling Layer）： 池化层通常紧随在卷积层之后，用于减少特征图的维度并提取最显著的特征。最常见的池化操作是最大池化，即在特定区域内选择最大值作为输出。
3. 激活函数（Activation Function）： 在卷积层和池化层之间，通常会添加一个激活函数，如ReLU（Rectified Linear Unit），用于引入非线性特性。
4. 全连接层（Fully Connected Layer）： 在卷积和池化层之后，通常会有一到多个全连接层，用于将提取的特征映射到输出类别或者结果上。

CNN 的工作流程包括：

1. 输入层： 将输入数据（如图像）送入网络。
2. 卷积层： 在卷积层中，通过应用多个滤波器来提取输入数据中的不同特征。
3. 池化层： 池化层用于减少特征图的尺寸，并提取最显著的特征。
4. 全连接层： 最后的全连接层将提取的特征映射到输出类别。
5. 输出层： 输出层产生最终的预测结果。

自然语言处理

自然语言处理（NLP）是人工智能领域的一个分支，旨在让计算机能够理解、处理和生成人类自然语言的文本和语音数据。它涉及文本分类、命名实体识别、机器翻译、问答系统等任务，广泛应用于搜索引擎、智能助手、智能客服等领域。

多模态

多模态模型是指能够同时处理多种不同类型数据（例如文本、图像、音频等）的机器学习模型。这些模型通常设计用于解决多模态任务，如图像描述生成、视觉问答、视频理解等。多模态模型通常结合了不同类型数据的处理能力，使其能够更全面地理解和处理复杂的输入信息。

Embedding（嵌入）

嵌入是一种技术，用于将高维、复杂的数据（如文本、图像）转换成计算机容易处理的低维向量表示。在自然语言处理（NLP）中，单词嵌入将单词表示为向量，使得机器学习模型能够更好地理解和处理文本数据。

RAG（检索增强生成）

是一种结合了信息检索和生成技术的AI模型框架。在这个框架中，模型首先通过检索找到相关的文档或信息，然后在生成答案时利用检索结果进行增强。这可以显著提高生成的准确性和相关性。

LangChain

LangChain 是一个用于构建基于语言模型应用的框架，特别适用于构建复杂的应用程序，如问答系统、对话机器人、智能助理等。它旨在帮助开发者更方便地整合和定制各种功能模块，以充分发挥大型语言模型的潜力。

数据输入（数据清洗）------>数据分析与处理------>数据输出

数据输入：手动、文件上传、数据库连接

数据分析与处理：

1. 算法：文本分类模型、情感分析模型、主题建模
2. 分析过程与步骤：准备阶段（对数据进行切割等）、烹饪（根据不同的要求选择算法）、调味（进行微调）

数据输出：图表类、文字报告、互动界面

主要特点和概念：

1. 链（Chains）：LangChain 通过“链”的概念来将不同的语言模型或功能模块组合起来。每个链可以执行不同的任务，例如接收用户输入、与外部数据源交互、生成答案等。这些链可以独立使用，也可以串联起来创建复杂的应用逻辑。
2. 代理（Agents）：代理是一种高级功能，允许语言模型动态选择并调用不同的工具或功能模块，以执行复杂任务。比如，代理可以根据用户的问题选择调用特定的 API 或数据库，检索到相关信息后返回答案。
3. 工具（Tools）：这些是与外部数据源或 API 交互的组件，通常包括检索系统、数据库、搜索引擎等。它们为链或代理提供扩展能力，让模型能够回答更复杂的问题。
4. 记忆（Memory）：LangChain 支持在链或代理的对话过程中引入“记忆”，使其能够在多轮对话中保持上下文一致性。这种记忆可以让应用程序更加个性化和智能化。
5. 文档加载（Document Loaders）：该模块用于加载外部文档（如 PDF、网页内容、数据库记录等），然后供检索或生成模型使用。

应用场景：

• 对话系统：可以基于用户输入构建具有多轮对话能力的系统，并利用链和工具动态检索相关信息。
• 问答系统：结合外部数据源的检索工具，可以回答开放性或特定领域的问题。
• 文档生成：从现有文档中提取相关信息，然后利用生成模型编写新的文档或报告。

LangChain 框架为开发者提供了丰富的组件和接口，便于集成外部工具和服务，从而让语言模型的功能更加强大。

部署（Chatglm2+langchain）

https://www.codewithgpu.com/i/chatchat-space/Langchain-Chatchat/Langchain-Chatchat

cd /root/Langchain-Chatchat/
conda actibate /root/pyenv
python startup.py -a

连接： ssh -p 12910 [e-mail]

映射到本地 ：ssh -CNg -L 6006:127.0.0.1:6006 [e-mail] -p 12910
密码：ATM8/b/qhG//

http://127.0.0.1:6006/

# 智谱AI API,具体注册及api key获取请前往 http://open.bigmodel.cn
"zhipu-api": {"api_key": "*************************","version": "glm-4","provider": "ChatGLMWorker",
},

微调模型

在阿里云打开

按顺序执行命令

demos/chatglm_6b/ChatGLM-6B-main/ptuning/AdvertiseGen_Simple/train.json

该json文数据集，按照格式修改，然后重新执行如下数据准备和微调模型，命令

私有化大模型

先到https://supabase.com获取项目API

__创建阿里云实例（新加坡）__普通2*4c7就可以

# 克隆仓库
git clone https://github.com/n4ze3m/dialoqbase.git# 进入目录
cd dialoqbase/docker# 编辑文件
nano .env#然后输入 API key 以及数据库密钥#安装docker
curl -fsSl https://get.docker.com | sh
#安装docker compose
sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o/usr/local/bin/docker-compose#给二进制文件添加权限
sudo chmod +x /usr/local/bin/docker-compose#运行docker compose 
sudo systemctl start docker 
sudo systemctl status docker#新建终端
cd dialoqbase/docker
#执行程序
docker-compose up -d
#然后在浏览器打开公网ip+3000端口初始账户:admin
初始密码：admin

投喂的数据集格式：问题和答案要在同一行

#1. 更新软件包
sudo apt update
sudo apt upgrade#2.安装git
sudo apt install git #3.安装项目
git clone https://github.com/aiwaves-cn/agents.git#4.安装python虚拟环境包
apt install python3.10-venv#5.创建虚拟环境
python3 -m venv myenv#6.开启虚拟环境
source myenv/bin/activate#7.更新pip包
pip install --upgrade pip#8.安装项目依赖
pip install ai-agents

部署Bisheng

bisheng/docker at main · dataelement/bisheng (github.com)

推荐云配置：cpu:32*188 GPU:A10

1. 安装docker

   sudo apt update
   sudo apt upgrade# 安装依赖工具
   sudo apt install apt-transport-https ca-certificates curl software-properties-common# 添加docker官方的GPG密钥
   curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg# 将Docker官方存储库添加到APT源列表中
   sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"# 更新索引
   sudo apt update# 安装docker
   sudo apt install docker-ce# 验证安装	
   sudo systemctl start docker

2. 安装docker -compose

# 下载compose
sudo curl -L "https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose# 赋权
sudo chmod +x /usr/local/bin/docker-composedocker compose version

3. 安装git并下载项目

sudo apt install gitgit clone https://github.com/dataelement/bisheng.gitcd bisheng/dockersudo docker-compose up -dgit --version验证项目，3001端口  用户admin 密码1234

4. 安装向量数据库Milvus(前面似乎已经安装了)

cd ~
# 下载
wget https://github.com/milvus-io/milvus/releases/download/v2.2.10/milvus-standalone-docker-compose.yml -O docker-compose.yml# 启动
sudo docker-compose up -d

5. 安装ElasticSearch(前面似乎已经安装了)

# 创建docker网络
docker network create elasticdocker pull docker.elastic.co/elasticsearch/elasticsearch:8.9.2docker run --name elasticsearch --net elastic -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" -it -d docker.elastic.co/elasticsearch/elasticsearch:8.9.2

6. 安装 BISHENG-RT 和下载大模型和检查N卡（新终端）

docker pull dataelement/bisheng-rt:0.0.1
# 创建目录
mkdir -p model_repository
# 进入到目录
cd model_repository
#更新索引
sudo apt update
#安装git-lfs
sudo apt install git-lfs
#初始化
git lfs install
#拉取模型
git clone https://huggingface.co/THUDM/chatglm3-6b#如果停止不动停止任务，进入目录执行如下
git lfs pull#检查LFS对象是否存在
ls-lh .git/lfs/objects
#检查文件的完整性
git lfs ls-files
#尝试重新下载
git lfs fetch --all#查看n卡驱动和GPTU状态
nvidia-smi#检查nvidia-container-toolkit是否已经安装(若没有输出就没有安装)
dpkg -l | grep nvidia-container-toolkit#添加NVIDIA的软件包仓库
distribution=$(./etc/os-release;echo SIDSVERSION ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add-
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list#更新索引
sudo apt-get update#安装nvidia-container-toolkit
sudo apt-get install -y nvidia-container-toolkitfunction run container({
LOCAL MODEL REPO="/root/model repository'”#改成你自己的repo地址
MOUNT="-v $LOCAL_MODEL_REPO:/opt/bisheng-rt/models/model_repository"
IMAGE="dataelement/bisheng-rt:0.0.1"
docker run --gpus=all -p 9000:9000 -p 9001:9001 -p 9002:9002 -itd --workdir /opt/bisheng-rt\--shm-size=10G --name bisheng_rt_v001 $(MOUNT) $IMAGE ./bin/rtserver f

web界面gradio学习

【Gradio系列教程】 https://www.bilibili.com/video/BV19m411U7K8/?p=3&share_source=copy_web&vd_source=d2d1bdec77776a27cbcb4517d05c2c52

常见的输入组件

import gradio as grinput_list = [gr.Audio(sources=["microphone","upload"], type="numpy", label="Audio file"),  # 音频gr.Checkbox(label="Checkbox"),  # 复选框gr.ColorPicker(label="Color Picker"),gr.Dataframe(headers=None, label="Dataframe"),  # 表格gr.Dropdown(choices=["Option 1", "Option 2", "Option 3"], label="Dropdown"),  # 下拉框gr.File(label="File Upload", type="binary"),  # 文件gr.Image(sources=["webcam","upload"], label="Image"),  # 图片gr.Radio(choices=["Option 1", "Option 2", "Option 3"], label="Radio"),  # 单选框gr.Slider(minimum=0, maximum=10, step=2, label="Slider"),  # 滑动条gr.Textbox(label="Textbox"),  # 文本框gr.TextArea(label="Textarea"),  # 多行文本框gr.Video(sources=["webcam","upload"], label="Video"),  # 视频gr.CheckboxGroup(choices=["Option 1", "Option 2", "Option 3"])
]output_list = [gr.Textbox(label="Audio output", lines=7),gr.Textbox(label="Checkbox output"),gr.Textbox(label="Color Picker output"),gr.Textbox(label="Dataframe output"),gr.Textbox(label="Dropdown output"),gr.Textbox(label="File Upload output"),gr.Textbox(label="Image output"),gr.Textbox(label="Radio output"),gr.Textbox(label="Slider output"),gr.Textbox(label="Textbox output"),gr.Textbox(label="Textarea output"),gr.Textbox(label="Video output"),gr.Textbox(label="Checkbox Group output")  # 复选框组，返回一个列表，包含所选的项
]def input_and_output(*input_data):return input_dataiface = gr.Interface(fn=input_and_output, inputs=input_list, outputs=output_list, description="This is a test interface.", live=True)
iface.launch()

常见输出组件

# 音频输出
def audio_fn(audio):hz=audio[0]data=audio[1]print(f"Audio data received with {hz} Hz")print(f"Data shape: {data}")return (hz, data)demo =gr.Interface(fn=audio_fn,inputs=gr.Audio(type="numpy"),outputs="audio")
demo.launch()# 柱状图
import pandas as pd
#创建数据框
simple = pd.DataFrame({"a": [1, 2, 3],"b": [4, 5, 6]
})
print(simple)
demo=gr.Interface( fn=None, inputs=None, outputs=gr.BarPlot(simple, x="a", y="b"))
demo.launch()# 给图片地址，输出图片，还能对图片进行排序
def process():cheetahs = ["https://upload.wikimedia.org/wikipedia/commons/0/09/TheCheethcat.jpg","https://nationalzoo.si.edu/sites/default/files/animals/cheetah-003.jpg","https://img.etimg.com/thumb/msid-50159822,width-650,imgsize-129520,,resizemode-4,quality-100/.jpg","https://nationalzoo.si.edu/sites/default/files/animals/cheetah-002.jpg",]cheetahs= [(cheetah, f"Cheetah {i + 1}") for i, cheetah in enumerate(cheetahs)]return cheetahs
demo=gr.Interface( fn=process, inputs=None, outputs=gr.Gallery())
demo.launch()#各种图
import numpy as np
import matplotlib.pyplot as pltdef fig_output():Fs = 8000f = 5sample = 10x = np.arange(sample)y = np.sin(2 * np.pi * f * x / Fs)plt.plot(x,y)return pltdemo =  gr.Interface(fn=fig_output, inputs=None, outputs=gr.Plot())
demo.launch()#展示json数据
json_sample ={"name":"John","age":30,"city":"New York"}demo =  gr.Interface(fn=None, inputs=None, outputs=gr.Json(json_sample) )

Blocks(更加灵活搭建页面)

gr.Blocks()
gr.Row()
gr.Column()
gr.Tab()
gr.Accordion()
gr.Group()

布局代码

效果