KLAUS Blog

I'm born to succeed.

利用swift和mindie在多卡NPU上微调、推理、部署大模型

解决swift 2.5不能NPU多卡推理和部署大模型的问题

前言 本文针对 swift 2.5 不可以进行NPU多卡推理和部署提出解决方案 10月下旬的 swift 3.0 可能会有NPU多卡推理和训练的方法 解决思路： 通过 swift sft 对原始模型进行微调(这一步可以多卡) swift infer 和 swift deploy 中有 --merge_lora 参数，设为 true。运行其中一个，会得出拼接后的模型参数 ...

Posted by Klaus on September 28, 2024

打包 conda 环境

conda 环境的转移和使用

前言 要在实习公司的服务器上运行一个项目，但是因为服务器不能联网，所以常规的pip install在线安装就不能用了。 曾经尝试过用联网的主机把对应的安装包（*.whl or *.tar.gz）下载下来再通过SFTP转移到服务器上安装，但在实际操作过程中会有如下问题导致环境安装不成功： 比如服务器是aarch64架构，自己的主机pip download会找不到某些适合的安装包，虽...

Posted by Klaus on September 4, 2024

faiss 向量库应用

利用 faiss 将 Query 与 参考问题做匹配

requirements: pandas、text2vec、faiss-cpu、numpy 可以安装faiss-gpu,运行速度更快 任务描述：提供了两个文件，第一个文件包括Query，第二个包括参考问题和答案(实际为参考问题对应的知识)。我希望能够让Query和对应的知识匹配到一起，用作后续的prompt生成。 Queries.csv内容示例： 怎么查...

Posted by Klaus on August 20, 2024

langchain流程图

通过langchain框架优化chatglm-6b的输出

前言 在加载了一个胡说八道的chatglm模型后，下一步的工作是优化它的输出。这里通过RAG的流程，将本地的文本库作为llm的参考，优化其输出。 本项目使用langchian框架，实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 -> 在文本向量中匹配出与问句向量最相似的 top k个 -> 匹配...

Posted by Klaus on June 4, 2024

利用免费平台加载chatglm

飞桨AI studio简介以及chatglm的本地部署

前言 chatglm的github项目介绍中，作者建议用16G内存以上的显卡来运行这个项目。由于怕我的小电脑跑报废以及学院的硬盘已经被挤爆了。最终找到了免费的平台来加载chatglm模型。 飞桨AI studio自带两个文件夹(work和data)，存放在work中的文件不会被自动清理（放在外面的文件每次重启后会消失），所以重要文件务必存放在work文件夹中。 关于AI studio的...

Posted by Klaus on May 28, 2024

【TimeXer】论文研读，时序模型

TimeXer——Empowering Transformers for Time Series Forecasting with Exogenous Variables

前言 虽然读研以来一直想做nlp，但由于小导不是这个方向。我们折中了一下选择了时序，最起码还能蹭一蹭Transformer。 论文信息 TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables 来源：arXiv:2402.19072v1 @ TimeXer 模型简介...

Posted by Klaus on May 10, 2024

sql课程笔记 [1]

sql笔记(1 2 3 4章)

一、database的创建、导入、修改 创建数据库 create database create database name ; 查看数据库的定义 show show create database name; 查看所有数据库 show databases; 使用数据库 use use name; 修改数据库的定义（修改默认字符为gbk）al...

Posted by Klaus on March 16, 2024

bert微调

针对文本分类任务的bert微调

前言 这是帮我小导训练的文本分类模型，由于之前都是纸上谈兵所以走了很多弯路。 模型方面最开始用过mlp和lstm。embedding方式自己尝试过one-hot、word2vec、词频统计等。准确率都只有60%左右。 但是最终发现bert-base-chinese这个好东西，准确率90%多（可能有点过拟合）。 还要写的规范一点，写成像论文代码那种。 数据集介绍 ...

Posted by Klaus on November 23, 2023

脚本 & 参数 & shell

argparse & shell 的简单介绍

前言 一种可以在主代码之外设置参数的方法。通过argparse包添加参数，这样就可以在执行代码时不用再去找主代码的参数。后续加上shell可以让命令执行更方便快捷。 argparse使用 导入argparse import argparse 创建对象 parser = argparse.ArgumentParser(description='A simple script wi...

Posted by Klaus on May 24, 2023

FEATURED TAGS
shell 脚本 bert fine-tune 文本分类 sql 笔记 Transformer 时间序列 论文 chatglm 大模型 百度飞桨 langchain RAG Prompt faiss 向量数据库 相似度匹配 conda 虚拟机 环境转移 swift2.5 mindie 大模型微调
ABOUT ME

Goals determine what you going to be!

✉️ irocketboy1999@gmail.com