Lychee-Rerank快速部署云服务器阿里云/腾讯云GPU实例初始化脚本1. 项目简介Lychee-Rerank是一个专门用于文档相关性评分的本地工具它能帮你快速判断哪些文档与你的查询最相关。想象一下你有一堆文档想知道哪些和你的问题最匹配——这个工具就是干这个的。它基于Qwen2.5-1.5B模型开发完全在本地运行不需要联网不会泄露你的数据。你输入查询语句和候选文档它就能给出每个文档的相关性分数还用了彩色进度条直观展示结果。核心特点纯本地运行数据不上传隐私有保障批量处理一次性可以处理多个文档可视化结果用颜色和进度条直观展示相关性无使用限制想用多少次就用多少次2. 环境准备2.1 云服务器选择首先需要准备一台GPU云服务器推荐选择阿里云选项GPU实例规格ecs.gn6i-c4g1.xlarge性价比高镜像Ubuntu 20.04或22.04 LTS区域根据你的位置选择最近的区域腾讯云选项GPU实例规格GN7.2XLARGE32镜像Ubuntu 20.04 LTS区域选择离你最近的可用区配置建议至少4核CPU16GB以上内存50GB以上系统盘必须有NVIDIA GPU建议RTX 3090或同等级2.2 系统初始化购买服务器后首先进行系统初始化# 更新系统包 sudo apt update sudo apt upgrade -y # 安装基础工具 sudo apt install -y wget curl git vim python3 python3-pip python3-venv # 创建项目目录 mkdir -p ~/lychee-rerank cd ~/lychee-rerank3. GPU环境配置3.1 NVIDIA驱动安装# 添加GPU驱动源 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装推荐版本的驱动 sudo ubuntu-drivers autoinstall # 重启使驱动生效 sudo reboot重启后验证驱动安装# 检查驱动版本 nvidia-smi # 应该能看到GPU信息和驱动版本3.2 CUDA和cuDNN安装# 安装CUDA Toolkit wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run sudo sh cuda_11.8.0_520.61.05_linux.run # 设置环境变量 echo export PATH/usr/local/cuda/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc # 验证CUDA安装 nvcc --version3.3 Python环境配置# 创建虚拟环境 python3 -m venv lychee-env source lychee-env/bin/activate # 安装PyTorch with CUDA支持 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装其他依赖 pip install transformers streamlit sentencepiece protobuf4. 项目部署4.1 下载项目文件# 克隆项目这里用示例仓库实际请替换为真实仓库 git clone https://github.com/example/lychee-rerank.git cd lychee-rerank # 或者手动下载并解压 wget https://example.com/lychee-rerank.zip unzip lychee-rerank.zip4.2 模型下载和配置# 下载Qwen2.5-1.5B模型 # 注意请确保从官方渠道获取模型权重 # 这里以HuggingFace为例需要先安装git-lfs sudo apt install git-lfs git lfs install git clone https://huggingface.co/Qwen/Qwen2.5-1.5B # 或者使用transformers自动下载 from transformers import AutoModel, AutoTokenizer model AutoModel.from_pretrained(Qwen/Qwen2.5-1.5B) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2.5-1.5B)4.3 启动脚本配置创建启动脚本start.sh#!/bin/bash # 激活虚拟环境 source ~/lychee-env/bin/activate # 启动Streamlit应用 cd ~/lychee-rerank streamlit run app.py --server.port 8501 --server.address 0.0.0.0给脚本执行权限chmod x start.sh5. 防火墙和安全配置5.1 开放端口# 开放8501端口Streamlit默认端口 sudo ufw allow 8501 sudo ufw enable # 如果是阿里云/腾讯云还需要在控制台安全组中开放端口5.2 配置反向代理可选但推荐安装并配置Nginxsudo apt install nginx -y # 创建Nginx配置 sudo nano /etc/nginx/sites-available/lychee-rerank添加以下配置server { listen 80; server_name your-domain.com; # 替换为你的域名或IP location / { proxy_pass http://localhost:8501; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; proxy_set_header Host $host; proxy_cache_bypass $http_upgrade; } }启用配置并重启Nginxsudo ln -s /etc/nginx/sites-available/lychee-rerank /etc/nginx/sites-enabled/ sudo nginx -t sudo systemctl restart nginx6. 启动和使用6.1 启动服务# 直接启动 ./start.sh # 或者使用nohup在后台运行 nohup ./start.sh lychee.log 21 # 查看运行状态 tail -f lychee.log启动成功后你会看到类似这样的输出You can now view your Streamlit app in your browser. Local URL: http://localhost:8501 Network URL: http://your-server-ip:85016.2 访问应用在浏览器中输入你的服务器IP和端口http://你的服务器IP:8501或者如果你配置了域名http://你的域名6.3 基本使用教程打开页面后你会看到三个主要输入区域指令设置这里可以自定义评分规则默认是基于查询检索相关文档查询输入输入你要查询的问题比如What is machine learning?候选文档每行输入一个文档系统会逐个计算相关性操作步骤保持指令为默认或根据需要修改在查询框中输入你的问题在文档框中输入要匹配的文档每行一个点击计算相关性分数按钮等待处理完成查看右侧结果结果解读绿色进度条分数0.8高度相关橙色进度条分数0.4-0.8中等相关红色进度条分数0.4低度相关结果按分数从高到低排列方便你快速找到最相关的文档7. 常见问题解决7.1 GPU内存不足如果遇到GPU内存错误可以尝试# 在代码中添加这些参数减少内存使用 model AutoModel.from_pretrained( Qwen/Qwen2.5-1.5B, torch_dtypetorch.float16, # 使用半精度 device_mapauto, low_cpu_mem_usageTrue )7.2 端口被占用如果8501端口被占用可以更改端口# 修改启动脚本中的端口号 streamlit run app.py --server.port 8502 --server.address 0.0.0.07.3 模型下载失败如果自动下载失败可以手动下载# 使用wget下载 wget -O model.zip https://huggingface.co/Qwen/Qwen2.5-1.5B/resolve/main/pytorch_model.bin # 或者使用git lfs GIT_LFS_SKIP_SMUDGE1 git clone https://huggingface.co/Qwen/Qwen2.5-1.5B cd Qwen2.5-1.5B git lfs pull8. 性能优化建议8.1 批量处理优化如果需要处理大量文档建议# 分批处理避免内存溢出 batch_size 10 # 根据GPU内存调整 for i in range(0, len(documents), batch_size): batch_docs documents[i:ibatch_size] scores calculate_scores(query, batch_docs)8.2 持久化服务创建系统服务确保自动重启# 创建systemd服务 sudo nano /etc/systemd/system/lychee.service添加以下内容[Unit] DescriptionLychee Rerank Service Afternetwork.target [Service] Userubuntu WorkingDirectory/home/ubuntu/lychee-rerank ExecStart/home/ubuntu/lychee-env/bin/streamlit run app.py --server.port 8501 --server.address 0.0.0.0 Restartalways [Install] WantedBymulti-user.target启用并启动服务sudo systemctl enable lychee.service sudo systemctl start lychee.service sudo systemctl status lychee.service9. 总结通过本文的步骤你应该已经成功在云服务器上部署了Lychee-Rerank相关性评分工具。这个工具特别适合需要处理大量文档检索场景的用户比如知识库搜索、文档分类、内容推荐等场景。关键优势完全本地运行保障数据安全可视化界面结果一目了然支持批量处理提高效率无使用限制随时可用后续建议定期更新模型和依赖包监控GPU内存使用情况根据实际需求调整批量处理大小考虑添加用户认证增强安全性现在你可以开始使用这个强大的工具来提升你的文档处理效率了获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。