基于 InternVL 的智能图片搜索系统

[li-xiu-qi]

SmartImageFinder

一个基于多模态向量模型及视觉多模态模型构建的智能图片搜索引擎和管理系统，实现精准的以文搜图、以图搜图等多种智能检索方式，并提供完整的图片管理解决方案。

功能特点

智能搜索

• 语义化文本搜索：支持模糊匹配、向量搜索和混合搜索模式
• 以图搜图：基于图像特征向量的相似图片搜索
• 多维度过滤：按标签、日期和元数据属性进行精细化筛选

图片管理

• 批量上传：支持多图片同时上传
• 智能标注：自动生成图片标题、描述和标签
• 元数据管理：存储和编辑图片的详细元数据
• 标签系统：灵活的标签管理和分类

多模态AI分析

• 图像内容理解：使用视觉多模态模型分析图像内容
• 自动标签生成：基于图像内容智能推荐标签
• 向量索引：维护高效的图像和文本向量索引

用户界面

• 响应式设计：适配不同设备的界面
• 直观操作：拖放上传、预览和编辑
• 批量操作：支持图片批量处理功能
• 系统设置：可配置缓存、API和存储选项

使用场景

• 个人照片管理和搜索
• 设计资源库和素材管理
• 产品图库和电商图片管理
• 科研图像数据集整理与检索
• 任何需要智能图像搜索的应用场景

技术架构

后端

• 框架：FastAPI (Python 3.10+)
• 数据存储：
  • SQLite：存储图片元数据和标签
  • FAISS：高性能向量索引与检索
• 向量模型：Jina CLIP V2
• 多模态内容生成：Qwen/Qwen2.5-VL-32B-Instruct/InternVL
• 缓存机制：向量缓存提高重复查询效率
  (后续会改造成基于duckdb构建，而不是分成faiss和sqlite)

前端

• 框架：React 18 + TypeScript
• UI组件库：Ant Design 5
• 构建工具：Vite
• 状态管理：React Hooks
• 路由：React Router 6

核心功能展示

图片上传

图片编辑

图像搜索

快速开始

环境要求

• Python 3.10+
• Node.js 16+
• 足够的磁盘空间用于存储图片和向量索引

后端设置

1. 克隆仓库:

git clone https://github.com/li-xiu-qi/SmartImageFinder.git
cd SmartImageFinder

2. 安装依赖:

pip install -r requirements.txt

3. 配置系统:

# 复制默认配置
cp backend/config/config.example.yaml backend/config/config.yaml
# 根据需要编辑配置文件

4. 启动后端服务:

python main.py

服务将在 http://localhost:1000 上运行，API文档可在 http://localhost:1000/docs 上查看。

前端设置

1. 安装依赖:

cd frontend
npm install

2. 启动开发服务器:

npm run dev

前端将在 http://localhost:5173 上运行。

系统配置

前端配置

修改前端API请求地址在 vite.config.ts 文件中:

后端配置

系统核心配置在 backend/config.py 和配置文件中:

系统架构

数据流程

1. 图片上传 → 保存到文件系统
2. 提取图片向量 → 存入FAISS索引
3. 图片元数据和标签 → 存入SQLite数据库
4. 搜索请求 → 向量检索 + 数据库过滤 → 返回结果