Fanzhh's Blog
0%

Tiny QA：基于 Ollama 的本地智能知识库问答系统

Posted on Edited on In

Tiny QA 是一个完全本地化的智能文档问答系统，基于 Ollama 本地大语言模型构建。

项目简介

Tiny QA 是一个完全本地化的智能文档问答系统，基于 Ollama 本地大语言模型构建。它能够处理 PDF、Word、Excel、TXT、Markdown 等多种格式的文档，通过向量化技术实现语义搜索，并基于相关文档内容生成准确的回答。

核心特性

  • 🔒 完全本地化：基于 Ollama 本地模型，数据不出本地
  • 📚 多格式支持：PDF、Word、Excel、TXT、Markdown 等5种格式
  • 🤖 智能问答：基于文档内容的语义理解和回答
  • ⚡ 快速部署：支持跨平台，一键启动
  • 🎨 友好界面：现代化的 Web 界面，操作简单

安装前提

在开始使用 Tiny QA 之前，您需要先安装以下三个核心工具：

1. Git 版本控制工具

Git 是一个分布式版本控制系统，用于下载和管理项目代码。

安装方法：

Windows:

1
2
3
4
# 下载并安装 Git for Windows
# 访问: https://git-scm.com/download/win
# 或使用 winget
winget install Git.Git

macOS:

1
2
3
4
5
# 使用 Homebrew 安装
brew install git

# 或使用官方安装包
# 访问: https://git-scm.com/download/mac

Linux (Ubuntu/Debian):

1
2
sudo apt update
sudo apt install git

Linux (CentOS/RHEL):

1
2
3
sudo yum install git
# 或
sudo dnf install git

验证安装：

1
git --version

2. Python 编程语言

Python 是 Tiny QA 的主要开发语言，用于运行 Web 服务和 AI 处理逻辑。

版本要求：

  • Python 3.8+（推荐 Python 3.9 或 3.11）
  • 不支持 Python 2.x

安装方法：

Windows:

1
2
3
4
5
6
7
8
# 下载并安装 Python
# 访问: https://www.python.org/downloads/
# 或使用 winget
winget install Python.Python.3.11

# 验证安装
python --version
pip --version

macOS:

1
2
3
4
5
6
7
8
9
# 使用 Homebrew 安装
brew install python@3.11

# 或使用官方安装包
# 访问: https://www.python.org/downloads/macos/

# 验证安装
python3 --version
pip3 --version

Linux (Ubuntu/Debian):

1
2
3
4
5
6
sudo apt update
sudo apt install python3 python3-pip python3-venv

# 验证安装
python3 --version
pip3 --version

Linux (CentOS/RHEL):

1
2
3
4
5
6
7
sudo yum install python3 python3-pip
# 或
sudo dnf install python3 python3-pip

# 验证安装
python3 --version
pip3 --version

配置 pip 镜像源（可选，国内用户推荐）：

1
2
3
4
5
# 使用清华大学镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

# 或使用阿里云镜像源
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/

3. Ollama 本地大语言模型

Ollama 是一个强大的本地大语言模型运行框架，支持多种开源模型。

简介：

  • 🚀 本地运行：模型完全在本地运行，保护隐私
  • 🎯 多模型支持：支持 Llama、Qwen、DeepSeek 等主流模型
  • 💾 资源友好：支持从 1GB 到 70GB 的各种模型
  • 🔧 易于使用：简单的命令行界面和 API

安装方法：

Windows:

1
2
3
4
# 下载并安装 Ollama
# 访问: https://ollama.ai/download
# 或使用 winget
winget install Ollama.Ollama

macOS:

1
2
3
4
5
# 使用 Homebrew 安装
brew install ollama

# 或使用官方安装脚本
curl -fsSL https://ollama.ai/install.sh | sh

Linux:

1
2
# 使用官方安装脚本
curl -fsSL https://ollama.ai/install.sh | sh

验证安装：

1
ollama --version

启动 Ollama 服务：

1
ollama serve

下载模型（可选）：

1
2
3
4
5
6
# 下载推荐的对话模型
ollama pull deepseek-r1:1.5b

# 或下载其他模型
ollama pull qwen3:4b
ollama pull llama3:latest

快速安装

本地安装

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 1. 克隆项目
git clone https://gitee.com/hu9001/tiny-qa.git
cd tiny-qa

# 2. 创建 Python 虚拟环境
python -m venv env
source env/bin/activate  # Linux/macOS
# env\Scripts\activate   # Windows

# 3. 安装 Python 依赖
pip install -r requirements.txt

# 4. 启动服务
ollama serve &
python app.py

使用方法

1. 首次配置

  1. 访问 http://localhost:5002
  2. 在设置页面配置文档目录路径
  3. 扫描并处理文档
  4. 开始智能问答

2. 智能问答

  • 在问答页面输入自然语言问题
  • 系统基于相关文档生成准确回答
  • 可查看回答的文档来源

3. 文档管理

  • 支持批量处理大量文档
  • 实时监控处理进度
  • 可重新处理单个或所有文档

4. 支持的文档格式

格式 扩展名 说明 处理器
PDF 文档 .pdf 技术手册、研究报告 PDFProcessor
Word 文档 .docx 合同文件、技术文档 WordProcessor
Excel 表格 .xlsx 数据报表、统计信息 ExcelProcessor
文本文件 .txt 配置文件、日志文件 TextProcessor
Markdown .md 技术文档、学习笔记 MarkdownProcessor

技术架构

1
2
3
4
文档处理 → 向量搜索 → AI 问答
   ↓         ↓         ↓
PDF/Word/Excel → 语义向量 → Ollama模型
TXT/Markdown → 相似度搜索 → 智能回答

支持的模型

模型 大小 语言 用途
deepseek-r1:1.5b 1.1GB 中英文 快速问答
qwen3:4b 2.6GB 中文友好 中文文档
llama3:latest 4.7GB 多语言 高质量回答

系统要求

最低配置

  • 操作系统：Windows 10+、macOS 10.15+、Ubuntu 18.04+
  • 内存：至少 8GB RAM
  • 存储：至少 5GB 可用空间
  • 网络：首次使用需要下载模型

推荐配置

  • 操作系统：Windows 11、macOS 12+、Ubuntu 20.04+
  • 内存：16GB RAM 或更多
  • 存储：20GB 可用空间（用于存储多个模型）
  • CPU：支持 AVX2 指令集的现代处理器
  • GPU：可选，支持 CUDA 的 NVIDIA 显卡可加速推理

网络要求

  • 首次安装：需要稳定的网络连接下载模型
  • 日常使用：完全离线运行，无需网络连接

常见问题

Q: 首次启动很慢？
A: 系统需要下载 AI 模型，首次启动会较慢。建议提前下载模型：ollama pull deepseek-r1:1.5b

Q: 数据安全吗？
A: 完全本地化部署，数据不会上传到任何服务器。

Q: 支持哪些语言？
A: 支持中文、英文等多种语言，取决于选择的模型。

Q: Git 安装失败怎么办？
A: 确保网络连接正常，或访问 https://git-scm.com/downloads 手动下载安装包。

Q: Python 版本不兼容？
A: 确保安装 Python 3.8+ 版本，推荐使用 Python 3.9 或 3.11。

Q: pip 安装包很慢？
A: 配置国内镜像源：pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple/

Q: Ollama 服务启动失败？
A: 检查端口 11434 是否被占用，或重启 Ollama 服务：ollama serve

Q: 模型下载很慢？
A: 可以使用国内镜像源，或选择较小的模型如 deepseek-r1:1.5b（约1GB）。

Q: 内存不足怎么办？
A: 选择较小的模型，或增加系统内存。推荐至少 8GB RAM。

项目地址

总结

Tiny QA 为个人和企业提供了一个安全、高效的本地知识管理解决方案。通过结合现代 AI 技术和向量搜索，它能够快速处理大量文档并提供智能问答服务，是构建个人知识库的理想工具。

如果您对本地化 AI 应用感兴趣，Tiny QA 是一个很好的起点。