# llama-launcher

**Repository Path**: stringlist/llama-launcher

## Basic Information

- **Project Name**: llama-launcher
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-09-01
- **Last Updated**: 2026-09-03

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# llama.cpp 启动器 GUI

一个基于 tkinter 的 Windows 图形界面，用于配置和启动 llama.cpp，以及下载 / 转换 / 量化 GGUF 模型。

> 本项目原始位置：`G:\ollama\llama-b9292-bin-win-cuda-13.1-x64\`
> 如果找不到本地文件了，直接重新克隆本仓库即可。

## 快速开始

```bash
git clone https://gitee.com/stringlist/llama-launcher.git
cd llama-launcher
python llama_launcher.py        # 或双击 启动llama.bat
```

### 依赖

- Python 3.10+（仅用标准库即可启动；tkinter 随 Python 自带）
- 可选：`pip install huggingface_hub`（用于下载模型）

### 廱形界面说明

| 功能 | 说明 |
|------|------|
| 模型启动 | 支持 server（API + 网页）、cli、多模态三种模式，可调 -ngl / -t / -c |
| 禁用思考 | 服务器模式下勾选「禁用模型思考」，启动时附加 `--reasoning-budget 0` |
| 下载与转换 | 从 HuggingFace 下载模型 → 转成 GGUF → 量化（Q4_K_M 推荐） |

### 目录结构（运行时自动创建）

```
根目录/
├── llama_launcher.py    ← 主程序
├── 启动llama.bat        ← Windows 一键启动
├── models/              ← GGUF 模型（按子文件夹组织）
├── download/            ← HuggingFace 下载的原始文件
└── llama.cpp/           ← 源码（用于 convert_hf_to_gguf.py）
```

### 注意

- 仓库只包含脚本，**不包含** llama.cpp 的 exe/dll（约几百 MB）和模型文件。
  exe 请从 [llama.cpp Releases](https://github.com/ggml-org/llama.cpp/releases) 下载
  （如 `llama-bXXXX-bin-win-cuda-x64.zip`），解压到与本脚本同一目录即可。
- HuggingFace 令牌可写在同目录 `token.txt`（勿提交）。