Tencent LLaMA Pro

latestinstructtext8b-instruct-q4_08b-instruct-q4_18b-instruct-q5_08b-instruct-q5_18b-instruct-q8_08b-instruct-q2_K8b-instruct-q3_K_S8b-instruct-q3_K_M8b-instruct-q3_K_L8b-instruct-q4_K_S8b-instruct-q4_K_M8b-instruct-q5_K_S8b-instruct-q5_K_M8b-instruct-q6_K8b-instruct-fp168b-text-q4_08b-text-q4_18b-text-q5_08b-text-q5_18b-text-q8_08b-text-q2_K8b-text-q3_K_S8b-text-q3_K_M8b-text-q3_K_L8b-text-q4_K_S8b-text-q4_K_M8b-text-q5_K_S8b-text-q5_K_M8b-text-q6_K8b-text-fp16

• 拉取模型

  ollama run llama-pro
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	fc5c0d744444 · 4.7GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:instruct
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	fc5c0d744444 · 4.7GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:text
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	37a8c2df2159 · 4.7GB

• 拉取模型

  ollama run llama-pro:8b-instruct-q4_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	fc5c0d744444 · 4.7GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q4_1
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	2c59213d1ec9 · 5.3GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q5_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	26e8677969ff · 5.8GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q5_1
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	8fbd7f2ef127 · 6.3GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q8_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 8-bit	d968aafc79e7 · 8.9GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q2_K
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 2-bit	24ca2680af67 · 3.5GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q3_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	0269187072dd · 3.6GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q3_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	147024ec7610 · 4.1GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q3_K_L
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	7c638269f710 · 4.5GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q4_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	0ed36f6dfb91 · 4.8GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q4_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	072859d9f324 · 5.1GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q5_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	afbe4eee1009 · 5.8GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q5_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	d18736b3cdd5 · 5.9GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-q6_K
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 6-bit	7df5d721dbc0 · 6.9GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-instruct-fp16
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization F16	df774285c05f · 17GB
  params	{"stop":["<|system|>","<|user|>","<|assistant|>"]}	81B
  template	<|system|> {{ .System }} <|user|> {{ .Prompt }} <|assistant|>	62B

• 拉取模型

  ollama run llama-pro:8b-text-q4_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	37a8c2df2159 · 4.7GB

• 拉取模型

  ollama run llama-pro:8b-text-q4_1
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	35bd6f694acb · 5.3GB

• 拉取模型

  ollama run llama-pro:8b-text-q5_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	15000cc2d299 · 5.8GB

• 拉取模型

  ollama run llama-pro:8b-text-q5_1
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	5395c603b159 · 6.3GB

• 拉取模型

  ollama run llama-pro:8b-text-q8_0
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 8-bit	69c9ae3d927b · 8.9GB

• 拉取模型

  ollama run llama-pro:8b-text-q2_K
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 2-bit	2ed5b17591cc · 3.5GB

• 拉取模型

  ollama run llama-pro:8b-text-q3_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	ebda8f31804a · 3.6GB

• 拉取模型

  ollama run llama-pro:8b-text-q3_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	3c9f65d0a7e6 · 4.1GB

• 拉取模型

  ollama run llama-pro:8b-text-q3_K_L
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 3-bit	f07e73f68fc8 · 4.5GB

• 拉取模型

  ollama run llama-pro:8b-text-q4_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	a73903f963eb · 4.8GB

• 拉取模型

  ollama run llama-pro:8b-text-q4_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 4-bit	5178b12d303b · 5.1GB

• 拉取模型

  ollama run llama-pro:8b-text-q5_K_S
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	96d47e3e009f · 5.8GB

• 拉取模型

  ollama run llama-pro:8b-text-q5_K_M
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 5-bit	36d45bb71a26 · 5.9GB

• 拉取模型

  ollama run llama-pro:8b-text-q6_K
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization 6-bit	7d3cb1a24c98 · 6.9GB

• 拉取模型

  ollama run llama-pro:8b-text-fp16
  

• 模型信息 (model)

  Manifest	Info	Size
  model	arch llama parameters 8B quantization F16	9b790fecf7f8 · 17GB

模型详情

LLaMA-Pro 是原始 LLaMA 模型的进阶版本，增加了 Transformer 模块。它专门集成了通用语言理解和特定领域知识，尤其是在编程和数学方面。

开发与训练

由腾讯 ARC 实验室开发的 LLaMA-Pro 是一个具有 83 亿参数的模型。它是 LLaMA2-7B 的扩展，额外在包含 800 亿令牌的代码和数学语料上进行了训练。

预期用途

该模型设计用于广泛的自然语言处理任务，专注于编程、数学和通用语言任务。适合需要融合自然语言和编程语言的场景。

性能

LLaMA-Pro 在各种基准测试中展示了先进的性能。它在处理多样化任务方面超越了 LLaMA 系列中现有的模型，展示了其作为智能语言代理的能力。

在语言、数学和代码任务上的整体性能

模型	ARC	Hellaswag	MMLU	TruthfulQA	Winogrande	GSM8K	GSM8K-PoT	HumanEval	MBPP	平均
LLAMA PRO (8B)	54.10	77.94	47.88	39.04	73.95	17.89	25.42	28.66	33.20	44.2
LLaMA2-7B	53.07	78.59	46.87	38.76	74.03	14.48	17.68	13.05	20.09	39.62
CodeLLaMA-7B	39.93	60.80	31.12	37.82	64.01	5.16	25.20	33.50	41.40	37.66
LLAMA PRO-INSTRUCT	52.30	76.88	52.57	48.80	72.53	43.59	55.61	44.51	37.88	53.8

在 GPT4 评估的性能

模型	MT Bench
Alpaca-13B	4.53
CodeLLaMA-7B-Instruct	5.71
Vicuna-7B	6.17
LLaMA2-7B-Chat	6.27
LLAMA PRO-INSTRUCT	6.32

局限性

尽管 LLaMA-Pro 解决了系列中先前模型的一些限制，但它可能仍然会遇到特定于高度专业化领域或任务的挑战。

伦理考虑

用户应该意识到模型可能存在的偏见，并负责任地使用它，考虑其对各种应用的影响。