Algo-AI AIブログ

大規模言語モデルのための量子化手法：Mistral 7B での比較分析

大規模言語モデル (LLM) をより効率的に利用するために、量子化手法を用いることが有効です。量子化とは、モデルの重みと活性化関数の値を、より小さいデータ型に変換することで、メモリ使用量を減らし、処理速度を向上させる手法です。本ブログでは、Mistral 7B に対する3つの量子化手法 (GGUF、GPTQ、AWQ) を比較分析し、それぞれの利点と欠点、最適な選択方法を解説します。

1. はじめに

量子化とは？なぜLLMにとって重要なのか？

量子化とは、大規模言語モデル (LLM) の重みと活性化関数の値を、より小さいデータ型に変換することで、メモリ使用量を減らし、処理速度を向上させる手法です。LLMは、膨大な量のデータで学習されるため、モデルサイズが非常に大きくなり、メモリ使用量や処理時間が課題となります。量子化は、これらの課題を解決し、LLMをより効率的に利用するための重要な技術です。

3つの量子化手法：GGUF、GPTQ、AWQ

本ブログで取り上げる3つの量子化手法は以下の通りです。

• GGUF (GPT-Generated Unified Format)：CPUやAppleデバイスに最適化された量子化手法です。
• GPTQ (Generalized Post-Training Quantization)：GPU推論に最適化された量子化手法です。
• AWQ (Activation-Aware Weight Quantization)：高精度な量子化を実現するための手法です。

2. GGUF (GPT-Generated Unified Format)

GGUFは、llama.cppチームによって開発された量子化手法です。GGUFは、CPUでLLMを実行することを可能にする一方で、一部のレイヤーをGPUにオフロードすることで、処理速度を向上させることができます。特に、CPUやAppleデバイスでLLMを実行する場合に適しています。

GGUFは、GGMLの後継として開発されました。GGUFは、モデルの読み込みと保存を高速化し、モデルファイルの取り扱いをユーザーフレンドリーにしました。

GPTQとAWQとの比較

• GGUFは、CPUやApple Mシリーズデバイスに焦点を当てており、GPUにレイヤーをオフロードすることで速度を向上させる柔軟性を提供します。
• GGUFは、GGMLからの進化であり、効率性とユーザーフレンドリーさが向上しています。
• GGUFには、GPTQやAWQとは異なる独自のファイル形式と、llama.cppのサポートがあります。

3. GPTQ (Generalized Post-Training Quantization)

GPTQは、Frantarらによって2023年に開発された、一括量子化手法です。GPTQは、近似2次情報を利用することで、非常に正確で効率的な量子化を実現します。GPTQは、大規模モデル（例：GPTモデルの1750億パラメータ）の圧縮と性能向上に適しています。GPTQは、主にGPU推論と性能向上に焦点を当てています。GPTQは、大幅なパフォーマンス低下なしに、8ビット、4ビット、3ビット、さらには2ビットへの量子化をサポートしており、推論速度が向上します。GPTQは、NVIDIA TensorRT-LLM、FastChat、vLLM、HuggingFace TGI、LMDeployなど、さまざまなプラットフォームに統合されています。

GGUFとAWQとの比較

• GPTQは、GPU推論と量子化レベルの柔軟性に焦点を当てています。
• GPTQは、さまざまな量子化ビットレベルをサポートし、ほとんどのGPUハードウェアと互換性があります。
• GPTQは、圧縮と推論速度のバランスを目指しています。

4. AWQ (Activation-Aware Weight Quantization)

AWQは、MIT-HANラボによって開発された、活性化関数に依存する量子化手法です。AWQは、重み自体ではなく、活性化関数の値を観察することで、重要な重みを保護します。AWQは、特にインストラクションチューニングされたLLMやマルチモーダルLLMにおいて、優れた量子化性能を発揮します。AWQは、モデルの配信に必要なGPUメモリを削減し、トークン生成を高速化します。AWQは、NVIDIA TensorRT-LLM、FastChat、vLLM、HuggingFace TGI、LMDeployなど、さまざまなプラットフォームに統合されています。

GGUFとGPTQとの比較

• AWQは、活性化関数を利用して重みの量子化を行う、活性化関数に依存する手法です。
• AWQは、インストラクションチューニングされたLLMやマルチモーダルLLMにおいて、量子化性能に優れています。
• AWQは、リソースの限られたエッジプラットフォームへの効率的な展開のためのターンキーソリューションを提供します。

5. 量子化手法の実装：Hugging Face Transformers、llama.cpp、vLLM

これらの量子化手法は、それぞれ異なるライブラリによって実装されています。ここでは、各手法をどのように実装するかについて説明します。

Hugging Face Transformers

Hugging Face Transformersは、LLMの処理を行うための、最も一般的なライブラリです。Transformersを用いて、量子化されていないLLMをロードするコード例は以下の通りです。

1
2
3
4
5
6
7
8
9
10
from torch import bfloat16
from transformers import pipeline

# 量子化されていないLLMをロード
pipe = pipeline(
    "text-generation",
    model="mistralai/Mixtral-8x7B-Instruct-v0.1",
    torch_dtype=bfloat16,
    device_map="auto"
)

llama.cpp

llama.cppは、CPUでLLMを実行するためのライブラリです。llama.cppでは、GGUF形式で量子化されたLLMをロードすることができます。以下のコード例は、Q4_K_Mで量子化されたMistral 7BのGGUFモデルをロードする方法を示しています。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from ctransformers import AutoModelForCausalLM
from transformers import AutoTokenizer, pipeline

# GGUFモデルをロード
model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/Mistral-7B-Instruct-v0.1-GGUF",
    model_file="mistral-7b-instruct-v0.1.Q4_K_M.gguf",
    model_type="mistral", gpu_layers=50, hf=True
)
tokenizer = AutoTokenizer.from_pretrained(
    "mistralai/Mixtral-8x7B-Instruct-v0.1", use_fast=True, padding_side='left'
)

# パイプラインを作成
pipe = pipeline(model=model, tokenizer=tokenizer, task='text-generation')

vLLM

vLLMは、GPUでLLMを実行するためのライブラリです。vLLMでは、AWQ形式で量子化されたLLMをロードすることができます。以下のコード例は、awqで量子化されたMistral 7Bモデルをロードする方法を示しています。

1
2
3
4
5
6
7
8
9
10
11
from vllm import LLM, SamplingParams

# AWQモデルをロード
sampling_params = SamplingParams(temperature=0.0, top_p=1.0, max_tokens=256)
llm = LLM(
    model="TheBloke/Mistral-7B-Instruct-v0.1-AWQ",
    quantization='awq',
    dtype='half',
    gpu_memory_utilization=.95,
    max_model_len=4096
)

6. まとめ

本ブログでは、Mistral 7Bに対する3つの量子化手法 (GGUF、GPTQ、AWQ) を比較分析しました。それぞれの利点と欠点をまとめると、以下のようになります。

量子化手法の選択は、使用するハードウェア、モデルサイズ、必要な精度によって異なります。

• CPUやAppleデバイスを使用する場合は、GGUFが適しています。
• GPUを使用し、速度と精度を重視する場合は、GPTQが適しています。
• メモリ使用量を抑えたい場合は、AWQが適しています。

7. 考察

量子化手法は、LLMのメモリ使用量と処理速度のトレードオフ関係を調整するための、強力なツールです。しかし、どの手法が最適かは、ユースケースやリソースの制約によって異なります。

• モデルのサイズを小さくしたい場合は、GPTQやAWQが適しています。
• モデルの速度を向上させたい場合は、GPTQが適しています。
• CPUでモデルを実行する必要がある場合は、GGUFが適しています。

量子化手法は、LLMの効率性を向上させるための、非常に有益な技術です。適切な量子化手法を選択することで、LLMをより効果的に利用することができます。

8. 行動喚起

量子化の可能性を探求し、E2E Cloudでこれらの手法を試してみましょう。E2E Cloudは、強力なNVIDIA L4 GPUを搭載した、量子化手法の実装と最適化に最適なプラットフォームです。E2E Cloudでは、さまざまな量子化手法を柔軟に試すことができます。

27 Aug 2024

• AI

« 大規模言語モデルの微調整 LoRA vs. QLoRA 大規模言語モデルの量子化 GPTQ、AWQ、GGUF を比較する »