DeepSeek-Coder-V2-Lite-Instruct

更新

コード生成

推論

ツール利用

実行する

DeepSeek AIが開発した16BのMixture-of-Expertsコードモデルです。有効パラメータ数は2.4B、コンテキスト長は128Kで、338のプログラミング言語に対応しています。

基本情報

ライセンス: DeepSeek Model License、商用利用可
パラメータ数: 総数16B、有効2.4B（MoE）
コンテキスト長: 128Kトークン
モダリティ: テキスト入力、テキスト出力
最小ハードウェア要件: IQ2_M GGUF（6.33 GB）使用時にメモリ8 GB

DeepSeek-Coder-V2-Lite-Instructとは？

DeepSeek-Coder-V2-Lite-Instructは、DeepSeek AIが開発した16BのMixture-of-Expertsコードモデルです。DeepSeek-Coder-V2で公開された2つのサイズのうち小さい方で、トークンごとに2.4Bのパラメータが有効になります。DeepSeekは、DeepSeek-V2の中間チェックポイントから、追加の6兆トークンを用いて継続事前学習を行い、このモデルを開発しました。この学習はコーディングと数学的推論を目的としたもので、DeepSeekによると、汎用的な言語性能はDeepSeek-V2と同等に維持されたとされています。従来のDeepSeek-Coder-33Bと比べて、V2ファミリーでは対応するプログラミング言語が86から338に増え、コンテキスト長が16Kから128Kトークンに拡張されています。DeepSeek-Coder-V2をBF16で実行するには80 GB GPUが8基必要で、DeepSeekがローカル実行の例を示しているのはLiteサイズです。重みは2024年6月14日にHugging Faceで公開され、商用利用を認めるDeepSeek Model Licenseが適用されています。

仕様	DeepSeek-Coder-V2-Lite-Instruct
総パラメータ数	16B
有効パラメータ数	トークンごとに2.4B
アーキテクチャ	Mixture-of-Experts（DeepSeekMoEフレームワーク）
コンテキスト長	128Kトークン
プログラミング言語	338
モダリティ	テキスト
チャット形式	UserとAssistantのテンプレート、任意のシステムメッセージ
公開日	2024年6月14日
ライセンス	DeepSeek Model License、コードはMIT

DeepSeek-Coder-V2-Lite-Instructの得意分野

DeepSeekは、Coder-V2を、コード分野でクローズドモデルとの差を縮めるオープンモデルと位置づけています。モデルカードでは、コードに特化したタスクでGPT-4 Turboに匹敵する性能があると主張しています。また、標準的なベンチマーク評価では、DeepSeek-Coder-V2がコーディングと数学のベンチマークでGPT-4 Turbo、Claude 3 Opus、Gemini 1.5 Proなどのクローズドソースモデルを上回るとしています。これらの主張は、DeepSeek-Coder-V2というリリース全体について述べたもので、モデルカードにはサイズ別のスコアは掲載されていません。また、継続事前学習によって、コード関連タスク、推論、汎用能力の各分野でDeepSeek-Coder-33Bから大きく改善したとしています。

Lite Instructチェックポイントに限ると、モデルカード自体に掲載されている使用例はチャット補完です。メッセージはtokenizer_config.jsonに含まれるチャットテンプレートを通して処理されます。このテンプレートは、通常の表記ではUserとAssistantの会話記録を文の開始・終了トークンで囲んだ形式で、先頭には任意でシステムメッセージを置けます。同じモデルカードにあるコード補完とコード挿入の例で読み込んでいるのは、InstructではなくDeepSeek-Coder-V2-Lite-Baseです。DeepSeekは、モデルをサービングする方法を2つ示しています。直接利用できるとしているHugging Face Transformersと、推奨としているvLLMです。vLLMを使うには、まずプルリクエスト4650を手元のvLLMコードベースにマージする必要があります。

DeepSeek-Coder-V2-Lite-Instructのハードウェア要件

システム要件で確認すべき点はメモリです。DeepSeekは公式のGGUFリポジトリを提供していないため、以下のサイズにはコミュニティビルドのbartowski/DeepSeek-Coder-V2-Lite-Instruct-GGUFの実際のファイルサイズを使用しています。

メモリ	選ぶビルド	ファイルサイズ
8 GB	IQ2_M	6.33 GB
12 GB	IQ4_XS	8.57 GB
16 GB	Q5_K_M	11.85 GB
24 GB以上	Q8_0	16.70 GB

サイズが隣り合うビルドの差は1 GBか2 GB程度なので、両方ともメモリに収まる場合は大きい方を選んでください。この形式を初めて使う方は、まずGGUFとは何かをご覧ください。

Atomic ChatでDeepSeek-Coder-V2-Lite-Instructを実行する方法

Atomic Chatは、macOS、Windows、Linuxに対応した無料のローカルアプリです。Hugging Faceのモデルブラウザーとチャット機能を内蔵しており、llama.cppを手動でビルドする必要はありません。

お使いのプラットフォーム向けのAtomic Chatをダウンロードして起動します。
モデルブラウザーでDeepSeek-Coder-V2-Lite-Instructを検索し、Download Optionsを開きます。
お使いのメモリ容量に収まるビルドを選び、チャットを始めます。

同じファミリーのほかのモデルについては、ローカルで実行できるDeepSeekモデルの一覧をご覧ください。また、必要なリソース量が同程度の、より新しいMoEコードモデルであるQwen3-Coder-30B-A3B-Instructと比較することもできます。

DeepSeek-Coder-V2-Lite-Instructのライセンス

コードリポジトリにはMITライセンスが適用され、DeepSeek-Coder-V2のBaseモデルとInstructモデルの利用にはDeepSeek Model Licenseが適用されます。DeepSeekは、BaseとInstructを含むCoder-V2シリーズ全体で商用利用が認められると明記しているため、このモデルを利用した製品を提供できます。正確な条件はモデルライセンスの本文を確認してください。

Hugging Faceからモデルをダウンロード

pip install -U transformers
huggingface-cli download deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct",
    "messages": [{"role": "user", "content": "Write a quicksort in Python."}]
  }'

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True)
messages = [{"role": "user", "content": "Write a quicksort in Python."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
out = model.generate(inputs, max_new_tokens=512, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(out[0][len(inputs[0]):], skip_special_tokens=True))

import OpenAI from "openai";
const client = new OpenAI({ baseURL: "http://localhost:8000/v1", apiKey: "not-needed" });
const res = await client.chat.completions.create({
  model: "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct",
  messages: [{ role: "user", content: "Write a quicksort in Python." }],
});
console.log(res.choices[0].message.content);

デスクトップ

macOS

(Intel・Apple Silicon)

ダウンロード

Windows

(x64)

ダウンロード

Linux

(x86_64)

ダウンロード

よくある質問

DeepSeek-Coder-V2-Lite-Instructは、DeepSeek AIが開発したオープンソースのコード言語モデルです。Mixture-of-Experts（MoE）設計を採用しており、総パラメータ数は16Bですが、トークンごとに有効になるのは2.4Bのみです。DeepSeek-V2を基に、追加の6兆トークンを用いて継続事前学習が行われました。Instruct版はチャット形式でのコーディング支援向けに調整されており、128Kのコンテキスト長に対応しています。

16Bのパラメータのうち、トークンごとに有効になるのは2.4Bのみなので、Liteモデルはそのサイズから想像するよりもはるかに軽く動作します。BF16では約32 GBのメモリが必要ですが、4ビットのGGUF量子化版なら約10-12 GBまで減るため、16 GB GPUを1基搭載した環境や、十分なユニファイドメモリを備えたMacで実行できます。一方、大きい方の236BのDeepSeek-Coder-V2モデルでは、BF16での推論に8x80 GBのGPU構成が必要です。

はい。重みはHugging Faceで公開されており、無料でダウンロードできます。コードリポジトリにはMITライセンスが適用され、モデルの重みは、商用利用を明示的に認めるDeepSeek Model Licenseの下で公開されています。製品に組み込む前に、モデルライセンスの条件を確認してください。

DeepSeek-Coder-V2は338のプログラミング言語に対応しており、初代DeepSeek-Coderの86から増えています。Lite版にも同じ学習が適用されています。これらの言語でコード補完、コード挿入（途中の穴埋め）、生成、デバッグに対応し、128Kのコンテキスト長によって大きなファイルやリポジトリを扱えます。

有効パラメータ数が少ない割に、高い性能を発揮します。Lite-InstructモデルはHumanEvalで約81%のpass@1を記録し、MBPPに加え、GSM8Kなどの数学ベンチマークでも良好な性能を示します。フルサイズの236BのDeepSeek-Coder-V2は、コードに特化したタスクでGPT-4-Turboに匹敵する性能に達しています。一方、Liteモデルは、その精度の一部を引き換えに、一般消費者向けGPUを1基搭載した環境で実行できます。