YAML Metadata Warning:empty or missing yaml metadata in repo card
Check out the documentation for more information.
LLM-JP-24x1.8b-Combined
このモデルは、LLM-JPプロジェクトが公開している3つのモデル(llm-jp-3-8x1.8b、llm-jp-3-8x1.8b-instruct2、llm-jp-3-8x1.8b-instruct3)のエキスパートを組み合わせて作成した24エキスパートのMixture of Expertsモデルです。
モデルの詳細
- アーキテクチャ: Mixtral MoE
- パラメータサイズ: 24x1.8b(24エキスパート、各1.8B)
- アクティブパラメータ: 6(推論時に活性化するエキスパート数)
- コンテキスト長: 4096トークン
- ベースモデル:
- Downloads last month
- 4
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support