vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
Apache-2.0 · 商用可
記録している数値
開発の様子
3.6 年
公開してからの期間。2023-02-09 が最初のコミットです
104 回
リリースの回数です
3,309 人
開発に参加した人数です
0 日前
最後のコミットです
7,214 件
未解決のまま残っている Issue の数です
ほかの候補
ollama/ollamaGet up and running with Kimi-K2.6, GLM-5.2, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
f/prompts.chat f.k.a. Awesome ChatGPT Prompts. Share, discover, and collect prompts from the community. Free and open source — self-host for your organization with complete privacy.
huggingface/transformers 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.