vLLM
Högpresterande servering av språkmodeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 93k
- Driftsättning
- Docker (GPU)
Open source-alternativ till Azure OpenAI
Azure OpenAI i kategorin AI. Här är de öppna alternativ vi rekommenderar att titta på.
SGLang
Snabbt ramverk för att servera stora språkmodeller och multimodala modeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 36.7k
- Driftsättning
- Library
Xinference
Plattform för att köra öppna språk-, tal- och multimodala modeller bakom ett gemensamt API, lokalt eller i moln.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 9.6k
- Driftsättning
- Docker
LMDeploy
Verktygslåda för att komprimera, driftsätta och servera språkmodeller effektivt.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 8.1k
- Driftsättning
- Library
LM Studio MLX engine
Motorn som LM Studio använder för att köra modeller med Apples MLX på Mac.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 1.2k
- Driftsättning
- Library
DeepSeek-R1
Stor språkmodell från DeepSeek tränad för resonemang i flera steg, som matematik och kod.
MITTillåtande
SaaS: JaStängd produkt: Ja
- Driftsättning
- transformers
gpt-oss (20B / 120B)
Öppna språkmodellsvikter från OpenAI under Apache-2.0.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- Driftsättning
- Ollama, vLLM
Mistral-7B-Instruct-v0.3
Instruktionstränad språkmodell från Mistral AI med 7 miljarder parametrar och stöd för funktionsanrop. Bygger på mistralai/Mistral-7B-v0.3.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- Driftsättning
- vllm
Qwen2.5-7B-Instruct
Instruktionstränad språkmodell från Qwen med 7 miljarder parametrar för chatt, kod och flerspråkiga uppgifter. Bygger på Qwen/Qwen2.5-7B.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- Driftsättning
- transformers
phi-4
Mindre språkmodell från Microsoft med 14 miljarder parametrar, inriktad på resonemang.
MITTillåtande
SaaS: JaStängd produkt: Ja
- Driftsättning
- transformers
Detta är vägledning, inte juridisk rådgivning. Kontrollera med jurist innan beslut.
Logga in för mer
- Full licensanalys per användningsfall (egen drift, ändringar, driftad tjänst, AI-användning)
- Spara produkter i egna listor
- Systemkarta: kartlägg verktygen ni redan använder (kommer snart)
- Personlig hjälp och AI-rådgivning (kommer snart)