Ollama
Kör språkmodeller lokalt på CPU eller GPU med ett kommando.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 182k
- Driftsättning
- Binary, Docker
Open source-alternativ till OpenAI API
OpenAI API i kategorin AI. Här är de öppna alternativ vi rekommenderar att titta på.
llama.cpp
Motor i C/C++ för att köra språkmodeller lokalt, även utan grafikkort.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 130k
- Driftsättning
- Library
LocalAI
Självhostad ersättning för OpenAI:s API som kör språk-, bild- och röstmodeller på egen hårdvara.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 49.4k
- Driftsättning
- Docker
vLLM
Högpresterande servering av språkmodeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 93k
- Driftsättning
- Docker (GPU)
SGLang
Snabbt ramverk för att servera stora språkmodeller och multimodala modeller i produktion.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 36.7k
- Driftsättning
- Library
Xinference
Plattform för att köra öppna språk-, tal- och multimodala modeller bakom ett gemensamt API, lokalt eller i moln.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 9.6k
- Driftsättning
- Docker
LMDeploy
Verktygslåda för att komprimera, driftsätta och servera språkmodeller effektivt.
Apache-2.0Tillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 8.1k
- Driftsättning
- Library
LM Studio MLX engine
Motorn som LM Studio använder för att köra modeller med Apples MLX på Mac.
MITTillåtande
SaaS: JaStängd produkt: Ja
- GitHub-stjärnor
- 1.2k
- Driftsättning
- Library
Detta är vägledning, inte juridisk rådgivning. Kontrollera med jurist innan beslut.
Logga in för mer
- Full licensanalys per användningsfall (egen drift, ändringar, driftad tjänst, AI-användning)
- Spara produkter i egna listor
- Systemkarta: kartlägg verktygen ni redan använder (kommer snart)
- Personlig hjälp och AI-rådgivning (kommer snart)