octo
llama
jeden master · wiele hostów AI · jedna sieć domowa
📱💻 Ty
przeglądarka → panel
http://master:5000
VS Code · czat
Continue.dev, Open WebUI,
każda apka zgodna z OpenAI
MASTER — host zarządzający
Panel WWW
:5000 · login
LiteLLM
:4000 · gateway
Ollama
:11434 · modele
Demon (root)
state.json · 0 portów
Serwer NFS
stan per host
Open WebUI
czat → LiteLLM
SLAVE 1 · mini-PC
Ollama
demon
stan przez NFS · modele 7B
SLAVE 2 · BC-250
Ollama
demon
stan przez NFS · modele 14B
💤
SLAVE 3 · laptop
Ollama
demon
stan przez NFS · embeddingi
⚠️
…i kolejne hosty
octo
llama
Pobierz za darmo · open source · GPL-3.0
github.com/cyryllo/OctoLlama