Sterowanie usługą
Start, stop i autostart Ollamy na każdym hoście; regulacja każdej zmiennej wydajności — kontekst, VRAM, Vulkan/iGPU, cache KV.
octollama to panel WWW, który zarządza Ollamą, gatewayem LiteLLM i Open WebUI na wielu maszynach naraz — z przeglądarki, także z telefonu. Dodawaj hosty, pobieraj modele, wybudzaj śpiące komputery i wystaw wszystko za jednym endpointem zgodnym z OpenAI.
70-sekundowa pętla: master, dopinanie hostów slave, jeden gateway dla wszystkich modeli, Wake-on-LAN i automatyczny failover.
Start, stop i autostart Ollamy na każdym hoście; regulacja każdej zmiennej wydajności — kontekst, VRAM, Vulkan/iGPU, cache KV.
Widzisz, co jest zainstalowane i co siedzi w pamięci; pobieranie z paskiem postępu, kasowanie zbędnych modeli.
Jeden endpoint zgodny z OpenAI nad modelami ze wszystkich hostów. Sam decydujesz, które modele są wystawione.
Czat podpięty pod gateway — widzi te same, świadomie wybrane modele ze wszystkich hostów naraz.
Config dla VS Code generowany z aktualnie wystawionych modeli, do wklejenia. Panel nigdy nie nadpisuje Twojego pliku.
Dodajesz zdalną maszynę, a panel generuje dla niej gotowy instalator. Uruchamiasz raz — host wpina się w sieć.
Wake-on-LAN dla śpiących hostów oraz zdalne wyłączenie, restart i uśpienie — prosto z panelu.
Panel nigdy nie dotyka systemctl. Lokalny demon roota bez żadnego portu sieciowego wprowadza zmiany przez plik stanu.
Zmiana usług systemd wymaga roota — więc panel WWW go nie dostaje. Panel zapisuje pożądany stan do state.json; osobny demon roota obserwuje plik, wprowadza zmianę i odpisuje wynik w status.json. Jedynym kontaktem demona ze światem jest plik na dysku. Zdalne hosty montują swój katalog stanu przez NFS, eksportowany per host i ograniczony do jego IP.
Na maszynie, która zostanie masterem (Debian/Ubuntu, Python 3.11+):
git clone https://github.com/cyryllo/OctoLlama.git cd OctoLlama ./install.sh
Instalator stawia Ollamę, LiteLLM, Open WebUI, demona i panel — potem panel czeka pod http://<master>:5000. Za darmo i open source, GPL-3.0.