Powrót do projektów
Eksperymenty z lokalnymi LLM i homelabem
Prywatne środowisko oparte na Proxmoxie do eksplorowania usług self-hosted, lokalnej inferencji LLM z llama.cpp, workflow automatyzacji i narzędzi dla developerów.
Lokalna inferencja LLM
Docker
Proxmox
llama.cpp
n8n
Windmill
Narzędzia dla developerów
Problem
Potrzebowałem kontrolowanego środowiska do nauki łączenia usług self-hosted, lokalnych modeli i automatyzacji.
Podejście
Zbudowałem prywatny homelab oparty na Proxmoxie i wykorzystuję llama.cpp, n8n, Windmill oraz usługi konteneryzowane do powtarzalnych eksperymentów.
Rezultaty
Działający sandbox do eksperymentowania z lokalną inferencją LLM, self-hostingiem, workflow automatyzacji i narzędziami dla developerów.