Hospede seu próprio LLM local / RAG atrás de uma VPN privada, acesse de qualquer lugar

Oi! Durante minhas férias do trabalho, implantei meu próprio LLM privado usando Ollama e Tailscale, hospedado no meu Synology NAS com um proxy reverso no meu Raspberry Pi.

Desenhei o sistema de modo que possa existir atrás de um DNS ao qual só eu tenho acesso, e que eu possa acessá-lo de qualquer lugar do mundo (com conexão à internet). Usei Ollama em um container do Synology porque é muito fácil de configurar.

Achei que também iria compartilhar como o construí, caso alguém queira tentar replicar o processo. Se tiverem alguma dúvida, fiquem à vontade para comentar!

Link para o artigo aqui: https://benjaminlabaschin.com/host-your-own-private-llm-access-it-from-anywhere/

Hospedar LLM em um NAS??!!??!?? Qual modelo do Synology?

Qual é a velocidade de inferência em algo como um NAS Synology?