Hospede seu próprio LLM local / RAG por trás de uma VPN privada, acesse de qualquer lugar

VPN
1

Oi! Durante minha pausa do trabalho, implantei meu próprio LLM privado usando Ollama e Tailscale, hospedado no meu NAS Synology com um proxy reverso no meu Raspberry Pi.

Projetei o sistema de forma que possa existir atrás de um DNS ao qual só eu tenho acesso, e que eu possa acessá-lo de qualquer lugar do mundo (com conexão à internet). Usei Ollama em um container Synology porque é muito fácil de configurar.

Achei que também poderia compartilhar como construí, caso alguém queira tentar replicar o processo. Se tiverem dúvidas, sintam-se à vontade para comentar!

Link para o artigo aqui: https://benjaminlabaschin.com/host-your-own-private-llm-access-it-from-anywhere/

2

Hospedar LLM em um NAS ??!!??!?? Qual modelo de Synology?

3

Qual é a velocidade de inferência em algo como um NAS Synology?

4

Você parece estar usando ollama-webui. Isso não está sendo descontinuado em favor do open-webui? Obrigado pelo artigo.

5

Isso é incrivelmente legal e empolgante para mim porque tenho lidado com o driver de IA da AMD chamado ROCm há tanto tempo para fazer um modelo local funcionar em um sistema Linux.

Enquanto isso, tenho um NAS Synology…

Passarei algumas noites nisso, obrigado.

6

Consigo 12 tokens/segundo. Nada mal para meus casos de uso.

7

Está descontinuado, mas também está disponível via gerenciador de containers. Procurei por Open WebUI no Synology e não consegui encontrar. Descobri que a outra interface funciona bem. Mas ficarei feliz em atualizar o artigo quando o OpenWebUi estiver disponível.

8

Sim! Sem problema. É bem legal. E funciona muito bem! Especialmente com modelos cada vez mais leves. Tenho um Synology DS923+

9

Isso não é nada mal para um NAS!

10

Fico muito feliz que alguém achou isso interessante. Torna o trabalho valioso :grin:

11

Certo? Provavelmente devo incluir esse detalhe.

12

Com certeza. Defina a expectativa. Quais são seus principais casos de uso? Que dados estão na sua pipeline RAG?

13

Estou criando um RAG em torno das minhas notas do Obsidian, que também estão hospedadas no Synology, assim você pode consultar seus documentos de qualquer lugar :sweat_smile: