Umbrel habilita LllamaGPT, una IA que mantiene tu privacidad

Extracto: LlamaGPT utiliza la tecnología Llama 2, diseñada por Meta AI.

La IA LlamaGP no requiere estar en línea, por lo que no comparte datos con terceros.

Umbrel puede ejecutar esta IA con solo 5GB de memoria RAM.

El equipo de Umbrel, un sistema operativo para servidores autohospedados, integró el chatbot

LlamaGPT, una aplicación privada, que opera fuera de línea y está completamente autohospedada.
Lo que quiere decir que la app no comparte datos con terceros.

Como explica el equipo de Umbrel, LlamaGPT es un chatbot que utiliza la tecnología de modelo de
lenguaje Nous Hermes Llama 2 7B de última generación. Llama 2, diseñado por Meta AI, es un
modelo de lenguaje LLM de aprendizaje automático. Esto quiere decir que, además de las 300.000
que tiene incorporada, puede aprender más en función de su uso.

Para ejecutar la app LlamaGPT en Umbrel solo es necesario tener disponible 5 GB de memoria
RAM, por lo que resulta apropiada para los dispositivos Raspberry Pi (8 GB) Umbrel o UmbrelOS
personalizados. Solo hay que tomar en cuenta que el tamaño de la descarga es de 5,5 GB, por lo
que su velocidad dependerá de la conexión a Internet.
LlamaGPT está optimizado para Umbrel Home, generando palabras tan rápido como ~3
palabras/seg. En una Raspberry Pi 4 con 8 GB de RAM, genera palabras a ~1 palabra/seg. El
rendimiento puede variar dependiendo de qué otras aplicaciones estén instaladas en su Umbrel.

Umbrel, sistema operativo para servidores autohospedados.

LlamaGPT es de código abierto. Sus desarrolladores explican en GitHub que la aplicación puede
instalarse, además, en cualquier sistema que utilice la arquitectura de procesador X84 o ARM64. Es
decir, en prácticamente cualquier dispositivo moderno.

https://twitter.com/umbrel/status/1691819870361358793

En el caso de que una persona quiera utilizar una versión de LlamaGPT más potente, cuenta con
dos opciones más. Uno es el modelo Nous Hermes Llama 2 13B (GGML q4_0), que requiere 16 GB
de memoria RAM y el otro es Meta Llama 2 70B Chat (GGML q4_0), que requiere 48 GB de
memoria RAM.

Como señaló uno de los desarrolladores de LLamaGPT, esta aplicación no tiene censura,
características que otras aplicaciones como ChatGPT impone. Así, Luke Childs mostró un ejemplo,
en un tuit, sobre cómo LlamaGPT puede responder cosas que otros no.
Leyenda: En la imagen, Childs le pide a Llama GPT que escriba una paráfrasis erótica de El Señor de
los Anillos.

Umbrel es una compañía con una creciente comunidad, que se enfoca en ofrecer un software para
autohospedar distintas aplicaciones. Por ejemplo, nodos de Bitcoin privados o de Lightning.

Como reportó CriptoNoticias, Umbrel había lanzado en marzo una app de IA basada en ChatGPT,
que elimina el límite de 25 mensajes o 3 horas que ofrece la app de OpenAI.