LLMs Open Source

 馃搶 Curso R谩pido de LLMs Open Source

(Large Language Models de C贸digo Abierto)

1️⃣ Introducci贸n a los LLMs

馃敼 ¿Qu茅 es un LLM?

  • Modelos de lenguaje entrenados con grandes cantidades de texto.

  • Capaces de generar texto, traducir, responder preguntas, etc.

馃敼 Open Source vs. Privativos

  • Open Source: Puedes descargarlos, modificarlos y ejecutarlos localmente.

    • Ejemplos: LLaMA (Meta), Mistral, Falcon, Bloom (BigScience).

  • Privativos: Requieren API (ej: GPT-4 de OpenAI, Claude de Anthropic).

2️⃣ Modelos Open Source Populares

ModeloDesarrolladorCaracter铆sticas
LLaMA 2Meta (Facebook)Varios tama帽os (7B, 13B, 70B par谩metros).
Mistral 7BMistral AIM谩s eficiente que LLaMA 2 en algunos benchmarks.
Falcon 40BTII (UAE)Modelo potente con licencia Apache 2.0.
BloomBigScienceMultiling眉e (soporta espa帽ol bien).

馃搶 Requisitos:

  • Hardware: GPU (NVIDIA) para modelos grandes (ej: 16GB+ RAM para 7B par谩metros).

  • Alternativa: Usar APIs como Hugging Face Inference API o Google Colab (T4 GPU gratis).

3️⃣ C贸mo Usar un LLM Open Source

Opci贸n 1: Hugging Face 馃 (F谩cil)

python
Copy
Download
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "mistralai/Mistral-7B-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

input_text = "¿Qu茅 es un LLM?"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

⚠️ Necesitas una GPU potente o usar Google Colab Pro.

Opci贸n 2: GGML (CPU + RAM)

  • Modelos optimizados para CPU (ej: llama.cpp, Ollama).

  • Descargas un .bin del modelo (ej: TheBloke/Mistral-7B-GGML).

  • Ejemplo con llama.cpp:

    bash
    Copy
    Download
    ./main -m mistral-7b.ggml -p "¿Qu茅 es un LLM?"

4️⃣ Fine-Tuning (Ajuste Fino)

馃敼 ¿Por qu茅? Para especializar el modelo en tu tarea (ej: chatbot m茅dico, asistente legal).
馃敼 Herramientas:

  • LoRA: T茅cnica eficiente para ajustar modelos grandes.

  • Hugging Face Trainer + datasets personalizados.

馃搶 Ejemplo con PEFT (Parameter-Efficient Fine-Tuning):

python
Copy
Download
from peft import LoraConfig, get_peft_model

config = LoraConfig(task_type="CAUSAL_LM", r=8, lora_alpha=32, lora_dropout=0.1)
model = get_peft_model(model, config)
model.train()  # ¡A entrenar con tus datos!

5️⃣ Despliegue (Deployment)

馃敼 Opciones:

  • Local: Usar FastAPI + modelo GGML.

  • Cloud: Hugging Face Spaces, AWS/GCP con GPU.

  • Ollama: Facilita ejecuci贸n local (ej: ollama run mistral).

馃搶 Ejemplo con FastAPI:

python
Copy
Download
from fastapi import FastAPI
app = FastAPI()

@app.post("/generate")
def generate_text(prompt: str):
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs)
    return {"response": tokenizer.decode(outputs[0])}

馃殌 Recursos 脷tiles

馃幆 Conclusi贸n

✅ Puedes usar LLMs open source sin depender de OpenAI/Gemini.
✅ Mistral y LLaMA 2 son excelentes opciones para empezar.
✅ Fine-tuning + RAG te permite crear asistentes personalizados.

¿Quieres profundizar en alg煤n tema? ¡D铆melo! 馃殌

Comentarios

Publicar un comentario

Entradas m谩s populares de este blog

C贸mo crear tu primer LLM local con Ollama

  C贸mo crear tu primer LLM local con Ollama (y construir un tutor de franc茅s gratis) ¿Te gustar铆a ejecutar un  Large Language Model (LLM)  directamente en tu ordenador, sin depender de servicios en la nube ni pagar suscripciones? En este tutorial, te mostrar茅 c贸mo instalar  Ollama  (o Llama), un framework que permite ejecutar modelos de lenguaje en tu m谩quina usando C++, y c贸mo usarlo para crear un  tutor de franc茅s gratuito . ¡Sin costes ocultos! ¿Qu茅 es Ollama (o Llama)? Ollama es una plataforma que te permite descargar y ejecutar modelos de IA  localmente , como el famoso  Llama 3  de Meta (Facebook). Su ventaja: Totalmente gratuito  (open-source). Funciona en  Mac, Windows y Linux . No requiere conexi贸n constante a internet despu茅s de la instalaci贸n. ¿Por qu茅 se llama "Llama"?  El nombre viene del modelo original de Meta, que revolucion贸 el mundo de los LLM open-source. Paso 1: Instalar Ollama Descarga : Ve a  ollama.c...
Leer m谩s

4-Funcionamiento de un LLM

  Funcionamiento de un LLM: ¿C贸mo interactuamos con estos modelos? Cuando interactuamos con modelos de  machine learning  tradicionales, el proceso suele ser t茅cnico: necesitamos escribir c贸digo, importar librer铆as, transformar datos a formatos espec铆ficos y seguir un flujo estructurado. Sin embargo, con los  Modelos de Lenguaje Grandes (LLM, por sus siglas en ingl茅s) , la experiencia es radicalmente diferente. Interactuar con un LLM: lenguaje natural en lugar de c贸digo La principal ventaja de los LLM es que  no requieren preparaci贸n t茅cnica compleja  para usarlos. En lugar de enviar datos estructurados o matrices num茅ricas, simplemente proporcionamos instrucciones en  lenguaje natural , de la misma manera en que le hablar铆amos a una persona. Esta entrada de texto se conoce como  "prompt" , y aunque parece informal, su redacci贸n es clave para obtener buenos resultados. De hecho, existe toda una disciplina dedicada a optimizar estos inputs: el...
Leer m谩s

3-Large Language Models (LLMs)

馃殌 Large Language Models (LLMs): ¿C贸mo funcionan los modelos de lenguaje como ChatGPT? ¡Bienvenidos de nuevo! En el post anterior hablamos sobre  Inteligencia Artificial Generativa , y hoy vamos a adentrarnos en uno de sus componentes m谩s revolucionarios: los  Large Language Models (LLMs) , los gigantes detr谩s de herramientas como  ChatGPT, Gemini y LLaMA . 馃搶 ¿Qu茅 son los LLMs? Los  Large Language Models (LLMs)  son algoritmos especializados en  Procesamiento de Lenguaje Natural (NLP)  dise帽ados para  generar texto coherente y contextualmente relevante . Lo m谩s fascinante es que pueden entender y producir lenguaje casi como un humano, captando  matices, ambig眉edades y significados dependientes del contexto . Por ejemplo: Si decimos  "El banco est谩 cerrado" , el modelo entiende si hablamos de una entidad financiera o de un asiento. Pueden redactar ensayos, traducir idiomas, resumir textos e incluso programar en c贸digo. 馃攳 ¿C贸mo logran es...
Leer m谩s