IA Local en VS Code con Ollama y Phi-3

En el vertiginoso mundo del desarrollo de software, la productividad es la moneda de cambio. Si bien la inteligencia artificial ha demostrado ser una aliada invaluable, a menudo nos vemos obligados a depender de servicios en la nube, lo que plantea interrogantes sobre la privacidad de nuestro código, los costos recurrentes y la latencia. Pero, ¿y si pudieras llevar el poder de un asistente de IA directamente a tu máquina, operando con la misma eficiencia y seguridad que tu IDE favorito? Este artículo es tu hoja de ruta para lograr precisamente eso. Exploraremos cómo transformar radicalmente tu flujo de trabajo al integrar modelos de lenguaje potentes como Phi-3, gestionados localmente con Ollama, directamente en tu entorno de desarrollo VS Code.

Puesta en Marcha: Instalando y Configurando Ollama y Phi-3 Localmente

Para desbloquear el potencial de la IA local en tu entorno de desarrollo, el primer paso es establecer la infraestructura base. Esto implica instalar Ollama, la plataforma que nos permitirá ejecutar modelos de lenguaje grandes (LLMs) de forma sencilla, y luego descargar y configurar el modelo Phi-3 de Microsoft.

Requisitos Previos

• Sistema Operativo: Compatible con Ollama (Windows 10/11, macOS 13.0+, o Linux).
• Memoria RAM: Se recomienda un mínimo de 8 GB de RAM, preferiblemente 16 GB o más para una experiencia fluida, especialmente si planeas ejecutar otros procesos exigentes.
• Espacio en Disco: Asegúrate de tener al menos 5-10 GB de espacio libre para Ollama y los modelos que descargarás. Phi-3 en su variante mini ocupa aproximadamente 4 GB.
• Tarjeta Gráfica (Opcional pero Recomendado): Aunque Ollama puede ejecutar LLMs en la CPU, una tarjeta gráfica compatible con CUDA (NVIDIA) o ROCm (AMD) mejorará significativamente el rendimiento y la velocidad de inferencia del modelo. Ollama suele detectar y utilizar la GPU automáticamente si está disponible y los controladores están actualizados.

Paso 1: Instalar Ollama

Ollama es un entorno de ejecución ligero y eficiente para modelos de lenguaje. Su instalación es directa y varía ligeramente según tu sistema operativo.

Instalación en Windows

1. Descargar el instalador: Visita el sitio web oficial de Ollama (ollama.com/download) y descarga el archivo .exe para Windows.
2. Ejecutar el instalador: Haz doble clic en el archivo descargado y sigue las instrucciones en pantalla. La instalación es sencilla y principalmente consiste en hacer clic en "Next" y "Install".
3. Finalizar la instalación: Una vez completada, Ollama se instalará como un servicio en segundo plano, listo para ejecutar modelos.

Instalación en macOS

1. Descargar el archivo .dmg: Dirígete a ollama.com/download y descarga el archivo .dmg para macOS.
2. Montar la imagen: Abre el archivo .dmg descargado.
3. Arrastrar a Aplicaciones: Arrastra el icono de Ollama a tu carpeta de "Aplicaciones".
4. Ejecutar Ollama: Abre Ollama desde tu carpeta de Aplicaciones o Launchpad. Se ejecutará en segundo plano, apareciendo un icono en la barra de menú superior.

Instalación en Linux

Ollama ofrece un script de instalación de una sola línea para la mayoría de las distribuciones de Linux:

$ curl -fsSL https://ollama.com/install.sh | sh

Este script descargará e instalará Ollama, configurándolo como un servicio systemd para que se inicie automáticamente.

Verificar la Instalación de Ollama

Una vez instalado, abre una nueva terminal (o Símbolo del sistema/PowerShell en Windows) y ejecuta:

$ ollama --version

Deberías ver la versión de Ollama instalada. Si recibes un error, asegúrate de que el servicio de Ollama esté en ejecución y que la ruta de Ollama esté en tu PATH.

Paso 2: Descargar y Ejecutar el Modelo Phi-3

Con Ollama instalado, el siguiente paso es obtener el modelo de lenguaje que utilizaremos. Phi-3 de Microsoft es una excelente opción debido a su equilibrio entre tamaño, rendimiento y capacidad para tareas de desarrollo.

¿Por qué Phi-3?

Phi-3 es una familia de modelos de lenguaje pequeños pero potentes de Microsoft. Su variante mini (la que suele descargarse por defecto con Ollama) es especialmente adecuada para entornos locales, ya que requiere menos recursos computacionales que modelos más grandes, manteniendo una impresionante capacidad para razonamiento, generación de código y comprensión contextual.

Descargar y Poner en Marcha Phi-3

Abrir una terminal: Asegúrate de tener una terminal abierta y que Ollama esté en ejecución.

Ejecutar el modelo Phi-3:

$ ollama run phi3

Primera vez: Ollama detectará que no tienes el modelo phi3 localmente y comenzará a descargarlo. El proceso puede tardar varios minutos dependiendo de tu conexión a internet.

Interactuar con Phi-3

Una vez que la descarga haya finalizado y el modelo esté cargado, verás un prompt interactivo de Ollama listo para recibir tus consultas:

>> Send a message (/? for help)
>>> ¿Cuál es la capital de Francia?
La capital de Francia es París.

Para salir del modo interactivo, presiona Ctrl + D o escribe /bye.

Gestionar Modelos Locales

Listar todos los modelos descargados:

$ ollama list

Eliminar un modelo que ya no uses:

$ ollama rm phi3

Paso 3: Configuración Avanzada y Optimización (Opcional)

Ollama está diseñado para ser "plug and play", pero puedes realizar configuraciones para optimizar el rendimiento.

Uso de la GPU

Ollama intentará automáticamente utilizar tu tarjeta gráfica si detecta una compatible (NVIDIA con CUDA o AMD con ROCm). Verifica los controladores actualizados. Si deseas usar solo CPU:

Linux/macOS: OLLAMA_NO_GPU=1 ollama serve
Windows (PowerShell): $env:OLLAMA_NO_GPU=1; Start-Process ollama.exe

Ajustes de Memoria y Rendimiento

Para modelos grandes, asegúrate de tener suficiente RAM. Phi-3 mini requiere 8 GB.

Resolución de Problemas Comunes

• Error "connection refused": el servidor de Ollama no se está ejecutando.
• Descargas lentas: revisa tu conexión a internet.
• Rendimiento deficiente: cierra otras aplicaciones o actualiza tu RAM.
• Problemas con la GPU: prueba con OLLAMA_NO_GPU=1.

Integración Perfecta: Conectando Ollama/Phi-3 con VS Code

La verdadera potencia de una IA local se nota al integrarla en tu entorno de desarrollo, como VS Code.

Preparativos Esenciales

• Ollama instalado y funcionando.
• Modelo Phi-3 descargado.
• Visual Studio Code instalado.

La Extensión Clave: Continue

Abre VS Code, instala la extensión "Continue" desde el Marketplace.

Configuración del Servidor Ollama y Phi-3

Configura Continue para apuntar a tu servidor Ollama (http://localhost:11434) y al modelo phi3.

Prueba de Integración

Abre el panel de Continue, haz una pregunta y observa la respuesta generada localmente por Phi-3.

Casos de Uso en VS Code

La integración permite:

• Generación de código contextual (funciones, snippets, clases).
• Refactorización y optimización de código.
• Explicación de código.
• Asistencia en depuración.
• Generación de documentación y comentarios.
• Aprendizaje y exploración.

Ejemplos prácticos

Generación de funciones, snippets en React, creación de clases, análisis de bucles, explicación de @staticmethod, manejo de errores en depuración, generación de docstrings, ejemplos de APIs y diferencias entre let y const en JavaScript.

Te recomendamos en video