TibiOS Sauron
TibiOS Sauron
TibiOS Sauron will be our first proprietary AI model, built on top of TibiOS's distributed infrastructure. The goal isn't to compete on size with the large Frontier models from day one, but to demonstrate that a network of small machines can be used to train and later run a large model in a distributed way. Our first trained model is already on Hugging Face: fgparamio/sauron-lora-qwen3-4b.
TibiOS Sauron será nuestro primer modelo de IA propio, desarrollado sobre la infraestructura distribuida de TibiOS. La idea no es competir inicialmente por tamaño con los grandes modelos Frontier, sino demostrar que una red de pequeñas máquinas puede utilizarse para entrenar y posteriormente ejecutar un modelo grande de forma distribuida. Nuestro primer modelo entrenado ya está en Hugging Face: fgparamio/sauron-lora-qwen3-4b.
Sauron will be oriented primarily toward professional code generation. Its goal goes beyond writing code from scratch: we want it to have especially strong knowledge of existing code, libraries, frameworks, and available solutions, mostly coming from the open source ecosystem.
Sauron estará orientado principalmente a generación profesional de código. Su objetivo será ir más allá de escribir código desde cero: queremos que tenga un conocimiento especialmente bueno de código existente, librerías, frameworks y soluciones disponibles, principalmente procedentes del ecosistema open source.
The model's philosophy will be:
La filosofía del modelo será:
Reuse → Compose → Create
Reuse → Compose → Create
That is, faced with a development problem, Sauron should first try to reuse an existing solution, then combine already-available components and libraries, and only as a last resort implement new code.
Es decir, ante un problema de desarrollo, Sauron debería intentar primero reutilizar una solución existente, después combinar componentes y librerías ya disponibles y sólo como último recurso implementar código nuevo.
The end goal is for it to produce the correct solution with the least amount of new code possible, while maintaining quality, security, tests, and maintainability.
El objetivo final es que produzca la solución correcta con la menor cantidad de código nuevo posible, manteniendo calidad, seguridad, tests y mantenibilidad.
Training
El entrenamiento
We won't start from scratch. We'll use an existing code model as a base and run a progressive fine-tuning process.
No partiremos de cero. Utilizaremos un modelo de código existente como base y realizaremos un proceso progresivo de fine-tuning.
The first phase will be experimental, using a relatively small model to validate the methodology:
La primera fase será experimental, utilizando un modelo relativamente pequeño para validar la metodología:
base model → SFT → preference tuning → test-based evaluation → RL
modelo base → SFT → preference tuning → evaluación mediante tests → RL
The dataset will be built from real ecosystem code and knowledge:
El dataset se construirá a partir de código y conocimiento del ecosistema real:
- GitHub repositories;
- libraries and frameworks;
- documentation;
- usage examples;
- issues and pull requests;
- code paired with tests;
- programming problems and their solutions;
- examples where reusing a library beats implementing a custom solution.
- repositorios de GitHub;
- librerías y frameworks;
- documentación;
- ejemplos de uso;
- issues y pull requests;
- código acompañado de tests;
- problemas de programación y sus soluciones;
- ejemplos donde reutilizar una librería sea mejor que implementar una solución propia.
Examples that teach the model what NOT to do will be especially important: reinventing functionality that already exists, introducing unnecessary dependencies, or generating hundreds of lines when a mature library solves the problem in a handful.
Especial importancia tendrán los ejemplos que permitan enseñar al modelo qué NO debe hacer: reinventar funcionalidades que ya existen, introducir dependencias innecesarias o generar cientos de líneas cuando una librería madura permite resolver el problema con unas pocas.
From a small model to Sauron
De un modelo pequeño a Sauron
The strategy will be incremental:
La estrategia será incremental:
small model → demonstrate Code-Reuse → larger model → Sauron
modelo pequeño → demostrar Code-Reuse → modelo mayor → Sauron
We'll first validate that the learned behavior actually improves over the base model. Once proven, we'll carry the methodology over to much larger models, reaching the goal of Tibi Sauron, envisioned as a Frontier-scale MoE model.
Primero validaremos que el comportamiento aprendido realmente mejora frente al modelo base. Una vez demostrado, trasladaremos la metodología a modelos mucho mayores, llegando al objetivo de Tibi Sauron, planteado como un modelo MoE de escala Frontier.
In our current theoretical estimates, Sauron is planned around 671B parameters, taking architectures like DeepSeek-V3 and Kimi-K3 as references. Training isn't planned on a single machine, but over a distributed network of TibiBoxes. TibiOS would need to dynamically solve placement, memory, communication, Expert locality, node performance, and fault tolerance.
En nuestras estimaciones teóricas actuales, Sauron se plantea alrededor de 671B parámetros, tomando como referencias arquitecturas como DeepSeek-V3 y Kimi-K3. El entrenamiento no se plantea sobre una única máquina, sino sobre una red distribuida de TibiBoxes. TibiOS tendría que resolver dinámicamente placement, memoria, comunicación, localidad de Experts, rendimiento de los nodos y tolerancia a fallos.
That's why our current work on:
Por eso nuestro trabajo actual en:
- GPU/VRAM-aware scheduling;
- node performance signals;
- capacity degradation;
- placement reasoning;
- network/locality;
- network-cost-aware scheduling;
- Expert locality;
- GPU/VRAM-aware scheduling;
- señales de rendimiento de nodos;
- degradación de capacidad;
- placement reasoning;
- network/locality;
- network-cost-aware scheduling;
- Expert locality;
is all part of the same architecture.
forma parte de una misma arquitectura.
The final vision
La visión final
Sauron represents the first demonstration that the ability to create advanced AI doesn't have to depend exclusively on large, centralized data centers.
Sauron representa la primera demostración de que la capacidad de crear IA avanzada no tiene por qué depender exclusivamente de grandes centros de datos centralizados.
A sufficiently large network of small machines can collectively contribute:
Una red suficientemente grande de pequeñas máquinas puede aportar colectivamente:
memory + compute + network + storage + inference + training.
memoria + computación + red + almacenamiento + inferencia + entrenamiento.
The hypothesis we want to demonstrate is simple:
La hipótesis que queremos demostrar es sencilla:
A community can build and run its own AI model using a distributed infrastructure of small machines coordinated by TibiOS.
Una comunidad puede construir y ejecutar un modelo de IA propio utilizando una infraestructura distribuida de pequeñas máquinas coordinadas por TibiOS.
And Sauron would be the first big experiment testing that hypothesis: a proprietary model, specialized in software engineering, trained and later run on a distributed infrastructure designed by us.
Y Sauron sería el primer gran experimento de esa hipótesis: un modelo propio, especializado en ingeniería de software, entrenado y posteriormente ejecutado sobre una infraestructura distribuida diseñada por nosotros.
