Crea tu propio ChatGPT en 10 minutos con Ollama, Pinokio y Llama3

[NO-DO] En esta luminosa jornada, damos la bienvenida a una nueva era tecnológica con el episodio de hoy, donde los vastos horizontes de los grandes modelos de lenguaje se despliegan ante nosotros.

[NO-DO] Exploraremos cómo estas maravillas de la computación moderna pueden ejecutarse en la propia morada de cada curioso e inquieto oyente, transformando el beincón más humilde en un bastión de conocimiento y desarrollo.

[NO-DO] Con entusiasmo y rigor abordaremos la manera en la que estos colosos digitales pueden ser domesticados para servir como fieles asistentes de programación.

[NO-DO] prometiendo una revolución en el modo en que escribimos y entendemos el código.

[NO-DO] Así, cada entusiasta de la tecnología podrá, desde su estudio o salón, erigir puentes hacia futuros de innovación sin precedentes.

[NO-DO] Unámonos en este viaje por el troceloso mal de la tecnología avanzada, donde cada descubrimiento nos acerca más a la construcción de una era digital digna de nuestros sueños más audaces.

[NO-DO] Y recuerda, en "Se Nos Va De Las Manos", cada episodio es una nueva aventura en el mundo fascinante de la tecnología.

[NO-DO] Sin más preámbulos, damos paso a nuestros ilustres locutores, Galileo y Germán Martín, quienes nos guiarán en esta apasionante travesía.

[Germán] Bienvenidos un mes más.

[Germán] Ya estamos aquí otra vez.

[Germán] Lo vamos consiguiendo, vamos manteniendo la cadencia de un programa mensual.

[Germán] Bienvenidos, se nos va de las manos.

[Germán] Estamos aquí, yo me presento, soy Germán Martín y conmigo está Galileo.

[Germán] ¿Cómo estás?

[Galileo] Muy buenas a todos.

[Germán] Bueno, pues el último programa estuvimos hablando, bueno, entre otros temas, hablamos de la presentación del modelo de Llama 3 y hoy lo traemos aquí.

[Germán] Lo vamos a enseñar en directo.

[Germán] Vamos a enseñar cómo se puede usar, qué requisitos tiene y nada, vamos a lío.

[Germán] Vamos a...

[Galileo] Es importante que nos deis el feedback de qué es lo que os gusta más, de qué queréis que tiremos.

[Galileo] Como sabéis a Germán se le conocía por Mr. ESP8266.

[Galileo] Podemos decir ESP32.

[Germán] ESP32

[Galileo] Según fue pasando.

[Galileo] Cuando saquen el ESP64 pues será ese.

[Germán] Sí, sí.

[Galileo] Pero vamos, si queréis que tiremos más por ahí o por allá, esta vez estamos haciendo como una introducción a cómo se usan los modelos, que yo creo que puede ser muy interesante.

[Galileo] Cuando estábamos en programar fácil, hicimos también algunos tutoriales de cómo instalar Visual Studio Code o cómo hacer funcionar un SDR.

[Galileo] Entonces, el feedback es muy importante para saber por dónde tenemos que tirar.

[Germán] Para quien no le suene mucho esto de los modelos que acabáis de llegar por aquí, ¿a qué nos referimos?

[Galileo] Y nada, a ver, ¿qué nos vas a contar, Germán?

[Germán] Nos referimos a algo similar a lo que tenemos con ChatGPT, que más o menos a todos nos sonará.

[Galileo] en el mundo, en el mundo, en el mundo.

[Germán] un modelo de lenguaje al cual le hacemos preguntas y nos responde con una información que se le ha dado durante el entrenamiento.

[Germán] Hay veces que patina, pero normalmente funciona bastante bien.

[Germán] Digamos que ChatGPT es la referencia en cuanto a modelos de lenguaje.

[Germán] Bueno, no ChatGPT, el modelo es GPT, pero bueno, el ChatGPT es la aplicación de chat que tiene OpenAI y es la referencia en cuanto a calidad como el top ahora mismo de modelos de lenguaje.

[Germán] Hay otros modelos como el de Anthropic, Claude, que hablan bastante bien de él, incluso hay quien dice que lo supera, pero la pega que tiene es que en Europa no se puede utilizar probablemente por restricciones

[Germán] de privacidad, que bueno, es algo que los divulgadores que hablan de temas de inteligencia artificial pues no están muy de acuerdo, no creen que ..., bueno, no sé, es debatible, es un debate que

[Galileo] Sí, el servicio de memoria no se puede usar tampoco en Europa.

[Germán] Exactamente, sí.

[Germán] Han sacado ahora OpenAI, en ChatGPT, memoria, es decir, que recuerde ciertas cosas de las que le vamos preguntando.

[Galileo] que es muy útil.

[Galileo] Por ejemplo, tú coges y dices pues dame una receta y luego tú le dices pero soy diabético y entonces coge y eso ya lo apunta.

[Germán] Sí.

[Galileo] No va a apuntar todo, va a apuntar lo que él considera que es importante.

[Galileo] Luego vas a poder incluso borrar, flaxearle ahí como en la película, esas zonas que tú no quieres que recuerde.

[Galileo] Pero aquí en Europa toda esa funcionalidad está prohibido usarla por protección de datos.

[Germán] Bueno, pues eso son aplicaciones que corren en la nube, en ordenadores ajenos al nuestro.

[Germán] Y aquí de lo que vamos a hablar es correr modelos del mismo tipo, pero en nuestra máquina.

[Germán] Entonces, para ello, ¿qué necesitamos?

[Germán] Necesitamos un PC más o menos potente.

[Germán] con ciertas limitaciones, no hace falta que sea el último modelo de todos.

[Germán] Sobre todo si tenemos una GPU, es decir, una tarjeta gráfica con memoria suficiente para alojar el modelo.

[Germán] Normalmente hay modelos de diferentes tamaños.

[Galileo] Evitivo.

[Germán] El mínimo que se recomienda para poder correr estos modelos son 8 gigas en la memoria de la tarjeta de vídeo.

[Germán] No hace falta, si alguien se quiere introducir en este mundo, no hace falta irse al último o el ultimísimo modelo de tarjetas gráficas de NVIDIA.

[Germán] Por ejemplo, la 4090 está por unos 2.500 euros, que es una barbaridad.

[Germán] Hay tarjetas que están muy bien de precio, sobre todo las que están mejor en relación calidad-precio.

[Germán] son las de la serie 30, la 3060, la 3070 están muy bien y por 200, 250, 300 euros tienes una gráfica con hasta 12 gigas de memoria que yo es la que tengo, lo que vais a ver va a ser con una 3060 modelo de 12 gigas que le tengo que dar las gracias a César García del canal de YouTube de Laura Maker

[Germán] que la recomendó ahí.

[Germán] Yo, la verdad, que no tenía mucha idea y gracias a esa recomendación, pues decir la verdad que estoy súper contento de haberle hecho caso.

[Galileo] Y funciona también para juegos, me refiero a que

[Germán] y funciona para juegos.

[Germán] Si eres jugón, pues ya te digo, por una inversión razonable, tienes una máquina muy buena para jugar y también para experimentar con modelos de inteligencia artificial, no solo los LLM, los modelos de lenguaje, sino también modelos de imagen, modelos de voz, que ya hablaremos otro día.

[Galileo] Bueno.

[Germán] Bueno, pues hoy vamos a hablar de Llama 3, hablaremos también de otros modelos y vamos a ver cómo tenerlo en casa.

[Galileo] un inciso a ver si reconocéis la voz de dónde viene la que ha sonado de introducción y todavía queda pendiente de dos programas anteriores que descubráis la canción que suena del juego antiguo de qué juego es entonces nada bueno vale lo pondré por twitter

[Germán] La canción yo creo que para el próximo ya lo vamos a decir.

[Germán] Y si tenéis curiosidad, si habéis oído el programa desde el principio, en el primer minuto es una voz muy característica, sobre todo si tenéis cierta edad, si ya peináis alguna cana y si vivís en España, os sonará mucho esa voz.

[Germán] Y nada, si queréis tener curiosidad sobre las anteriores, si oís el primer minuto, no hace falta oír el programa entero, si oís el primer minuto de los dos programas anteriores vais a ver la otra voz, también es bastante conocida en España.

[Galileo] Pero no es mal dato.

[Germán] No doy más datos.

[Galileo] Es súper reconocible.

[Germán] ¿Cómo hacemos esas cosas con la voz?

[Germán] Ya hablaremos otro día.

[Germán] Hoy vamos a hablar de modelos de lenguaje.

[Germán] Entonces, lo primero que tenemos aquí Bueno, aquí tengo la página abierta de Yama 3 Yama 3 es de Meta Meta igual Facebook, Instagram, Whatsapp ¿Vale?

[Germán] Pero que quede una cosa clara No hay problemas de privacidad porque este modelo va a correr en tu máquina sin conexión a Internet ¿Vale?

[Galileo] ¡Gracias!

[Germán] Todo se queda en casa, no hay problemas de preguntarle

[Germán] Bueno, si tienes una empresa y tienes miedo de darle información confidencial de tu empresa, pues puedes utilizar un modelo como este para utilizarlo a la hora de ayudarte a hacer documentación, por ejemplo, o a hacerle preguntas.

[Germán] En cuanto a rendimiento, se acerca bastante a ChatGPT.

[Germán] Y ya te digo, no hace falta un ordenador

[Galileo] y son los modelos en coma flotante directos o tienen cuantificación cuantización

[Germán] Estos, pues si te digo la verdad, no lo sé.

[Germán] Ahora lo vamos a ver porque vamos a ver cómo a la hora de instalarlos vamos a utilizar una herramienta muy sencilla tanto de instalar como de usar y ahí tienes información de los modelos.

[Germán] Ahora lo vemos y comentamos qué es eso de la cuantización.

[Germán] Vale, bueno, pues esto es una comparativa entre el modelo de Yama 3, el modelo de este que pone 8B, es que tiene 8 billones... Bueno, 8 billones americanos, es decir, 8.000 millones de parámetros.

[Germán] Es decir, hay una red neuronal que tiene 8.000 millones de parámetros corriendo en tu máquina, que es... Solo de imaginarme el número ya me explota la cabeza.

[Germán] El modelo 8B normalmente se puede ejecutar en máquina local.

[Germán] ¿Qué tal se me oye, por cierto?

[Galileo] Sí, bien, bien, bien.

[Germán] ¿Se oye bien?

[Germán] Bien.

[Germán] Luego tenemos el modelo de 70.000 millones de parámetros, que es ella.

[Germán] Hace falta una tarjeta más seria, sobre todo por memoria, porque ese modelo ocupa unos 40 gigas.

[Germán] y una tarjeta gráfica que tenga 40 gigas, ya estamos hablando de mucho dinero.

[Germán] De esto nos olvidamos.

[Germán] Aquí lo compara con Yama 3 con el modelo Gemma de Google, el 7b también es un modelo local, el modelo Mistral que es de

[Germán] de Antropic.

[Galileo] creo que sí

[Germán] No recuerdo quién es Mistral.

[Germán] Son remodelos equivalentes en cuanto a número de parámetros y aquí resaltan, lógicamente, esta es la página de meta y resaltan lo bueno, pero lo que vienen a decir es que es superior a estos otros dos modelos.

[Galileo] y eso son como benchmark aunque había mucha controversia con los benchmark porque decían que había algunos benchmark que se se podían haber introducido de hecho también este fin de semana hablaban en muchos sitios de que la que digamos que la inteligencia artificial había aprendido a mentir para al final la inteligencia artificial lo que busca es conseguir el objetivo que tú lo has planificado sea lo que sea y si mentir es una de las herramientas que se puede usar pues la usa

[Germán] Sí.

[Galileo] y estaban ahora asustados un poco porque mentía.

[Germán] Claro, si a la hora de entrenarle se le hacen las mismas preguntas que se le hacen en estos Benchmark, al final aprende a resolverlo.

[Germán] Estos diferentes, esto que veis aquí, el MMLU, el GPQA, son una forma organizada

[Germán] digamos, científica, de comparar modelos.

[Germán] Es decir, no vamos a ir directamente a preguntarle a HGPT, a Yama, a Yema, cuál es el sentido de la vida, por ejemplo, porque unos responderán mejor que otros o unos de manera más original que otros, pero no tenemos... Ahí sería un resultado subjetivo.

[Germán] A lo que nos interesa es tener un resultado subjetivo, darle mismas pruebas de tipo, pues imagino que serán

[Germán] de tipo matemático, de tipo lógico, deductivo y demás, y pues son una serie de pruebas estandarizadas.

[Galileo] hay una curiosidad y es que muchos de estos modelos cuando tú le preguntas de quién eres y tú de quién eres pues cogen y los modelos que no no no los ha hecho en este caso pues el de Mistral pues no lo ha hecho OpenAI pero han utilizado se han conectado a través de los plugins de la API

[Germán] Bueno.

[Galileo] perdón, se han conectado a ChubbGPT entonces si tú les preguntas y tú de quién eres muchos sin ser de OpenAI te dicen que son de OpenAI porque resulta que se han entrenado con el modelo de OpenAI entonces es una curiosidad pero vamos que tú coges a un modelo de estos de la llama y le dices y tú de quién eres y que no te asustes dice ah pues yo soy de OpenAI y es que tienen ese sesgo

[Germán] O hay quien también le pregunta de qué fecha es su entrenamiento, y mienten también.

[Germán] O qué tamaño de contexto, es decir, cuántos datos de las últimas preguntas le has hecho y qué de las respuestas recuerda, y también mienten.

[Germán] Porque son preguntas...

[Germán] Yo entiendo también que los que entrenan el modelo no quieren ser totalmente transparentes en ese aspecto.

[Germán] Pero bueno, vais a ver ahora.

[Galileo] Bueno, no sé si fue en Mistral que cogieron y le metieron un montonazo de información y de repente luego le pusieron una información de cómo se hace una pizza o algo así.

[Galileo] en un texto muy grande porque muchas veces lo que pasa con el contexto es que o coge lo del principio o coge lo del final pero lo del medio como que se olvida y entonces el modelo dijo ah los ingredientes de la pizza son estos por cierto creo que estás probando a ver qué tal de listo soy entonces es súper súper curioso

[Germán] Sí, sí.

[Germán] Eso lo oí, sí, que era capaz de detectar si le estabas poniendo a prueba.

[Galileo] exacto esos datos sí y ésta no sale ahí pero ésta esta semana apareció un gpt2 que hubo también bastante controversia con eso

[Germán] Es lo que comentábamos, que es probable que algunos de los entrenamientos estén sesgando estas pruebas.

[Germán] Pero van apareciendo pruebas nuevas para que eso no ocurra.

[Germán] GPT-2L.

[Galileo] L sí que parece que es una versión pequeñita o bueno a lo mejor es fíjate que vamos a tener un anuncio en breve de OpenAI y hablan algo de eso aunque todo el mundo dice que será de los busca el buscador que se prevé vaya a lanzar pero también puede ser de un modelo reducido qué importancia tiene tener modelos reducidos que un modelo reducido lo puedes meter en un móvil entonces es lo que estoy buscando que Apple está trabajando también en ello

[Germán] Sí.

[Germán] En un móvil.

[Germán] Eso es... Bueno, un modelo reducido también te elimina la necesidad de tener una GPU.

[Germán] Es decir, si tienes un PC sin GPU,

[Germán] medianamente potente.

[Galileo] Sí.

[Galileo] Sí.

[Germán] También hay modelos, lógicamente, que funcionan bastante peor, pero funcionan y para algunas cosas pueden servir.

[Germán] Pero hay modelos de ese tipo y lo que vamos a enseñar también se pueden instalar.

[Germán] Bueno, entonces, ¿qué vamos a utilizar para instalar YAML?

[Germán] Pues vamos a utilizar una herramienta que se llama Oyama.

[Germán] Oyama es como el Docker de los modelos de lenguaje.

[Galileo] explica para los que no sepan nada que es un docker

[Germán] ¿Cómo explico Docker sin hablar de contenedores?

[Germán] Docker es, por ejemplo, una forma de ejecutar un servidor web con un comando solamente.

[Germán] Un servidor web o un... ¿Qué voy a decir?

[Germán] Dime un servicio de...

[Galileo] a ver yo diría como al final tú lo que tenías antiguamente que fue el bombazo de la nube y todo esto fue la virtualización entonces al principio lo que se hacía era tú virtualizabas una máquina entera cogías y tenías tu bios metías tu sistema operativo por ejemplo cuando metes un lamp que es un servidor web pues lo metías encima de ese sistema operativo pero entonces aparecieron los de docker y dijeron para qué vamos a

[Germán] ¿No?

[Galileo] virtualizar toda una maquina si solo necesitamos virtualizar unos ciertos servicios para dar ese LAN entonces al final los contenedores es eso es la mínima expresión de una máquina virtual que te permite ejecutar esos servicios que tú necesitas para dar ese servicio para un servidor de lo que tú quieras y es mucho más eficiente

[Germán] Para el caso, lo que nos facilita Docker es que tenemos una forma muy fácil de ejecutar un servicio muy complejo.

[Galileo] Bueno, yo creo que es muy importante.

[Germán] es una forma con una línea de comandos, ponemos en marcha algo que nos costaría mucho tiempo poner a andar.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Germán] Entonces, OYAMA es el equivalente a esto para los modelos de lenguaje.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Galileo] Yo creo que es muy importante.

[Germán] Vamos a tener, pues si queremos lanzar un modelo YAML 3, pues ponemos OYAMA, funciona sobre línea de comandos, luego veremos que hay formas de hacerlo de manera gráfica, pero si queremos lanzar el modelo YAML 3, ponemos OYAMA RUN YAML 3.

[Germán] Y ya está.

[Germán] Arranca, se lo descarga si hace falta.

[Germán] O sea, se busca un repositorio donde tiene todos los modelos, se lo descarga.

[Galileo] en la ciudad de Bogotá, en la ciudad de Bogotá, en la ciudad de Bogotá, en la ciudad de Bogotá, en la ciudad de Bogotá, en la ciudad de Bogotá, en la ciudad de Bogotá.

[Germán] Ojo también, si hacéis pruebas con esto, tened espacio en disco porque los modelos ocupan varios gigas.

[Germán] Y si tienes varios modelos, pues puedes llenar el disco muy rápido.

[Germán] En Windows, por ejemplo, yo no he encontrado formas de decirle que en vez de en el disco C, me lo guarde en el disco D. Hay formas, pero bueno, seguro que hay alguna forma, pero no es algo sencillo.

[Germán] Bueno, entonces, ¿qué necesitamos para ejecutar Yammer 3?

[Germán] Pues descargarnos e instalar Oyama.

[Germán] Tenemos aquí el enlace.

[Germán] Por cierto, para quien nos esté escuchando en el podcast, la dirección es oyama.com.

[Germán] Vale, entráis ahí y tenéis un botón grande de descarga y hay versión para macOS, para Linux y para Windows.

[Germán] La versión para Windows lleva poquito tiempo, pero os puedo decir que funciona estupendamente.

[Germán] ¿Y qué modelos podemos ejecutar?

[Germán] Hemos dicho que Llama, Llama 2, Llama 3, y aquí tenéis un enlace de modelos.

[Germán] Vamos a ver qué modelos puede ejecutar.

[Germán] Vemos aquí el Llama 3.

[Germán] Es un modelo, si entramos dentro del modelo, vemos las diferentes variantes.

[Galileo] Bueno, gracias.

[Germán] Aquí lo veis.

[Germán] Tenemos la variante 8B, que ocupa 4,7 gigas.

[Germán] perfectamente con una gráfica de 8 gigas se puede ejecutar lo podrías ejecutar también en cpu si pero vais a tener una velocidad muy muy muy muy lenta vale vemos que hay también un modelo 70 b 40 gigas nada olvidado sino si

[Germán] Si podéis ejecutarlo, lo sabréis, porque tendréis una gráfica que os habrá costado una buena pasta.

[Germán] Y luego está el modelo Instruct, que está orientado a resolución de problemas de programación, por lo que tengo entendido.

[Germán] Yo lo he probado para programación y van bien.

[Galileo] pero lo han hecho ellos o los usuarios que tiene una

[Germán] Y luego tienes este Instruct, que es el modelo de 8.000 millones.

[Germán] O sea, está basado, es un fine tuning, ¿cómo se llama?

[Germán] Sí, una optimización a partir del modelo estándar 8b para que se dedique a... Sí, yo creo que sí.

[Germán] Este es el modelo oficial.

[Germán] ¿Vale?

[Galileo] ¿Cómo es?

[Galileo] ¿Cuánti...?

[Galileo] ¿Cuánti...?

[Germán] Cuantización.

[Germán] Sí, aquí dice que este modelo tiene la arquitectura YAML de 8.000 millones de parámetros y la cuantización

[Galileo] ¿Cuánti...?

[Germán] a 4 bits.

[Germán] Por ejemplo, todos estos 8.000 millones de parámetros internamente, cuando se hace el entrenamiento, se guardan como coma flotante de 16 bits o 32 bits

[Germán] que si eso lo multiplicáis vais a ver que sale un número mucho mayor de estos 4,7 gigabytes entonces lo que se hace es, se ha visto que aunque se recorte la precisión de esos parámetros el modelo sigue funcionando bien entonces se ha aprovechado eso para meter modelos muy grandes que no cabrían en una tarjeta gráfica comercial se recortan para que sí quepan y se dejan en 4,7

[Galileo] Ya.

[Galileo] que se metan.

[Galileo] Allí había algún comentario que decían que es la cuantización en este caso funcionaba un poco peor que en el modelo anterior y eso era porque los pesos utilizaban hasta la última de la coma flotante el último decimal para para que tuviera para darle contexto pero bueno eso será...

[Germán] Ahora lo vamos a ver y vamos a poder dar nuestra opinión.

[Germán] Veis que hay un montón, no me he puesto a parar.

[Germán] Aquí tienes por ejemplo de cuantificación de 8 bits, de 5 bits, de 4 bits, hay un montón, hay muchísimos.

[Galileo] Claro, cuanto menos, cuanto más bits se usan, pues más ocupa el modelo.

[Germán] Claro, el más pequeño que hay es el de... Ah, no, mira, aquí hay uno de dos bits.

[Germán] Y ahora se estaba hablando de los modelos de un bit, pero bueno, no vamos a entrar en eso.

[Galileo] eso es un mundo si a alguno le interesa que le eche un ojo ahí nos lo explican como en un en 4 bit eso se llama nivel para un byte dividido en dos tiene dos niveles es la forma de decir 4 bit y es un mundo un mundo bueno un montón

[Germán] Aquí tenéis el... Sí.

[Germán] Entonces, ¿qué necesitamos para ejecutar este modelo?

[Germán] Pues simplemente, tenéis instalado ya Oyama y nos vamos a la línea de comandos y ejecutamos oyama run y llama 3.

[Germán] Y ya está, entonces vamos a verlo.

[Germán] Yo me voy aquí, abro una ventana de comando que no sé si se está abriendo.

[Galileo] No la estoy viendo.

[Germán] Aquí.

[Galileo] Ahora sí.

[Germán] No, porque está aquí.

[Germán] Y pongo oyama run

[Germán] Llama 3.

[Germán] No se lo voy a descargar porque ya lo tengo descargado, ya he estado jugando con él antes.

[Germán] Pero bueno, vais a ver que no hay que hacer más, no hay que instalar más ni nada más.

[Germán] Hay otras herramientas de inteligencia artificial que son bastante laboriosas de instalar porque hay que instalar muchas dependencias.

[Germán] Esto ya lo hace todo de forma automatizada.

[Germán] Y bueno, veis que me pregunta aquí que le escriba un mensaje.

[Germán] ¿Qué le pregunto?

[Galileo] pregúntale de dónde ha sido programado o quién es el... pero va super rápido

[Germán] ¿Quién te ha entrenado?

[Germán] ¿Veis que eso lo puedo preguntar en español?

[Germán] ¿Vale?

[Germán] Y me responde, bueno, lo leeré por encima.

[Germán] Soy un modelo de lenguaje, y va súper rápido.

[Germán] Soy un modelo de lenguaje basado en inteligencia artificial, por lo que no tengo un entrenador humano tradicional.

[Germán] En su lugar fui entrenado utilizando grandes conjuntos de datos y algoritmos de aprendizaje automático.

[Germán] Mi capacidad para entender y responder a preguntas fue posible gracias al trabajo conjunto de varios equipos de investigación y desarrollo del campo del lenguaje natural, bla, bla, bla, bla.

[Germán] Y al final, pues, no se moja.

[Germán] No veo qué nombre.

[Galileo] y nos dice si quién ha pagado ese entrenamiento quién lo ha pagado mira mira lo pone es meta

[Germán] Venga, ¿quién ha pagado el entrenamiento?

[Germán] Dice, una pregunta interesante.

[Germán] Mi entrenamiento fue financiado por Meta.ai, una empresa dedicada a desarrollar tecnologías de inteligencia artificial para mejorar la forma en la que las personas interactúan con la información y se comunican entre sí.

[Germán] Pues vale, muy bien.

[Germán] Sabéis que funciona súper rápido.

[Germán] Si vemos, por ejemplo, tengo aquí lo que me está ocupando en memoria, a ver si lo puedo mover.

[Galileo] en el mundo de la tecnología.

[Germán] Oyama funciona en texto, lo que pasa que tiene un API

[Germán] Tiene un API que puedes, por ejemplo, programar un interfaz de usuario que es hecho en web o hecho en una aplicación que llamea o llama.

[Germán] O utilizarlo desde programa.

[Galileo] Si le dices que te responda, que te de la respuesta en formato html, ¿es capaz?

[Germán] Entonces... Dame la respuesta formateada en HTML para...

[Germán] publicar en la web y lo ponen con los tags de html e incluso le puedes pedir que te programe dame el código de Arduino del programa Blink para encender y apagar Google Edge a ver si lo sabe

[Germán] Aquí vemos que lo está haciendo, hace el programa, incluso lo pone en formato Markdown y además te lo explica, que es algo que también hace ChagPT, te da el programa y además te dice la explicación, por la variable tal, se usa para esto, te da la explicación.

[Galileo] Sí.

[Galileo] Sí, sí, sí.

[Germán] Si estáis acostumbrados a utilizar ChagPT, sabréis el formato que lo hace.

[Germán] Vale, quería enseñar lo que me está ocupando en memoria el modelo.

[Germán] ¿Vale?

[Germán] Veis que tengo 12 gigas y me está ocupando 6,8.

[Germán] Estoy utilizando la gráfica para alguna otra cosa más, como un giga se está usando para otra cosa, o sea que unos 5 gigas y medio es lo que está ocupando este modelo.

[Germán] ¿Vale?

[Germán] Vale, entonces, bueno, habéis visto que está bien, pero... Vale, en barra de interrogación puedes poner variables.

[Galileo] si le das a la barra interrogación y si le das a now, show para ver que te dará la información que hemos visto antes show info y luego la lista

[Germán] ¿Cómo?

[Germán] Show, vale.

[Germán] Show dice que te da información del modelo.

[Germán] Si digo show info, te da el grado de cuantización, la familia... Esto imagino

[Galileo] A ver cómo es.

[Germán] A ver, licencia... Bueno, ahí te hace toda la licencia.

[Galileo] Hay licencias comerciales y otras que no son comerciales, que se pueden usar en inglés.

[Galileo] Sí.

[Germán] A ver, dame la licencia resumida en español.

[Germán] No sé si eso lo guarda... La licencia que rige mi código es licencia Apache 2.0.

[Germán] Permiso, el propietario del código, tú, el usuario, tiene derecho a utilizar, copiar, ¿cómo?

[Galileo] ¿Y sabe que datos está anotado?

[Galileo] ¿Le puedes preguntar qué datos es?

[Galileo] ¿Y sabe los datos que se ha utilizado?

[Galileo] es decir todos los libros que ahí había bastante controversia también con OpenAI que decían que había utilizado libros de que no había pedido permiso y entonces en cambio en Meta sí que habían utilizado todo abierto y todo que es reproducible o sea tú puedes coger toda esa información y simular ese

[Galileo] si tienes la pasta para poder hacer el entrenamiento pues llegarías al mismo modelo que han llegado ellos porque el modelo digamos la gracia de todo esto no es hacer la interconexión y todos los procesos que tienes en el modelo en sí sino cuando lo entrenas es los pesos que tienes y eso se consigue haciendo el entrenamiento que es lo que ha hecho el metal y está genial que te den de dónde han tirado para hacerle

[Germán] Bueno, pues aquí responde.

[Germán] No sé si efectivamente la respuesta será cierta, pero te dice que utiliza un dataset que se llama Common Crawl.

[Germán] que es un dataset gigante que contiene más de 50 millones de páginas web, lo que permite aprender sobre estructuras de texto, vocabulario y patrones lingüísticos.

[Germán] Se ha tragado también la Wikipedia entera.

[Germán] Se ha tragado otro dataset que se llama BookCorpus, que es un dataset que contiene más de 5 millones de páginas de libros electrónicos.

[Germán] Otro que se llama OpenWebTest, un conjunto de datos que contiene más de 10 millones de páginas web.

[Germán] Otro que se llama Avenue,

[Germán] que contiene una variedad de textos en línea incluyendo noticias, blogs, foros y otros tipos de contenido y otro que es BookCorpus, que ya estaba repetido arriba.

[Germán] que dice que contiene más de 2 millones de páginas de libros electrónicos y el otro decía que más de 5 millones.

[Germán] Bueno, aquí yo creo que ha patinado un poco, pero bueno, yo creo que sí queda una idea de lo que ha utilizado.

[Galileo] de la comunidad.

[Germán] También cuando se habla de modelos de lenguaje, hay dos tipos de los que son utilizables en local.

[Germán] Hay dos tipos, unos que son modelos de lenguaje o modelos en general completamente abiertos, en los cuales tenemos la arquitectura del modelo,

[Germán] y el dataset, con lo cual podemos reproducir ese entrenamiento, esos son modelos completamente abiertos, y los modelos de libre uso, que son modelos que se nos dan como están y no nos dan opción a entrenarlos desde cero, si luego sí que se pueden hacer optimizaciones y entrenamientos parciales, que es lo que se llama el fine tuning.

[Germán] Bueno, entonces hemos visto que sí, que está muy bien, pero que es un poco feo.

[Germán] Entonces lo cerramos.

[Galileo] Sí, la interfaz ahí es la pega, digamos.

[Galileo] Pero va súper rápido.

[Germán] Vamos a ver dónde lo tengo.

[Germán] Cerramos esta ventana.

[Germán] Oyama no era esto que habéis visto.

[Germán] Ese programa que hemos arrancado era un interfaz porque Oyama está residente, es un servicio dentro del ordenador.

[Germán] Entonces, no tengo que ejecutar nada ya para llamarlo.

[Germán] Entonces, cuando lo uso con... Bueno, en Oyama tenemos una interfaz que es bastante... Hay varios, pero el que más me gusta es este que se llama OpenWebUI.

[Galileo] Este es el programa que tú has instalado, que es el que te da el interface con la API que tiene.

[Germán] Vamos a buscar aquí OpenWebUI.

[Germán] Lo tengo aquí, lo tenía aquí.

[Germán] Es un proyecto de código abierto que tiene un repositorio en GitHub

[Germán] ¿Dónde está Github?

[Germán] No lo encuentro.

[Germán] A ver si busco aquí.

[Germán] Open Web UI Github.

[Germán] Vale, aquí está.

[Germán] Está aquí el código y también la explicación de cómo instalarlo.

[Germán] Normalmente este tipo de software es hacer clonar el repositorio en un directorio con JIT.

[Germán] No vamos a entrar ahí porque si no nos tiraremos mucho, pero básicamente es copiar el repositorio, copiar los archivos y ponerlos en un directorio de tu máquina.

[Germán] Y luego esto tiene un script, me parece,

[Galileo] Rumput 2H, sí, viene yo.

[Germán] ¿Tiene un install?

[Galileo] Puntuat, también.

[Germán] No, esto no tiene un install.bat Normalmente lo tendrá aquí.

[Germán] Features... How to install.

[Germán] Se puede ejecutar en Docker.

[Germán] Si os llama, está en tu ordenador.

[Germán] Si está en una máquina diferente... Se puede utilizar en Docker.

[Germán] Yo no lo tengo en Docker, estoy ejecutando el repositorio.

[Germán] Lo tengo en Windows, pero en Linux sería igual.

[Galileo] pero el linux no tiene apuntado el linux supongo que por instalar tantas cosas y probar tantas cosas

[Germán] Es un servidor web en TypeScript, con lo cual funciona en cualquier cosa.

[Germán] Yo creo que funciona en Python.

[Germán] Tiene un requirements.

[Germán] O sea, pues lo acabo de instalar y no me acuerdo cómo lo he hecho.

[Germán] No, no, lo tengo.

[Germán] A ver.

[Germán] Bueno, luego os dejaré en las notas del programa el vídeo de YouTube donde he visto cómo se instalaba esto.

[Germán] Lo que conseguís una vez instalado... Ah, ya sé con qué lo he instalado.

[Germán] Con una herramienta que se llama Pinocchio.

[Galileo] y ya veo que funciona bien o sea lo has utilizado aparte de para esto para otras o

[Germán] Por eso no recordaba...

[Germán] Pinocchio es otra aplicación que se instala y es como una tienda de aplicaciones de herramientas de inteligencia artificial.

[Germán] Sí tengo otras pero con la única que lo he hecho así un poco en serio ha sido con esta, es la primera que me

[Germán] que me he instalado.

[Germán] Entonces Pinokeo es también un ejecutable para Windows, para Mac y Linux que se instala y es una tienda de aplicaciones.

[Germán] Entonces aquí lo que he hecho ha sido buscar Ollama

[Galileo] Y con

[Germán] y me salen dos resultados hay uno que se llama chatbot.yaml y el otro open web UI entonces desde aquí puedo decir descargar e instalar y ya está botón, botón y no hay que hacer nada vale se puede hacer como ponerla en el repositorio pero esto nada no olvidaros de lo que he dicho antes no hay que hacer copia ni nada es simplemente Pinocchio.com a ver lo pongo aquí Pinocchio Pinocchio la dirección es Pinocchio.computer

[Germán] Es una herramienta súper sencilla, tiene un montón de aplicaciones.

[Germán] Si quieres investigar te da para perder todo el tiempo libre que tengas.

[Galileo] de todo, de actitud.

[Germán] De reconocimiento de imágenes también.

[Germán] que quieras.

[Germán] Mira, por ejemplo, para hacer imágenes de cómics, te puedes volver loco.

[Germán] Muy probable, también hay que tener cuidado una cosa, y hacemos referencia al nombre del programa, de ese no vale de las manos, y es que todo esto está evolucionando tanto que es probable que alguno de los proyectos, cuando lo instaléis, pues por lo que sea no funcione, ¿vale?

[Germán] Eso puede pasar, pero con Pinocchio, digamos que esto pasa mucho menos.

[Germán] porque siempre hay un mantenedor de cada uno de los proyectos que se encarga de tenerlo al día.

[Germán] Aquí hay cantidad de proyectos

[Germán] Pues nada, ahí tenéis trabajo.

[Germán] En YouTube también hay mucha información, ¿vale?

[Germán] Si buscáis Pinocchio, pues Pinocchio en YouTube, os seguro que encontré vídeos sobre algunos de estos proyectos y os dice si merece la pena o no.

[Germán] O sea, igual si no tenéis tiempo, alguna otra persona puede haber ya gastado su tiempo en analizarlo y bueno, tenéis la información ahí.

[Germán] Entonces,

[Germán] Hemos instalado Yama, hemos ejecutado el modelo de Yama 3.

[Germán] Ahora nos hemos instalado Pinocchio.

[Germán] Nos hemos instalado el Open Web UI.

[Galileo] un poco más.

[Germán] Estos son los modelos que tengo instalados.

[Germán] Vamos aquí y le damos a... ahora se está ejecutando, por eso aquí no aparece Run, pero aparece Start, me parece.

[Germán] Aquí está el modelo, veis que aquí hay algo dando vueltas y está conectado, está funcionando.

[Germán] Yo lo podría parar, o sea que eso está funcionando por detrás.

[Germán] lo que tenemos que abrir es esta URL, 127.0.0.1, es decir, la máquina local y el puerto 8000.

[Germán] Y si os dais cuenta, si habéis utilizado una de estas GPT, veis que el interfaz de usuario es calcado.

[Galileo] en el proceso.

[Germán] Y esto es una interfaz que utiliza Oyama con el modelo que quieras, de todos los modelos de Oyama,

[Germán] que recordad que están aquí en los modelos, tenéis todos los modelos, también hay una buena ristra de modelos, que se pueden seleccionar.

[Germán] Entonces aquí me da la opción de ejecutar los modelos que tengo instalados, por ejemplo, Llama 3, sería uno.

[Germán] Le decimos arrancar un nuevo chat, seleccionamos el modelo,

[Germán] La configuración se puede utilizar con usuario y contraseña porque guarda el histórico de chats que has hecho, con lo cual aunque sea en local, si compartes el ordenador con otra persona no puede ver los

[Germán] los chats que has hecho con el modelo.

[Germán] Bueno, no lo puede ver.

[Germán] Seguramente, si se mete en el sistema de archivos, como está todo local, pues sí que se puede, pero bueno, eso ya es otro tema.

[Galileo] ¿Quieres decir?

[Germán] Entonces, aquí podemos probarle y le preguntamos, por ejemplo, ¿cuál es el sentido de la vida?

[Germán] Y vais a ver... Bueno, la primera vez tarda un poquito porque ahora mismo está cargando el modelo.

[Germán] vale el modelo pero veis que en cuanto se carga funciona rapidísimo no es como con chat gpt que según la ocupación una vez va más rápido otra vez va más lento aquí siempre va a ir a la misma velocidad si tienes un si tienes un pc más nuevo pues más potente irá más rápido y si tienes uno menos potente pues irá un poquito menos rápido pero básicamente esto depende de la tarjeta gráfica que tengas

[Galileo] cuando tú le dices que le gusta o que no gusta

[Germán] Vale, y bueno, veis que se puede utilizar igual que ChagPT.

[Germán] Sí, porque puedes configurar que envíe telemetría.

[Germán] Bueno, no sé si a Oyama o a los de WebUI.

[Galileo] y un test to speak porque tiene un altavoz ahí.

[Germán] Sí, tiene también lo que no sé si funciona, creo que funciona.

[Germán] A ver.

[Germán] Bueno, sí, sí funciona, pero utiliza el audio del sistema, con lo cual se puede configurar.

[Germán] Es decir, en la configuración sí que puedes conectarle un modelo de voz.

[Germán] No lo he probado.

[Germán] También puedes conectarle un modelo de generación de imágenes, por ejemplo, Automatic 11.11.

[Germán] Se puede conectar también.

[Germán] Es decir, sí, puedes conectar Whisper también.

[Galileo] también, o sea que tiene un tipo de whisper.

[Germán] Tienes que tenerlo instalado y corriendo en la misma máquina aparte.

[Galileo] Whisper para los que no vengan de nuevas es un sistema que es un voz tu texto entonces tú le hablas y funciona muy bien y convierte esa voz a texto.

[Germán] Funciona espectacularmente bien.

[Galileo] en un programa eso nosotros lo utilizamos para que genere los subtítulos entonces Germán puede decir algo y no llegó a decirlo pero era bastante obvio lo que iba a decir y fue flipante porque Whisper lo dijo o sea dice bueno ya no lo dices tú pues tú lo digo yo es a veces que la IA da un poquito de miedo en ese aspecto pero hace ese tipo de cosas

[Germán] Sí, lo he adivinado.

[Germán] Qué bueno, qué bueno.

[Germán] Lo que veo aquí es que se pueden añadir varios modelos a la vez.

[Germán] Eso no he visto lo que es.

[Germán] Mira, por ejemplo, hay un modelo que es el StarCoder.

[Germán] StarCoder que es un modelo para programación.

[Germán] Es exclusivo para programación y solo Stunning.

[Galileo] a nuestro compañero autopilot wow

[Germán] Una especie de autopilot que se puede utilizar también en... Hay una extensión para utilizarlo en Visual Studio Code.

[Germán] Y es un experto en programación.

[Germán] La pega que tiene, o limitación, es que solo se pone a hacer preguntas en inglés.

[Germán] A ver, puedo hacer... Hola.

[Germán] Bueno, voy a hacer un chat nuevo.

[Germán] Un chat nuevo, selecciono el modelo de Starcoder.

[Germán] Y creo recordar que no... A ver, hablas...

[Germán] español y me dice lógicamente como he cambiado el modelo tiene que cargarlo vale aquí también influye la velocidad del disco donde tienes guardado el modelo entonces mira ves hace una cosa rara pero si le dices en inglés write a code in Node.js

[Germán] To calculate number p using fractional series.

[Germán] Creo que es así.

[Germán] A ver qué hace.

[Germán] Aquí sí que... ¡Uy!

[Germán] Se ha liado, yo creo.

[Germán] Sí.

[Galileo] igual cada vez que te lo dejo ahí te lo pruebo así y no sé qué hacer y cógelo sí ya se ha utilizado otro, lo ha cargado súper rápido ya ya ya

[Germán] Yo creo que por el contexto se ha liado.

[Germán] Vamos a intentarlo.

[Germán] Voy a copiarlo.

[Germán] Copy.

[Germán] Creo uno nuevo.

[Germán] Ahora vamos a utilizar otro para comparar, otro modelo de programación.

[Germán] A ver.

[Germán] Mira, aquí sí que lo hace.

[Germán] No, no, el mismo.

[Germán] Claro, ya lo tiene en memoria.

[Germán] lo tiene en memoria.

[Germán] Veis que lo hace muy rápido.

[Germán] Hay veces que el formato... Esto también le pasa a HGPT, con lo cual... Pero bueno, el código lo usa.

[Galileo] Sí, pero eso es el interfés que utilizan ellos, que de repente se ha metido ahí... ...un programa haciendo.

[Germán] Pero, a ver...

[Germán] Esto no es importante porque normalmente este modelo lo vamos a utilizar dentro de Visual Studio Code y el código lo va a poner en la línea.

[Galileo] Pero te están metiendo ahí de un usuario...

[Germán] No, yo creo que se está liando.

[Germán] Ha entrado en un bucle porque hay muchas veces... Esto sí lo he visto yo que ha pasado, que empieza a repetir la misma información todo el rato.

[Galileo] y está hablando de Mongo y mira ahí te dice... Dios santo.

[Germán] Nada, nada.

[Germán] Mongoose.

[Germán] Bueno, no, no, sigue, sigue, lo paro.

[Germán] Vamos a hacer la misma pregunta a otro modelo que es el Code Llama, que está basado en Llama, creo que 2.

[Germán] No sé si es Llama 2 o Llama 3.

[Germán] A ver, tiene aquí la información.

[Germán] No, bueno, este es Code Llama.

[Germán] Este es un modelo de 13.000 millones de parámetros que ocupa bastante más, pero no llega por poquito a los 12 gigas que tengo.

[Germán] Entonces, yo creo que

[Galileo] tendrás que abrir una ventana nueva, ¿no?

[Galileo] Porque...

[Germán] Sí, mejor abrir una ventana nueva para que no utilice el contexto.

[Germán] Vamos a darle aquí.

[Germán] Seleccionamos code llama y le pongo la misma pregunta.

[Germán] A ver qué dice.

[Germán] También ahora tiene que cargarlo.

[Germán] Voy a ver que no

[Galileo] sí en el tipo de preguntas por lo que se ve porque yo al principio también ponía por favor o please o no sé qué dicen que es mejor no ponerlo porque si lo le pones el please el cool you el no sé qué al final se te es que te ve muy formal y se enrolla todavía más o sea las respuestas son más largas entonces por eso es mucho mejor no ponerle el por favor

[Germán] Mira, este sí que me lo ha hecho bien.

[Germán] No entro en si está bien programado esto.

[Galileo] Un saludo.

[Germán] Yo imagino que sí, porque está la fórmula de pi.

[Germán] Es la serie que define al número pi según la serie de Gregory Leibniz.

[Germán] Esto es correcto.

[Germán] Y aquí lo aplica.

[Germán] Y se supone que sí.

[Germán] Esto es una forma de aproximar pi.

[Germán] Entonces hemos visto que modelos diferentes dan respuestas diferentes.

[Germán] Esto es nada más que prueba y error.

[Germán] Te pueden dar pista las diferentes reviews que haya por YouTube.

[Galileo] es muy importante para todo incluso utilicéis hecha gpt que eso me lo comentaba el otro día mi hijo que están poniendo hacen trabajos y hay gente que ni lee nada entonces directamente dice claro que te puede ayudar y bla bla bla bla bla bla

[Galileo] espero que esto haya sido de ayuda y lo ponen en el trabajo o sea por favor yo creo que es muy útil para la educación pero hay que leerlo porque muchas veces además el contenido que da a veces se les va un poco y lo que te da no tiene nada que ver con lo que tú le estás pidiendo entonces o a lo mejor se lo has pedido de una forma no adecuada entonces por eso nos ayudan este tipo de herramientas pero nos hay que revisarlo y en muchos por ejemplo

[Germán] Ché.

[Galileo] está utilizando bueno Gemini te da siempre tres opciones y muchas veces la primera no es la buena entonces para temas por ejemplo de programación tienes que coger y ir a otra porque la primera no es la buena

[Germán] Bueno, para otra cosa que quería enseñar, si le intentas hacer una pregunta a este modelo que no es sobre programación, pues te va a decir que le puedo hacer la misma que le he hecho antes.

[Germán] Igual me deja mal, que esto a veces no responde siempre lo mismo.

[Germán] ¿Cuál es el sentido de la vida?

[Germán] Y creo que Code Llama sí que atiende en español.

[Germán] Y dice Code Llama.

[Germán] Pues sí, aquí sí.

[Germán] Probablemente como está basado en, pero antes lo pregunté y me dijo, no soy un modelo genérico.

[Germán] Entonces solo puedo responder cosas de programación.

[Galileo] al final cuando generáis una imagen en programas de estable difusión se utiliza una semilla y esa semilla es la que lanza hacia dónde va a tirar y luego en estos modelos seguro que en algún sitio podéis programar cuánto de imaginativo quieres que sea o sea cuánto se va la semilla

[Germán] Sí.

[Galileo] mismas preguntas en momentos distintos te pueden dar respuestas distintas sobre todo cuanto más le dejas que se le vaya digamos la imaginación porque puedes decir que sea más estricto o menos estricto

[Germán] No sé si hay algún ajuste de los modelos, pero probablemente sí que lo haya.

[Germán] Aquí están los modelos, pero no veo que haya.

[Germán] Bueno, hay otro modelo que está muy bien, a ver si lo veo aquí en la página de Oyama, que es el modelo este pequeñito, el que había aquí arriba del todo, es el Phi3, que es un modelo de 3,8 billones de parámetros.

[Germán] que este es de Microsoft y está también bastante bien.

[Germán] Vamos a descargarlo, porque no lo tengo descargado.

[Germán] Creo que lo hacía aquí.

[Germán] Si pongo run lo ejecuta, pero puedes hacer pull o llama pull.

[Germán] No, lo borro aquí y cambio este run por pull.

[Germán] Y se lo va a descargar.

[Germán] Ocupa solamente 2.3 gigas.

[Galileo] luego aquí supongo que si dependiendo de quién es el que sirve el modelo pues en algunas páginas irá más rápida y en otras irá súper lento

[Germán] Y luego una vez que esté descargado pues ya lo tenemos, ya no hace falta volverlo a descargar y lo podemos usar.

[Germán] Y si se actualiza el modelo también lo puedes actualizar.

[Galileo] ¿Tienes que refrescar o ya te lo habrá...?

[Germán] Pues no lo sé.

[Germán] A ver, si busco aquí... Sí, efectivamente.

[Galileo] Supongo que tienes que refrescar la página para que refresque...

[Germán] Vale, entonces hago uno nuevo, selecciono Phi.

[Germán] No sé, hago una pregunta que tal vez le gusten hacerle.

[Germán] Este probablemente falle, por eso modelo...

[Galileo] ¿Cuál es tu especialidad?

[Germán] Es tu especialidad.

[Germán] Y probablemente vaya mucho más rápido.

[Germán] Atención.

[Germán] Lo carga.

[Germán] Va a tardar poco porque es un modelo pequeño.

[Germán] Inmediato.

[Galileo] ¿Cuántos idiomas valen?

[Germán] Espera, para quien no lo esté viendo.

[Germán] Como inteligencia artificial, no tengo una especialización personal en la misma medida que un humano.

[Germán] Sin embargo, puedo procesar y analizar grandes cantidades de información en diversas áreas como ciencia, tecnología, ingeniería, humanidades y más.

[Germán] ¿Cuál?

[Germán] ¿Qué me decías?

[Galileo] ¿Cuántas ideas más es capaz de manejar?

[Germán] ¿Cuántos idiomas manejas?

[Galileo] Bueno, por eso se lo pones mal a ver si lo entiende.

[Galileo] Ha puesto Kunat.

[Germán] A ver.

[Germán] Venga, va.

[Germán] A ver cuánto tarda en responder.

[Germán] Es que va rapidísimo.

[Galileo] Puede entender y generar texto en múltiples idiomas incluyendo pero no limitado al español, inglés, francés, alemán, chino, simplificado, ruso, portugués e italiano.

[Galileo] Mi capacidad para manejar diferentes lenguajes depende de la calidad de los datos con los que he sido entrenado y mi programación lingüística está diseñada para ser lo más inclusiva posible en términos de idiomas y diálectos.

[Germán] Dame la misma respuesta en inglés.

[Germán] I can understand, generated text in multiple languages, bla bla bla, lo mismo exactamente.

[Galileo] Y esto corriendo en local y con un modelo de 3 gigas.

[Galileo] Es increíble.

[Germán] Sí, y este modelo probablemente funcione aceptablemente en CPU, sin una gráfica.

[Germán] Solamente tienes que instalar Oyama, cargar el modelo y a funcionar.

[Galileo] A ver, ahí Intel, AMD, otros están trabajando para que los modelos no solo corran en Nvidia.

[Germán] en gráficas.

[Germán] Ahí sobre todo AMD está bastante potente, lo que pasa es que todo eso depende de las librerías que utilizan por debajo, la librería de Torch, hay varias y unas están más optimizadas para

[Galileo] que bueno, Intel tiene OpenVINO que con OpenVINO lo que hace es intentar que todo se optimice y entonces tiras contra la GPU de Intel, contra la CPU de Intel incluso tiene unas cuantas aceleradores de otro tipo que son como chips específicos para las... no me acuerdo ahora como las llaman las MPU o las VTU tienen otras que son para... pero que entonces utiliza esas distintas zonas

[Germán] Sí, el MPU, sí.

[Galileo] para para procesar pero bueno esto es una ahora mismo el que más el que más tira es envidia pero que están intentando otros en añadir para que haya más diversificación existen además programas que lo que haces lo que hacen es parecido a lo llama

[Galileo] funcionan en local y lo que te dicen es cuando los arrancas te dicen qué modelos son los mejores para el hardware que tú tienes.

[Galileo] Miran la CPU que tú tienes, mira si tienes una GPU, una gráfica, miran si tienes mucha memoria o poca y te dan las opciones de los modelos que van a funcionar en tu máquina.

[Germán] Qué bueno, qué bueno.

[Germán] Bueno, entonces hemos visto que Open Web UI es una interfaz para Oyama, pero aquí viene otra forma de verlo.

[Galileo] Ah, yo pensaba que esto no lo ibas a enseñar, lo vas a enseñar.

[Germán] Los que programéis conocéis lo que es esto.

[Germán] Esto es Visual Studio Code.

[Germán] Hay una extensión que se llama Continue.

[Germán] Si habéis utilizado alguna vez Copilot, brutal, brutal.

[Germán] Hay quien no le gusta.

[Galileo] Yo no lo he usado nunca, pero...

[Germán] Brutal, sobre todo cuando tienes que hacer cosas repetitivas te ahorra muchísimo tiempo.

[Germán] Continue no lo he utilizado a fondo.

[Germán] He estado pagando unos meses, por supuesto, unos 10 euros al mes.

[Galileo] Sí, sí.

[Germán] he estado pagando algunos meses que he estado programando, he estado pagando Copilot, ayuda un montón, ¿vale?

[Germán] Pero ahora he tenido una temporada que no programaba, lo cancelé, y justo vi esto, digo, pues esto lo tengo que probar, ¿vale?

[Germán] Entonces, ¿qué es Copilot?

[Germán] O sea, ¿qué es Continue?

[Germán] Continue es una extensión de código abierto, gratuita, que te permite ejecutar... Es un frontend, es decir, una interfaz para modelos de lenguaje.

[Germán] soporta varios proveedores de modelos de lenguaje, entre ellos Oyama, pero también OpenAI, es decir, se puede conectar con GPT, se puede conectar con Gemini, se puede conectar con Cloud, es decir, con los modelos tanto locales como en la nube, de pago y gratuitos.

[Germán] Y, bueno, entre ellos, pues ya lo he dicho, Oyama.

[Germán] Entonces aquí seleccionas el modelo que quieres.

[Germán] ¿Veis que son los mismos modelos que tenías seleccionado?

[Galileo] y el que acaba de instalar se lo tiene ahí

[Germán] el que acabo de instalar ya lo tiene ahí.

[Germán] Entonces es lo mismo, es otro interfaz de Oyama.

[Germán] Entonces puedo, digo voy a hacer un nuevo y le puedo hacer las mismas preguntas.

[Galileo] y tienes como una ventana de contexto y otra o sea una ventana donde y otra de programación si le dices el bling de arduino

[Germán] A ver, tiene varios modelos, uno que usas para, esto es una parte de chat que puedes utilizar para programación o para chat genérico.

[Germán] seleccionaríamos un modelo de, por ejemplo, el code llama.

[Germán] Digo, dame el código del programa Blink

[Germán] en arduino.

[Germán] Es un código muy sencillo, digamos el hola mundo de arduino que enciende y apaga un led cada segundo.

[Galileo] Si, el siguiente ejemplo es más lento.

[Germán] Entonces si lo doy aquí utilizando code llama la primera vez va a tardar de nuevo porque tiene que cargar el modelo.

[Germán] Yo veo aquí la memoria que empieza a subir 8, 6, yo creo que ya lo ha cargado.

[Germán] Aquí lo veis, va un pelín más lento, pues no sé por qué, creo que me ha ocupado parte de memoria del sistema.

[Germán] Yo creo que hay demasiadas cosas corriendo.

[Galileo] Sí, pero bueno, es un ejemplo.

[Germán] No sé si... Sí, es verdad.

[Galileo] Además, tú lo has preguntado en castellano, te lo está comentando en castellano.

[Germán] Pero bueno, vemos que él... Yo antes las pruebas que he hecho funcionaban mucho más rápido, igual que lo hemos visto antes en la web.

[Germán] Como le estamos haciendo perrerías, seguramente tiene algo que...

[Galileo] Sí, que su modelo tiene más de 13 billones, o sea, es un modelo

[Germán] Sí, este cabe justo en 12 gigas, o sea, en una gráfica de 12 gigas cabe perfectamente.

[Germán] Y bueno, lo veis que aquí me ha generado el código.

[Germán] Vale, eso está bien.

[Germán] Pero también puedes decir, no, aquí digo crear un nuevo archivo de texto.

[Germán] Voy a poner uno de C. New field.

[Galileo] con uno de bueno en en C vale eh lo voy a decir yo eh

[Germán] Creamos un proyecto de Arduino.

[Germán] Y aquí ya me dice usa ctrl y para generar código, pues digo ctrl y y me dice pregunta.

[Galileo] pues dile por ejemplo crea en c un programa para iterar los 100 primeros números primos a ver si funciona y te digo si está optimizado o no

[Germán] en c, será los cien primeros números primos.

[Germán] Veis que lo estoy haciendo en español, tenéis que tener en cuenta si el modelo soporta diferentes idiomas.

[Germán] Normalmente los modelos pequeñitos soportan solamente inglés y este que es más grande.

[Germán] Probablemente, bueno, no lo sé si está optimizado.

[Germán] ¿Lo está cargando?

[Germán] ¿Lo ha descargado?

[Germán] Ah, no, no, está cargado.

[Germán] Y no sé qué está haciendo.

[Germán] No sé si está... No, esto de aquí no.

[Galileo] Abajo, abajo.

[Germán] Estos son errores de inicialización, pero por lo que sea no está funcionando.

[Germán] A ver, voy a cerrar esto porque esto seguía abierto.

[Germán] Digo, stop.

[Germán] Antes lo he hecho y me ha rellenado aquí el código súper bien.

[Galileo] a lo mejor es que tienes que empezar... es que yo no he usado nunca dice enter o confirm or expect to run escape ¿cuál era el ejemplo de Arduino por ejemplo?

[Germán] No, no, pero no está funcionando.

[Germán] Voy a hacer una cosa, que es parar la instancia de Oyama, que lo tengo... Uy, es que no está.

[Germán] No está.

[Galileo] se ha caído

[Germán] No sé.

[Galileo] Se me va a enojar un poco el caballo.

[Germán] A ver.

[Germán] A ver.

[Germán] Ah, vale, me dice... Mira, este es el... Este es el log de Oyama.

[Germán] Vale, y dice aquí, invalid option provided.

[Germán] A ver si la configuración... Por aquí le tengo puesto que para el chat utilice por defecto Yamateres y para el auto... ¿Cómo se llama?

[Germán] ¡Ah!

[Galileo] es que es arco de 7b y abajo tenía se lo llama code llama 13 entonces cambiarle abajo y pone el de 7b el de ir a más rápido además que cambies en la esquina de abajo en la donde le preguntabas dice

[Germán] Ganleche.

[Germán] Vale, vale, vale, vale, vale, vale.

[Germán] Es verdad.

[Germán] ¿Cuál?

[Germán] No, a ver, porque esto corresponde con esta parte de modelos y lo que está en el código corresponde con este otro.

[Germán] Ah, mira dónde está.

[Galileo] y descarga y carga cada uno de ellos.

[Germán] Lo está haciendo al final.

[Germán] Lo que no sé si está utilizando... O sea, no sé qué está utilizando, pero ves que lo está programando.

[Germán] Y dime tú si tiene la optimización que esperabas.

[Germán] Probablemente no.

[Germán] Estas herramientas no te convierten en un programador experto.

[Germán] Es decir, si sabes programar, te ayudan.

[Germán] Si no sabes programar, te pueden enseñar a hacer cosas, pero no te van a hacer un programador profesional en dos días.

[Galileo] no no no no no está nada optimizada bueno que es una pasada el que te haga eso y luego el ve como tu programa si te cumplen si del estilo te

[Germán] No está nada optimizado.

[Germán] Probablemente no.

[Germán] Si lo pasamos por chatGPT, chatGPT suele hacer bastantes buenas optimizaciones.

[Germán] Pero bueno, todo esto está empezando.

[Germán] A ver si yo le hago aquí, le pongo, yo que sé, void... No, aquí, vamos a poner bool comprueba gpio y a ver si hace algo.

[Galileo] pero entonces ya está mirando todo el rato lo que escribe de eso a de repente meterle un cepillo yo si te hubiera programado ahí tampoco sabría por dónde vas a tirarlo y de repente hacerlo de él

[Germán] Si se le pasa al contexto, se le pasa a todo.

[Germán] No me hace nada.

[Germán] No, pero comproba el GPIO y puede interpretar que puede ser arduino y que me ofrezca algo.

[Germán] Esta parte no la he probado mucho, pero en Copilot es inmediato.

[Galileo] y eso en autopilot sí que te lo hacía.

[Germán] En cuanto escribes, te he dado aquí el texto en gris y si le das tabulador lo aceptas y hay veces que te hace incluso una función completa.

[Germán] Le das, por ejemplo, el prom en un comentario.

[Germán] Función que comprueba el estado de un pin de entrada-salida.

[Germán] pero no hace nada.

[Germán] A ver, continúe, porque está activado aquí, aquí se ve que está activado.

[Germán] Estaba autocomplete, autocomplete, no lo sé.

[Galileo] supongo que necesitará más contesto pero bueno que el poder tener este tipo de herramientas en local aparte de que te bueno hacer la inversión en la gráfica pero que luego después no tienes que pagar a nivel de que todo tu código no salga afuera porque si no al final tu código cuando sale no sé cómo serán las pero ellos lo pueden por ejemplo en Gemini ya te dicen que todo lo que tú escribes y lo pueda programar

[Galileo] para que lo puede ver un humano con lo cual al final tú le estás dando código que pueden utilizar y es una función súper chula y súper optimizada y ya la ha aprendido y si otro le pregunta le va a dar esa forma.

[Germán] Para entrenar.

[Germán] Pues nada, yo creo que como introducción está bien.

[Germán] ¿Cuánto llevamos?

[Germán] Nos hemos alargado un rato.

[Galileo] El contador, pero al final queríamos hacer uno cortito y me da que no sé

[Germán] Yo creo que nos hemos ido una hora o ahí pico, pero bueno.

[Germán] Pues nada, seguiremos hablando de temas de inteligencia artificial si vemos que os interesáis por algún tema en concreto.

[Germán] Bueno, si os interesa algún tema en concreto, decidnoslo.

[Germán] Lo podéis poner en YouTube.

[Germán] Digamos que es lo más sencillo.

[Germán] Nos hacéis algún comentario en el canal de YouTube.

[Germán] Y, bueno, pues podemos ir adaptándonos a los temas que nos sugiráis.

[Germán] Si no, yo creo que tenemos aquí un filón con el tema de modelos de voz.

[Galileo] Sí.

[Galileo] Mhm.

[Germán] Tenemos pendiente.

[Germán] Tenemos pendiente también modelos de imagen.

[Germán] Y bueno, algo que me gustaría hacer es enseñaros cómo hacer las enradillas estas que hacemos con voces conocidas o voces, digamos, falsificadas.

[Germán] ¿Vale?

[Germán] Haremos también un juego de cambiarnos la voz, Galileo y yo.

[Galileo] eso es bueno para que entendáis lo fácil que es ahora mismo que te graben

[Germán] Sí.

[Galileo] con que tengan una foto tuya y tengan un poco de audio son capaces de imitarte con lo cual eso es importante decírselo sobre todo a nuestros mayores para que estén atentos y normalmente pues siempre lo utilizan hay algo dramático para que tengan que reaccionar e intentar engañarlos entonces yo alguna de estas herramientas ya se las he enseñado a mis padres para que vieran

[Germán] Eso es.

[Galileo] que fíjate lo fácil que es cambiar mi voz esa persona que está hablando no soy yo y suena como yo entonces cuando les dices eso luego enseguida dicen así si es verdad no eres tú pero pero da el pego entonces es bueno que lo sepan para para evitar engaños porque al final sabemos que los malos como ganan dinero cada vez invierten más dinero en estafar a gente entonces es importante que

[Galileo] que pues eso que les comentemos que existen estas cosas eso de temas también de temas de estafas y de temas de ciberseguridad también podemos hablar entonces al final es importante que nos deis vuestros comentarios pues para para llevar el podcast el canal de youtube hacia donde vosotros queráis pues nada muchísimas gracias

[Germán] Pues nada, un mes más.

[Germán] A ver si en este mes que nos queda para publicar otro, conseguimos que no se nos vaya de las manos.

[Galileo] ¡Ciao!

[Galileo] ¡Hasta la próxima!

[Germán] Chao.