W.A.I. #51

Bienvenido/a a otra edición de WAI, la primera de 2024, así que ¡feliz año!

Antes de empezar, tengo que confesar que me he vuelto a pasar tres pueblos y esta edición se sale de los límites de gmail, así que te recomiendo encarecidamente darle a “leer online” arriba a la derecha si estás desde el correo para no perderte nada.

Dicho esto, también me gustaría pedir ayuda para recoger tu opinión sobre la newsletter e intentar mejorarla esta nueva temporada. Puedes contestar a este mail, escribirme por Twitter o mandar señales de humo. Sea como sea, te estaré muy agradecido.

Y no me enredo más, ahora vamos al lío, que hay mucha tela que cortar.

Empezamos.

Índice de Contenidos

• Lo mejor de la semana

• La Cacharrería (demos y herramientas IA)

• Imagen

• Texto

• Vídeo

• Diseño 3D

• Todo lo demás

• Formación y tutoriales

🗻 TOP 10 - Si solo tienes 2 minutos, esta es tu sección.

▶️ Bard Advanced, junto a varias nuevas funcionalidades, podrían estar de camino para el asistente de Google.

▶️ Mistral podría sacar un modelo open source del nivel de GPT-4 en 2024.

▶️ The New York Times va con todo y demanda a OpenAI por infringir el copyright y usar sus artículos para entrenar sus modelos.

▶️ Perplexity, el buscador con IA, logra una ronda de 73,6 millones. Y casi tan importante como la cantidad es quién está detrás: Nvidia, Jeff Bezos o DataBricks entre otros.

▶️ Midjourney comenzará a entrenar su modelo de vídeo en enero.

▶️ OpenAI anuncia la llegada de la GPT Store la próxima semana.

▶️ Parakeet es un modelo para pasar voz a texto que supera a Whisper (andan Nvidia y Suno detrás). De paso he descubierto que hay una tabla para clasificar estos modelos llamada Open ASR Leaderboard.

▶️ Ya comentamos que Midjourney parecía que se estaba metiendo en líos por temas de copyright y aquí hay algunas pruebas, presuntamente, de las “mañas” que usan para incorporar artistas a sus modelos.

▶️ Pinokio, la plataforma para descargar e instalar fácilmente aplicaciones IA se actualiza a su versión 1.0.

▶️ Apple ha compartido Ferret, su primer modelo de lenguaje y además es multimodal.

🐔 Tuit de la semana

▶️ Evolución animada de la clasificación de modelos de lenguaje según ChatBot Arena.

🏆️ Imagen de la semana

Sé que igual de primeras es complicado entender de qué va, pero este vídeo se va generando según el usuario avanza por el “entorno”.

Es obra de Ilumine AI y, para entendernos, es una especie de videojuego que se va construyendo en tiempo real. Parecido a una de las ideas que a veces comenta el CEO de Midjourney.

🛠️ La Cacharrería (si eres de probar las cosas, estás en el lugar adecuado)

▶️ Demo en Hugging Face de DreaMoving, uno de esos modelos que ponen a bailar a cualquier persona.

▶️ FalAI ha añadido el modelo Marigold para estimar profundidad a su repertorio de herramientas y lo puedes probar aquí.

▶️ Colab para probar MotionCtrl y generar vídeos controlando el movimiento de cámara.

▶️ Colab de LRM que permite crear modelos 3D a partir de una única imagen.

▶️ Demo del TTS de TikTok para narrar cualquier texto.

▶️ Prueba i2vgen-xl en Replicate, generador de vídeos en 16:9 a 1280×704.

▶️ Okio permite generar bases musicales a partir de texto, en este Colab lo puedes comprobar. El nivel de calidad me ha sorprendido para bien.

▶️ ¿Quieres usar tu cara en generación de imágenes con IA? En esta demo de IP-Adapter-FaceID sólo tienes que subir tu foto y a funcionar, no hace falta entrenar nada.

Demo de DreamTalk, modelo para animar una cara en función de cualquier audio.

🖼️ Imágenes

▶️ ¿Cuál crees que es la palabra más usada en los prompts de Midjourney? La respuesta es del propio CEO David Holz.

▶️ PICTURE es un nuevo modelo para realizar cambios de ropa a los personajes que quieras. En el vídeo aparecen un millón de pruebas y todas buenas.

▶️ Nikon, Sony y Canon, buscan la forma de luchar contra los deep fakes proponiendo firmas digitales en la fotos reales.

▶️ Personalized Restoration es un nuevo modelo de Snapchat que recupera detalles de imágenes usando referencias de los sujetos.

▶️ DiffMorpher demuestra la capacidad de los modelos de difusión para hacer transiciones entre dos imágenes. Y hay demo para probarlo.

▶️ Midjourney lanza su primera actualización de la versión 6, con mejoras en comprensión de prompt, coherencia, calidad, creación de texto y más.

▶️ Alibaba sigue sacando modelos como churros y con AnyText permiten editar texto en imágenes manteniendo estilo y fuente. Demo disponible ;).

▶️ HD-Painter es un modelo para hacer inpainting en alta resolución.

▶️ Como dicen desde CivitAI, recordatorio de que el módulo AnimateDiff v3 ya está disponible para crear animaciones más suaves.

▶️ Genial portada de El Jueves uniendo IA con Mortadelo y Filemón.

✏️ Texto

▶️ Ya se puede seguir la pista al gasto de cada API de OpenAI de forma independiente.

▶️ Conjunto de “trucos” para ayudar a sacar el máximo rendimiento de GPT-4.

▶️ Breve tutorial sobre cómo añadir fuentes de información externa a los bots generados en Poe.

▶️ Dani Sevilla comparte su herramienta para integrar custom GPTs en cualquier página web.

▶️ Listado de modelos de lenguaje específicos para diferentes idiomas publicado por Omar Sanseviero, de Hugging Face.

▶️ Cómo trollear a los chatbots comerciales de ciertas tiendas online.

▶️ Este semana OpenAI ha apagado muchas de las versiones antiguas de GPT-3, como ya habían avisado.

▶️ Anthropic ha cambiado los términos de uso de Claude y ha añadido cláusulas chungas.

▶️ GitHub Copilot Chat ya está disponible para todo el mundo.

🎥 Vídeo

▶️ VideoDrafter es un modelo que genera vídeos pero que tiene la particularidad de que es capaz de crear varias escenas manteniendo la consistencia. De este recomiendo ver el vídeo.

▶️ Transfiere el movimiento de un vídeo a otro nuevo generado a partir de texto con Diffusion Motion Transfer (listo para probar en Replicate)

▶️ En la última edición te hablé de PIA, modelo para crear vídeos con instrucciones de texto y ya se puede probar en esta demo de Hugging Face.

▶️ Por si alguien no se había enterado todavía, Pika 1.0 ya está abierto a todo el mundo.

▶️ Assistive Video es una nueva plataforma para crear vídeos a partir de texto e imagen. Tiene buena pinta.

▶️ Utiliza Stable Video Diffusion en FalAI con el añadido de poder enmascarar qué partes quieres que se muevan y poder controlar el vídeo mediante mapas de profundidad.

▶️ Pasó un poco desapercibido, pero Meta anunció Fairy, su modelo de edición de vídeo.

▶️ Rope-Ruby es una nueva herramienta para hacer deep fakes, rápida y sencilla de usar (que no de instalar).

🧱 Diseño 3D

▶️ Gran repaso de todas las herramientas que ofrece Meshy AI para la creación de modelos 3D.

▶️ No es 3D en sí, pero su uso será casi siempre para este ámbito. DiffusionLight permite estimar la iluminación de cualquier imagen usando una bola cromada con modelos de difusión. Traducción: podrás iluminar escenas 3D a partir de cualquier imagen.

▶️ RichDreamer es un nuevo modelo para pasar de texto a 3D propuesto por Alibaba.

▶️ Creación de avatares 3D animables y reiluminables a partir de vídeos 360º.

▶️ Paint-it crea texturas PBR de alta calidad a partir de texto para tus modelos 3D.

▶️ 3D Fauna es un modelo para generar animales en 3D a partir de una imagen. Viene con Demo incluida.

▶️ En3D permite generar avatares animables a partir de una imagen o texto. Tiene buena pinta.

📻️ Todo lo demás

▶️ OpenVoice es un modelo de clonado de voz que sólo necesita unos segundos para funcionar. Te dejo por aquí un Colab porque la sección cacharrería ya estaba hasta las cejas.

▶️ El próximo 17 de enero Samsung anunciará su nueva era de los móviles IA.

▶️ Microscopios con IA demuestran gran potencial para la detección efectiva de cáncer.

▶️ Parece que Duolingo va a dejar de contar con muchos de sus traductores y empezará a sustituirlos por IA.

▶️ Musicfy es una herramienta para crear música a partir de tu voz. Se puede probar gratis en su web.

▶️ Ejemplo de cómo un modelo que puede hacer click con precisión siguiendo coordenadas X/Y crear y publica un tuit de forma autónoma. Los agentes poco a poco empiezan a volver a tomar protagonismo y eso mola.

▶️ DeWave es una investigación que permite trasladar pensamientos a texto usando IA.

▶️ Un profesor chino usó la IA para escribir una novela de ciencia-ficción y ganó un premio a nivel nacional.

▶️ Interesante la historia de Sarah, una de las primeras personas con un brazo con IA como prótesis.

▶️ Implementación para usar Whisper casi en tiempo real.

▶️ Google escribió la “constitución de los robots” para evitar riesgos con las máquinas en el futuro.

🎓️ Formación y tutoriales

▶️ Patricio Fernández nos explica maravillosamente cómo crear una aplicación con Stable Diffusion y ComfyUI.

▶️ Guía para hacer fotografías profesionales de cualquier persona en 2 minutos.

▶️ Tutorial para crear personajes personalizados consistentes usando LeonardoAI.

▶️ Y si prefieres usar Scenario para crearlos, aquí tienes otro tutorial para generar AInfluencers.

▶️ Breve explicación de cómo funcionan por debajo los modelos de difusión a la hora de generar imágenes.

▶️ Guía rápida (30 segundos) para entrenar un LoRA.

🍅 Salseo

Me encanta retomar esta sección con noticias como la siguiente:

▶️ Michael Cohen, abogado que en su día trabajó para Trump, ha hecho la jugada de citar casos que no existen en un juicio porque Bard se los sugirió. (Quién le mandaría confiar en Bard).

▶️ Probablemente no sea nada, pero vuelven a salir a la palestra los posibles problemas financieros de Stability. Esta vez desde Forbes.

También es cierto que a su CEO no parece afectarle demasiado.