W.A.I.
Posts
W.A.I. #40

W.A.I. #40

OpenAI mete el turbo, Meta tiene unas Ray-ban con IA y ¿podremos hablar con los animales?

David Garrido
October 01, 2023

¡Bienvenida/o a otra edición de WAI!

Cumplimos 40 entregas persiguiendo noticias sobre Inteligencia Artificial y pocas semanas hemos tenido con más novedades que la actual.

Si has vivido en una cueva, échale un ojo al top 10 de hoy porque cualquiera de los titulares, a poco que te guste este mundillo, te parecerá súper interesante.

Y si más o menos te has enterado de los grandes hitos de esta semana, no te preocupes, te dejo unas cuantas demos con las que matar el tiempo el domingo y otras casi 50 noticias interesantes que ojear, porque no todo es OpenAI y Meta sacando pecho.

También hay formación, algún que otro paper, pero bueno, eso ya lo sabes, así que no incordio más y te dejo con lo bueno.

Empezamos.

🗻 TOP 10 - Si solo tienes 2 minutos, esta es tu sección.

▶️ ChatGPT podrá comprender y crear imágenes, podrá entender audios y comunicarse con voz y todo ello en un par semanas.

▶️ Ya se puede utilizar Dall·E 3 de manera gratuita tanto en BingChat como en la web de Bing.

▶️ Esta semana fue el Meta Connect y Mark Zuckerberg anunció muchísimas cosas interesantes relacionadas con IA, aquí hay un mini resumen.

▶️ Entre los anuncios de Meta, uno se llevó la palma: las nuevas ray-ban con Inteligencia Artificial integrada.

▶️ ChatGPT añade de nuevo la capacidad de navegar por internet.

▶️ El antiguo responsable de diseño de Apple, Jony Ive, y OpenAI parece que se van a unir para tratar de crear el “iPhone de la IA”.

▶️ Primera muestra de los avatares realistas en el Metaverso con esta conversación entre Lex Fridman y Mark Zuckerberg. Merece mucho la pena verlo en movimiento.

▶️ En Europa tocará esperar para poder usar el copilot de Windows 11 por temas legales.

▶️ Spotify anuncia la traducción de podcast con IA manteniendo las voces originales.

▶️ Amazon invierte 4 billones de dólares en Anthropic, creadores de Claude.

🐔 Tuit de la semana

▶️ El nuevo y ambicioso dispositivo de Humane (es una alternativa al móvil) hizo su aparición en la Paris Fashion Week.

🏆️ Imagen de la semana

▶️ Lo mejor que he visto generado con AnimateDiff.

Probably the most impressive thing I've tested this year. One thing's for sure: it's addictive!
#AnimateDiff
— Remi (@remi_molettee)
2:43 PM • Sep 28, 2023

🛠️ La Cacharrería (si eres de probar las cosas, estás en el lugar adecuado)

▶️ Genial demo para generar imágenes con este LoRA de instrucciones del Ikea.

▶️ La mayor librería de emojis, con cerca de 250k, en la que puedes generar los tuyos propios desde aquí.

▶️ Upside-Down Diffusion es una demo para probar a hacer ilusiones visuales en las que puedes ver una imagen al derecho y al revés como vimos la semana pasada.

▶️ Demo de Qwen-14b, chatbot de Alibaba.

▶️ En esta ocasión podrás probar a generar imágenes como las que se han hecho virales estos días, usando un patrón para ocultar mensajes o logos.

🖼️ Imágenes

▶️ Office Hours con las novedades de Midjourney del pasado miércoles.

▶️ Hilo con algunos test que ha realizado Pietro Schirano con Dalle·E 3.

▶️ Shopify anuncia su primera demo en HuggingFace, se trata de una herramienta para cambiar el fondo a imágenes de producto.

▶️ Instant-LoRA, generador de LoRAs sin entrenamiento (aunque parece que sólo para ComfyUI)

▶️ Poe anuncia que incorporará Stable Diffusion XL a su plantilla de chatbots.

▶️ Espacio de Hugging Face donde puedes combinar y usar varios LoRAs para generar imágenes.

▶️ El nuevo Pixel 8 parece que tendrá un modo para sustituir las caras en tus fotografías.

▶️ Elements es la nueva mejora de LeonardoAI, que permite la integración de la plataforma con LoRAs.

▶️ En esta demo puedes probar InstaFlow, para la generación de imágenes casi instantáneas.

▶️ FusionArt permite generar esas creaciones virales con patrones dentro de la propia imagen.

✏️ Texto

▶️ Una de las primeras reviews del nuevo modelo de visión de ChatGPT de la mano del fundador de Roboflow.

▶️ Ya puedes apuntarte para ver la keynote de OpenAI el próximo 6 de noviembre.

▶️ Comparativa entre el finetuning de GPT-3.5 y el de LLaMA 2.

▶️ La CIA estaría construyendo su propio chatbot tipo ChatGPT.

▶️ Consejos a la hora de realizar prompts usando contextos muy grandes con Claude.

▶️ Actualización y Colab de Open Interpreter, la alternativa a Data Analyst de OpenAI.

🧱 Diseño / 3D

▶️ Polycam ha integrado la creación de Gaussian Splatting en su plataforma.

▶️ Esto debería caer en una nueva categoría llamada ciencia-ficción o similar. Recreaciones 3D con gaussian splatting, en vídeo y visualizadas con realidad virtual. De locos.

Behold! AR gaussian splatting on iOS with Metal and ARKit 📱
Check out this sweet demo by @laanlabs featuring volumetric video by @8Infinite8.
Wonder how such approaches compare to what Apple is doing with their spatial media format for Vision Pro 🤔
— Bilawal Sidhu (@bilawalsidhu)
4:11 PM • Sep 22, 2023

▶️ Ejemplo de juego que usa en su mecánica modelos de lenguaje en sus personajes. Eres un detective que debe resolver un caso y los NPCs son IAs. Lo puedes probar gratis.

▶️ Así luce Gaussian Splatting dentro de Unreal Engine 5.

▶️ Gran ejemplo de combinación de Blender con Stable Diffusion como motor de render.

▶️ DreamGaussian es un modelo que pasa de texto a 3D usando Gaussian Splatting. Si pinchas en la imagen tienes varios Colabs para probarlo.

▶️ Proceso de creación de un gaussian splatting de una escena en Nueva Delhi.

▶️ Simulon + Blender combinados para crear un robot de Evangelion en Ciudad del Cabo.

🎥 Vídeo

▶️ Esta semana he visto mucho relacionado con AnimateDiff para la creación de vídeo, aquí por ejemplo una muestra de su nueva versión para ComfyUI sin límite de contexto.

▶️ Las previsualizaciones de texto a vídeo en Runway se han actualizado (y mejorado).

▶️ Uno de los vídeos más realistas que he visto generados con IA.

📻️ Todo lo demás

▶️ Ya hay herramientas con IA están ayudando a monitorizar problemas de salud mental.

▶️ Segunda parte del informe que sacó Sequoia Capital hace un año sobre IA generativa.

▶️ Chan Zuckerberg quiere construir un súper ordenador IA para hacer investigación médica.

▶️ Microsoft presenta AutoGen, una plataforma para el uso y conexión avanzados de agentes autónomos para modelos de lenguaje.

▶️ Cómo la IA puede ayudarnos a entender cómo funcionan la células y ayudar a curar enfermedades.

▶️ Los creadores Rask tienen esta nueva herramienta llamada BraskMask para hacer Deepfakes en vídeo.

▶️ La IA podría permitirnos finalmente hablar con los animales.

▶️ La huelga de escritores en EEUU acaba con algo sorprendente, ambas partes parecen satisfechas y los acuerdos son bastantes razonables.

▶️ Los usuarios de Be my eyes pronto podrán usar Be my AI, un nuevo paso para mejorar la accesibilidad a personas con problemas de visión o audición gracias a la IA.

▶️ Este modelo enfocado al ámbito médico de India supera tanto a GPT-4 como a MedPaLM.

▶️ Ya se ha estrenado la película The Creator, con temática Inteligencia Artificial y una muy buena pinta.

▶️ Interesante comparativa de un muy buen doblaje al castellano frente a la versión original y la versión generada por IA.

🎓️ Formación y tutoriales

▶️ Cómo entrenar LLaMA 2 paso a paso para no programadores.

▶️ Si tienes curiosidad y tienes coco, imagino que este tutorial de 90 minutos de Jeremy Howard sobre los modelos de lenguaje te gustará. Yo honestamente no doy para tanto.

▶️ Cómo funciona el RLHF en los modelos de difusión de la mano del investigador jefe de Stability (Stable Diffusion).

▶️ Cómo funciona la IA generativa con un gusto exquisito de la mano del Financial Times.

▶️ Guía para elegir GPU y otros componentes para usar la IA en local.

▶️ Tutorial paso a paso para utilizar AnimateDiff y sus nuevas mejoras para crear animaciones.

📜 Papers, please.

▶️ Google saca otro paper prometedor, esta vez permite la recreación de imágenes completas a partir de referencias.

▶️ Generación de imágenes con texto enriquecido. Puedes usar colores en el texto, negrita o cursiva para modificar el peso o atributos de los elementos de la imagen.