W.A.I.
Posts
W.A.I. #39

W.A.I. #39

Dall-E 3 desata el hype, aprende a editar vídeo con texto y deja que la Ia IA ligue por ti

David Garrido
September 24, 2023

Bienvenida/o a otra edición de WAI.

Quiero empezar hoy diciendo que intentaré no dar más la brasa como cada semana con que cada vez hay más y más noticias, vamos a asumirlo como norma hasta que llegue el próximo verano porque parece que así va a funcionar la cosa de aquí en adelante.

Y es que, aunque no lo parezca, estamos en la casilla de salida de un nuevo ciclo en la IA, el ciclo multi-modal. Con los anuncios de esta semana se va definiendo esa nueva realidad que nos permitirá integrar en un mismo modelo distintos formatos de forma fluida.

Yo personalmente creo que va a ser una nueva revolución por la ingente cantidad de casos de uso que se desbloquean. También creo que la turra que nos van a dar con los clásicos “RIP lo que sea” y “58 usos que no conocías de…” va a ser épica. Así que prepara tus filtros de spam.

Dicho esto, vamos al lío, que hay mucha tela que cortar.

Empezamos.

🗻 TOP 10 - Si solo tienes 2 minutos, esta es tu sección.

▶️ Dall-E 3 es una realidad y los ejemplos que están mostrando nos ponen los dientes largos con la capacidad de entendimiento de los prompts. Podremos probarlo en octubre.

▶️ Numerosos rumores apuntan a que OpenAI va a mover ficha y anunciar algo para eclipsar el estreno de Google Gemini. Podría tratarse de GPT-Vision, modelo multimodal con GPT-4.

▶️ Microsoft aprovechó su conferencia de esta semana para avanzar más detalles de Copilot, su asistente global.

▶️ Bard se actualizó con la posibilidad de conectarse a otras aplicaciones de Google como Docs, Gmail o Drive y con un modo para validar sus respuestas buscando en la web.

▶️ Google anunció una serie de nuevas herramientas con IA para ayudar a los creadores de contenido en youtube.

▶️ 38Tb de datos han sido expuestos accidentalmente desde Microsoft AI.

▶️ GitHub Copilot ChatBeta ya está disponible para todos.

▶️ DeepMind presenta AlphaMissense, un modelo para detectar cambios genéticos que afectan a las proteínas.

▶️ El vídeo de inicio de temporada que ha creado DotCSV es una maravilla para entender de dónde venimos y hacia dónde nos dirigimos en el mundo de la IA.

▶️ Amazon va a hacer un lavado de cara completo a Alexa potenciándola con IA.

🐔 Tuit de la semana

▶️ Este tipo de respuestas son las que ayuden a creer que este tipo de modelos razonan o piensan.

🏆️ Imagen de la semana

▶️ Cuando vemos avances como Dall-E 3, conviene echar la vista atrás y ver de dónde venimos. Este hilo trae algunas de las generaciones más míticas de los modelos de difusión, no tiene desperdicio.

🛠️ La Cacharrería (si eres de probar las cosas, estás en el lugar adecuado)

▶️ Genera gráficos de textos o urls con esta demo.

▶️ ¿Recuerdas el modelo SAM de meta? Es ese que te permitía segmentar las imágenes con una precisión increíbles, detectando objetos, personas, etc. Pues aquí tienes una demo en HuggingFace para probarlo en el navegador.

▶️ Generative iImage Dynamics convierte imágenes estáticas en dinámicas e interactivas. Prueba la demo y lo entenderás a la perfección.

▶️ Homenaje al grandísimo Botero con este modelo que puedes probar y que permite generar retratos en su genial estilo.

🖼️ Imágenes

▶️ Esta idea cuesta un poco de explicar con palabras así que recomiendo darle y probarla directamente. Se podría decir que te permite generar imágenes que revelan distintos sujetos depende de si se ven normal o giradas 180 grados.

León

Cabra

▶️ Photo-Verse permite personalizar modelos de difusión con tan sólo una imagen de partida.

▶️ Prueba tus propios LoRAs de SDXL dentro de HuggingFace.

▶️ Hilo comparando Dall-E 3 y Midjourney.

▶️ Aperture 3.5 es el nuevo generador de imágenes de Lexica.

▶️ El nuevo modelo ControlNet-XS parece mejorar en muchos aspectos a su hermano mayor a la hora de controlar la generación de imágenes.

✏️ Texto

▶️ OpenAI lanza su interfaz gráfica para ver y hacer fine-tuning.

▶️ Y a su vez OpenAI ahora permite hacer fine-tuning de modelos que hayas generado haciendo fine-tuning.

▶️ Brex Assistant es un agente que te ayuda a gestionar tus gastos. Viene de la mano de Pietro Schirano, que suele ser garantía de calidad.

▶️ Nueva técnica de prompting llamada Chain of Density para resolver los resúmenes de texto en los LLMs.

▶️ YouAgent es la primera alternativa online a Code Interpreter de la mano de You.com.

▶️ Rumor que dice que hay un nuevo proyecto llamado “Gizmo” en OpenAI, con nueva UI y mejoras para la versión enterprise de ChatGPT.

▶️ Nougat es un modelo que permite extraer texto complejo de documentos científicos, abriendo la puerta de nuevos datos de entrenamiento. Aquí tienes una demo para probarlo.

▶️ Si crees que puedes ayudar a OpenAI y su Red Team a mejorar la seguridad de sus modelos, puedes probar suerte mandando tu solicitud aquí.

▶️ El nuevo modelo GPT-3.5 Turbo Instruct es una muy buena alternativa cuando no necesitamos un modo chat y sólo queremos que siga instrucciones.

▶️ Ya está disponible el primer ChatGPT jurídico por 50€ al mes.

▶️ La centralita de recursos y ejemplos (cookbook) de OpenAI recibe un lavado de cara.

🧱 Diseño / 3D

▶️ Fabricator es una herramienta que permite el Text-to-Textile, es decir, generación de texturas de tejidos a partir de texto.

▶️ Han conseguido usar Gaussian Splatting para escanear unas zapatillas y usarla en Realidad Aumentada con el iphone.

▶️ Polycam mejora su Room Mode para escanear espacios en 3D. Es bastante impresionante como con el móvil puedes sacar un 3D de tu casa.

▶️ Texture Synthesis via Diffusion Models, o lo que es lo mismo, Text-to-Texture. Creación de texturas para modelos 3D a partir de texto y con Colab para probarlo.

🎥 Vídeo

▶️ VideoGen es una nueva aproximación a la generación de vídeo a partir de texto.

▶️ M3DDM es un modelo especialmente pensado para hacer outpainting en vídeo.

▶️ Hilario Abad explica en este vídeo el futuro de la edición de vídeo, podrás hacerlo a partir de texto, como si editaras un documento.

▶️ Paso a paso de cómo crear un personaje hablando con sincronización labial.

▶️ Genmo anuncia Replay, un modelo para generar vídeos a partir de texto que ya puedes probar gratis en su web.

▶️ ProPainter es un modelo que permite hacer inpainting en vídeo, lo cual te deja desde quitar marcas de agua a quitar sujetos en tus clips.

📻️ Todo lo demás

▶️ Esta aplicación usa la IA para chatear por ti en aplicaciones de ligar y, dicen, te consigue muchas citas.

▶️ ¿Sabe Sam Altman lo que está creando? No es sólo que el artículo en sí sea muy interesante, me lo he leído sin hacer trampas con la IA, también es relevante quién lo comparte: el ex CEO de Google.

▶️ ¿Puede la IA mejorar el acceso a la salud mental?

▶️ Artículo que habla de los influencers artificiales chinos que hacen streamings las 24 horas.

▶️ Uso de la IA para ayudar a combatir los incendios en Canadá.