APRENDIZAGE DE LA INFORMATICA
Voy a decepcionar a todas las personas en informática y aprendizaje automático porque voy a dar una conferencia pública genuina. Voy a intentar explicar qué son las redes neuronales, qué son los modelos de lenguaje, por qué creo que lo entienden. Tengo una lista completa de esas cosas y al final voy a hablar brevemente sobre algunas amenazas de la IA y luego hablaré sobre la diferencia entre redes neuronales digitales y analógicas y por qué creo que esa diferencia es tan aterradora. Desde la década de 1950 ha habido dos paradigmas para la inteligencia. El enfoque inspirado en la lógica cree que la esencia de la inteligencia es el razonamiento y eso se hace mediante el uso de reglas simbólicas para manipular expresiones simbólicas. Solían pensar que el aprendizaje podía esperar. Cuando era estudiante, me dijeron que no trabajara en el aprendizaje, eso vendrá después, una vez que entendamos cómo representar las cosas. El enfoque inspirado en la biología es muy diferente, cree que la esencia de la inteligencia es aprender las fortalezas de las conexiones en una red neuronal y el razonamiento puede pesar. No te preocupes por el razonamiento por ahora, eso vendrá después, una vez que podamos aprender cosas, así que ahora Voy a explicar qué son las redes neuronales artificiales y aquellas personas que saben pueden simplemente divertirse. Un tipo simple de neurona tiene neuronas de entrada y neuronas de salida, por lo que las neuronas de entrada pueden representar las intensidades de los píxeles en una imagen, las neuronas de salida pueden representar las clases de objetos en la imagen, como un perro o un gato, y luego hay capas intermedias de neuronas, a veces llamadas neuronas ocultas, que aprenden a detectar características que son relevantes para encontrar estas cosas. Entonces, una forma de pensarlo es si quieres encontrar un pájaro en una imagen, sería bueno comenzar con un detector de características que detecte pequeños fragmentos de borde en la imagen en varias orientaciones y luego podrías tener una capa de neuronas que detecte combinaciones de bordes como dos bordes que se encuentran en un ángulo fino, que podría ser un pico o no, o algunos bordes que forman un pequeño círculo y luego podrías tener una capa de neuronas que detecte cosas como un círculo y dos bordes que se encuentran que parecen un pico en la relación espacial correcta, que podría ser la cabeza de un pájaro y finalmente podrías tener una neurona de salida que diga «Bueno, si encuentro la cabeza». de un pájaro y la pata de un pájaro y el ala de un pájaro probablemente sea un pájaro así que eso es lo que estas cosas van a aprender a ser ahora los pequeños puntos rojos y verdes son los pesos en las conexiones y la pregunta es quién establece esos pesos así que aquí hay una manera de hacerlo que es obvia es obvio para todos que funcionará y es obvio que tomará mucho tiempo empiezas con pesos aleatorios luego eliges un peso al azar ese pequeño punto rojo y lo cambias ligeramente y ves si la red funciona mejor tienes que probar en un montón de casos diferentes para realmente evaluar si funciona mejor y haces todo ese trabajo solo para ver si aumentar este peso un poco o disminuirlo un poco mejora las cosas si aumentarlo lo empeora lo disminuyes en cierto modo ese es el método de mutación y así es como funciona la evolución un para la evolución es sensato trabajar así porque el proceso que te lleva del genotipo al fenotipo es muy complicado y está lleno de eventos externos aleatorios así que no tienes un modelo de ese proceso pero para las redes neuronales es una locura porque tenemos porque todos estos cálculos se están realizando en la red neuronal tenemos un modelo de lo que está sucediendo y entonces podemos usar el hecho de que sabemos lo que sucede en ese pase hacia adelante en lugar de medir cómo afectaría un cambio de peso a las cosas en realidad calculamos cómo afectaría el cambio de peso a las cosas y hay algo llamado retropropagación donde envías información de vuelta a través de la red la información es la diferencia entre lo que tienes y lo que querías y averiguas para cada peso en la red al mismo tiempo si debes disminuirlo un poco o aumentarlo un poco para que sea más parecido a lo que querías ese es el algoritmo de retropropagación lo haces con cálculo en la regla de la cadena un y eso es más eficiente que el método de mutación por un factor del número de pesos en la red así que si tienes un billón de pesos en tu red es un billón de veces más eficiente así que una de las cosas para las que se usan a menudo las redes neuronales es reconocer objetos en imágenes las redes neuronales ahora pueden tomar una imagen como la que se muestra y producir en realidad un título para la imagen como salida y la gente intentó con aire simbólico hacer eso durante muchos años y ni siquiera acercarme, um, es una tarea difícil, sabemos que el sistema biológico funciona con una jerarquía de detectores de características, por lo que tiene sentido probar redes neuronales en eso y en 2012, dos de mis estudiantes IA y Alvi , con un poco de ayuda de mi parte, demostraron que se puede hacer una red neuronal realmente buena de esta manera para identificar mil tipos diferentes de objetos.
.