La Dra. Judith Bishop es directora sénior de especialistas en IA para la región APAC/EE. UU. en Appen. Está liderando y haciendo crecer un equipo de primer nivel de lingüistas altamente calificados y experimentados, lingüistas computacionales y expertos en todos los modos de comunicación humana (habla, escritura y gestos), para entregar datos de entrenamiento de IA con una combinación inigualable de calidad y velocidad.
¿Qué le atrajo inicialmente de la lingüística?
Escuché por primera vez sobre lingüística de un profesor de inglés favorito en la escuela secundaria. Yo era uno de esos niños que se sienten igualmente atraídos por las lenguas extranjeras y las humanidades, y las materias de matemáticas y ciencias. La lingüística es la ciencia de cómo funciona el lenguaje, por lo que me unió esos intereses. Como tantas personas, una vez que me enteré, me enganché por completo. ¿Qué podría ser más fascinante que cómo nos comunicamos nuestros pensamientos y sentimientos? La lingüística explora las estructuras del lenguaje que, a pesar de todas las diferencias en los sonidos y los sistemas de escritura, a menudo son similares bajo la superficie, ya que todas son un producto, en última instancia, de nuestra existencia humana común.
¿Podría compartir la historia de génesis de cómo se encontró trabajando en IA?
He trabajado en Appen desde 2004 apoyando el desarrollo de productos y servicios de tecnología lingüística. Durante este tiempo, la IA se ha convertido en un marco, una misión y una visión integrales para que la tecnología imite y amplíe las capacidades humanas de comunicación, razonamiento y percepción. En 2019, mi equipo se renombró como especialistas en IA, reconociendo que nuestro conocimiento lingüístico y lingüístico es fundamental para la empresa de IA. Nuestros datos anotados brindan un apoyo esencial para el éxito de las interacciones humanas con los productos y servicios de IA.
Has estado trabajando en IA durante más de 16 años, ¿cuáles son algunos de los cambios más importantes que has visto?
El cambio principal ha sido la diversificación del enfoque del desarrollo de tecnología central a la cola larga de casos de uso y aplicaciones. Durante la mayor parte de mi carrera, el enfoque de la IA basada en el lenguaje ha sido desarrollar y refinar un conjunto básico de modelos que imitan la percepción y producción del habla humana, a saber, el reconocimiento del habla, la síntesis del habla y el procesamiento del lenguaje natural. Los conjuntos de datos generalmente se ajustaban a los estándares y convenciones comunes de etiquetado y muestreo de datos, como los desarrollados por el consorcio Speecon (Interfaces impulsadas por voz para dispositivos de consumo). evolución de la IA.
Sin embargo, la expansión generalizada de los casos de uso de IA en años más recientes ha traído consigo el reconocimiento de que los modelos genéricos de IA centrales creados con estos datos no funcionan adecuadamente en tipos de datos más especializados sin ajustes adicionales. Además, habiendo sido desarrollados sobre datos que fueron deliberadamente limpios y ‘estándar’, estos modelos ahora deben ser entrenados o actualizados para comprender y responder a toda la diversidad de aportes humanos: todos los dialectos, todos los acentos, todas las etnias, todos los géneros y todas las otras dimensiones de la diferencia humana.
¿Podría discutir la importancia de los datos imparciales en el aprendizaje automático?
Los modelos de aprendizaje automático, ya sean modelos de aprendizaje supervisado, no supervisado o de refuerzo, reflejarán los sesgos que están presentes en los datos con los que se entrenan. Alyssa Simpson Rochwerger y Wilson Pang brindan varios ejemplos excelentes de este problema en su libro reciente, Real World AI. Si no hay suficientes datos de entrenamiento para un segmento de la población, el modelo de IA será menos preciso para ese segmento.
En otro caso común, la representación de la población puede ser suficiente, pero si los datos de capacitación contienen correlaciones entre puntos de datos que reflejan condiciones reales, pero indeseables, en el mundo (como una tasa más baja de pleno empleo para las mujeres o una tasa más alta de encarcelamiento para los afroamericanos), las aplicaciones de IA resultantes pueden reforzar y perpetuar esas condiciones.
Las asociaciones presentes en el lenguaje en general pueden crear sesgos en las aplicaciones de NLP, que se basan en relaciones estadísticas conocidas como incrustaciones de palabras. Si ‘ella’ y ‘enfermera’ se asocian con más frecuencia en los datos de entrenamiento elegidos que ‘ellos’ o ‘él’ y ‘enfermera’, la aplicación resultante usará ‘ella’ cuando se vea obligada a elegir un pronombre singular para referirse a un enfermera. Para abordar este problema específico, los investigadores han desarrollado recientemente una variante de género neutral de un algoritmo de incrustación de palabras de uso común, GN-GloVe.
En aplicaciones sensibles, los problemas de sesgo como estos pueden tener un impacto devastador en los usuarios y pueden acabar con la inversión empresarial. La buena noticia es que, además del desarrollo de conjuntos de datos nuevos, más transparentes e inclusivos, se está desarrollando un número creciente de aplicaciones de ciencia de datos para verificar la presencia de sesgos en conjuntos de datos de entrenamiento existentes y aplicaciones de IA.
Appen lanzó recientemente nuevos conjuntos de datos de capacitación diversos para iniciativas de procesamiento de lenguaje natural (NLP). ¿Podría compartir algunos detalles sobre cómo estos conjuntos de datos permitirán que los usuarios finales reciban la misma experiencia independientemente de la variedad de idioma, dialecto, etnolecto, acento, raza o género?
Por las razones mencionadas anteriormente, se necesitan conjuntos de datos para corregir los sesgos existentes en los sistemas de producción de IA, además de conjuntos de datos más inclusivos para entrenar sistemas futuros. Los conjuntos de datos de Appen que menciona respaldarán la corrección de sesgos relacionados con el origen étnico y los etnolectos asociados, como el inglés vernáculo afroamericano. Proporcionarán datos de capacitación complementarios para impulsar la representación de esta población en los modelos de lenguaje de IA.
La etnicidad está emergiendo como una dimensión demográfica crítica para el etiquetado explícito en los datos de IA. Los lingüistas se refieren a las variedades de lenguaje asociadas con etnias particulares como ‘etnolectos’. Los proveedores de datos de IA como Appen ahora reconocen que, a menos que las poblaciones clave diversas y minoritarias estén representadas explícitamente en los conjuntos de datos de entrenamiento de IA, no podemos garantizar que los sistemas resultantes funcionen igualmente bien para estas poblaciones.
Igual rendimiento significa que el sistema reconoce con igual precisión las palabras y las intenciones del usuario (sus significados o las acciones que desea realizar) y, en algunos casos, el sentimiento; y que responda de manera que satisfaga igualmente las necesidades del usuario, y no produzca un impacto más negativo en una población particular de usuarios, ya sea en la práctica o psicológicamente.
Un enfoque de recopilación de datos de larga data ha sido centrarse en el muestreo representativo geográfica y dialectalmente en las bases de datos, suponiendo que esto garantice que la tecnología se generalizará a toda la población de hablantes de idiomas. El desempeño relativamente más pobre de las tecnologías del lenguaje recientemente documentado para hablantes de inglés vernáculo afroamericano ha demostrado que esto no es así. Las poblaciones que son diversas en etnia, raza, género y acento, entre otras dimensiones, deben incluirse de manera proactiva en los conjuntos de datos de capacitación para garantizar que sus voces sean escuchadas y entendidas por los productos y servicios de IA. Los diversos conjuntos de datos de entrenamiento de IA de Appen abordan esta necesidad.
Fuera de AI, también eres poeta y varios de tus poemas ganaron diferentes premios de la industria. ¿Cuáles son sus puntos de vista sobre la futura IA que exhibe este tipo de creatividad, incluida la escritura de poesía?
Esa es una pregunta fascinante. La poesía y otras formas de creatividad humana se basan en todos nuestros recursos humanos de memoria, percepción, sensación y emoción, así como en las estructuras y matices del lenguaje y la imagen, para producir percepciones que resuenan con las preocupaciones contemporáneas. Emily Dickinson escribió: “Si leo un libro y hace que todo mi cuerpo se enfríe tanto que ningún fuego puede calentarme, sé que eso es poesía. Si siento físicamente como si me hubieran arrancado la parte superior de la cabeza, sé que eso es poesía”. Debe haber un elemento de reconocimiento perceptivo, sensorial o emocional, pero también una sorpresa genuina.
Los modelos avanzados de IA, como GPT-3, modelan estadísticamente la probabilidad de que las palabras aparezcan juntas en diferentes géneros, incluida la poesía. Esto significa que pueden producir algo que reconocemos como lenguaje “poético”, como el uso de dicción intensificada, rima y combinaciones de palabras inesperadas o surrealistas. Pero estos modelos de lenguaje generativo carecen de la mayoría de los recursos, mencionados anteriormente, que se necesitan para producir una obra de arte que ilumine lo que significa ser humano en el tiempo presente.
Lo que encuentro atractivo de la IA en un contexto creativo es su potencial para producir conocimientos completamente nuevos, conocimientos que son diferentes en su tipo y están más allá del alcance de cualquier mente humana, incluso la mente humana más polimática o profundamente culta y experimentada. Una vez que la IA tenga acceso constante a los datos sensoriales y de percepción para el análisis en una amplia gama de dominios humanos (visual, táctil, auditivo, fisiológico, emocional), no se sabe qué aprenderemos sobre nosotros mismos y el mundo. Las capacidades analíticas de la IA pueden producir nuevos terrenos fértiles para la exploración humana creativa.
Has tenido una carrera fenomenal hasta ahora, en tu opinión, ¿qué impide que más mujeres se unan a STEM y específicamente a AI?
La falta de modelos a seguir puede ser un factor poderoso (y un círculo vicioso). Existe una dificultad genuina –cultural, social y práctica– para irrumpir en áreas donde las mujeres y personas de otros géneros diversos aún no tienen una presencia profundamente establecida, y donde el respeto por lo que podemos contribuir es demasiado frecuente. Mi propia experiencia como líder me ha demostrado una y otra vez lo resistentes, creativos y exitosos que pueden ser los equipos cuando incluyen diversas experiencias y orientaciones. Los líderes deben ser aventureros en su contratación y valientes en su confianza de que pueden manejar los desafíos a su forma de pensar que presentan las diversas perspectivas, sabiendo que esta valentía también se ha demostrado que está fuertemente correlacionada con el éxito financiero y corporativo.
¿Hay algo más que le gustaría compartir sobre Appen o la IA en general?
Los proveedores de datos como Appen tienen un gran potencial para mejorar los resultados de la IA al proporcionar datos de capacitación inclusivos.
Sin embargo, alcanzar el objetivo de la IA inclusiva requerirá la participación de todos. Los compradores de datos también deben reconocer su responsabilidad de solicitar y pagar explícitamente por los datos inclusivos que garantizarán el rendimiento óptimo de sus sistemas para todos los usuarios en el mundo real. Y aquellos de diversas comunidades que suministran sus datos para el desarrollo de IA deben poder confiar en los usos que se les darán. Construir esa confianza requerirá una fuerte transparencia y prácticas éticas por parte de todos los que manejan datos confidenciales.
Gracias por la excelente entrevista, disfruté aprendiendo más sobre sus puntos de vista sobre la IA y la lingüística. Los lectores que deseen obtener más información deben visitar Appen.