Esquemas de Winograd

El test de Turing ya no sirve para su propósito. De hecho quizás nunca sirvió. Cuando Alan Turing introdujo la idea en 1950.

Pero desde entonces se ha transformado en un punto de referencia para los robots y su inteligencia. El concepto es simple: si un programa computacional logra no ser reconocido como tal cuando se enfrenta a un humano en una conversación de texto, pasa la prueba.

El problema es que no es realmente una prueba de inteligencia. El año pasado la prueba fue superada ​Ipor un chatbot relativamente tozco que pretendía ser un niño ucraniano de 13 años.

Gary Marcus, un profesor de psicología en NYU y jefe de la conferencia, me dijo que hay un consenso general que el test de Turing llegó a su fecha de vencimiento. "Mi argumento es que realmente es un ejercicio de engaño y fraude" dijo.

Cómo demostró el chatbot de Eugene Goostman que ganó el año pasado, es relativamente fácil que un bot le gane al sistema, por ejemplo al pretender que el inglés no es su lenguaje principal o simplemente haciendo uso de estrategias muy humanas como cambiar el tema de la conversación. Lo que debe pasar es que el bot engañe a un ser humano para que crea que está frente a otro humano, lo que no es el engaño más difícil de lograr

 robot debe ser capaz de ver las partes, interpretar las instrucciones y eventualmente tener las habilidades motoras para unir las piezas. Le pregunté a Marcus si esta tarea requiere de un robot físico. "Bueno, un robot físico guiado por un programa de AI" dijo y agregó que esto tiene varias etapas y podría comenzar con simulaciones antes de empezar con robots reales. "Para ser el ganador debes hacerlo con un robot de verdad y objetos de verdad". Veloso agregó que podrían considerar la colaboración humana cómo un elemento de este desafío.

Otra tarea propuesta es el esquema de Winograd, una prueba basada en el lenguaje que requiere algo como el sentido común de los humanos. Fue propuestos por el científico computacional Hector Levesque en un paper del 2011 y el año pasado la compañía norteamericana de software Nuance anunció el patrocinio del desafió anual de es esquemas de Winograd .

Los esquemas de Winograd le dan una frase a los participantes, luego formulan una simple pregunta sobre esa frase. Levesque da un ejemplo:
El trofeo no cabe dentro de la maleta café porque es muy grande. ¿Qué es muy grande? 

Estas preguntas son muy fáciles para los humanos, pero requieren una comprensión del lenguaje relativamente profunda. Marcus las describe como "frases que no puedes entender a menos que entiendas el mundo". Fundamentalmente no son preguntas googleables.

Una tercera prueba fue sugerida por Marcus en un articulo para el New Yorker  . El propuso pedirle a un computador que viera un video que no haya visto antes y hacerle preguntas sobre el. Cosas como "¿Por qué Rusia invadió Crimea? o ¿Por qué Walter White quiso matar a Jessie?". Me dijo que Fei-Fei Li, director del laboratorio de AI de Stanford, tuvo una idea similar utilizando imágenes y han decidido unir sus fuerzas para crear un evento en el que una maquina pueda responder "preguntas periodísticas" sobre imágenes, video y audio.

Estas respuestas son fáciles para los humanos si es que prestan atención, pero recibir datos en un formato y responder preguntas en otro requiere comprensión real. No puedes mentir como un chatbot que cambia de tema esperando que nadie se de cuenta.

http://motherboard.vice.com/es/read/el-plan-para-reemplazar-el-test-de-turing-por-las-olimpiadas-de-turing