¿Es el aprendizaje profundo actual un camino por parte de las grandes corporaciones para monopolizar la investigación de aprendizaje automático?

Answer 1

Las grandes empresas tienen un monopolio, pero a la pregunta le falta la marca de por qué. El hardware es barato, los datos y el talento son caros. Déjame elaborar.

El hardware es significativamente más barato que los datos (y seguirá siendo)

• No necesita “hardware de aprendizaje profundo” para entrenar un modelo de aprendizaje profundo.
• De hecho, puedes entrenar algunos modelos de aprendizaje profundo solo en tu CPU. Siendo realistas, deberías estar entrenando en GPU para lograr un progreso significativo en la investigación. Pero incluso en ese caso, no es necesario ser propietario de la GPU, también puede alquilar en Amazon. Si observa los precios de los servicios web de Amazon, puede alquilar la GPU más grande por un poco más del salario mínimo.
• Por cierto, la mayoría de las personas con una computadora de juego decente probablemente ya tienen una GPU o dos en su tarjeta gráfica. De acuerdo con la respuesta de Roman Trusov a ¿Debería gastar dinero en comprar una buena GPU para estudiar en profundidad (no me refiero a las carreras de producción)? consiguió uno por alrededor de $ 440. Las GPU de gama más alta pueden ser unos pocos miles de dólares. Si una empresa / organización está tratando de hacer una investigación a largo plazo, probablemente sea mucho más barato comprarlos.
• El hardware seguirá siendo más barato y mejor.
• Si AMD lanza un producto que es tan bueno como el de Nvidia por un precio más barato, la gente lo comprará. ¿Por qué no lo harían? El hardware tiende a competir en precio y calidad. Hay una competencia real que hará bajar los precios.
• Si algún egresado de la universidad anunciara que hizo un clon de Facebook, ¿harías el cambio? Las grandes empresas de tecnología tienen una lealtad a la marca extrema y redes que les dan un monopolio esencial. Incluso las grandes corporaciones lo han intentado y fracasado estrepitosamente … vea Google Plus.

Los datos son caros

• No puedes entrenar modelos de aprendizaje profundo sin datos. Período.
• Para obtener datos útiles como compañía / organización, debe:
• Ofrezca un producto que mucha gente usa, y con frecuencia (o no tendrá suficientes datos).
• Ofrezca un producto en el que las personas le den retroalimentación de manera feliz y voluntaria (el etiquetado manual de las caras de sus amigos, las reacciones de Facebook) para que pueda capacitar a su red profunda de manera supervisada.
• Configure las tuberías y la infraestructura para recopilar, almacenar y mantener los datos.
• O bien, puede intentar comprar datos o raspar los datos de otras compañías (buena suerte).
• Esto es increíblemente caro, ni siquiera puedo ponerle un número exacto.

El talento es caro

• Necesitas investigadores que tengan la capacitación y experiencia en el dominio para ser útiles. El aprendizaje automático, el aprendizaje profundo y los investigadores de inteligencia artificial pueden ganar entre $ 200 y $ 1 millón al año, según el campo.
• Estas grandes mentes también están influenciadas por la cultura de tecnología, los increíbles beneficios y las horas de trabajo flexibles que ofrecen estas grandes corporaciones tecnológicas. Muchas empresas más pequeñas con menos flujo de efectivo han intentado emularlo y han sentido el dolor de hacerlo.

Así que sí, las pequeñas empresas y organizaciones se quedarán atrás. Sin embargo, a partir de ahora, todavía hay muchas cosas que los humanos pueden resolver que el aprendizaje profundo no puede. Y para cuando el aprendizaje profundo pueda resolver casi todo mejor que los humanos: todos quedarán atrás, no solo las entidades que mencionaste 😉

Answer 2

El aprendizaje profundo (DL) tiene un potencial serio, por eso los gigantes de la tecnología están invirtiendo fuertemente en él, no están tratando de monopolizar el DL, sino que están democratizando los recursos de inteligencia artificial (AI) para que ningún gobierno o corporación obtenga una ventaja sobre la tecnología de AI. . Por supuesto que todos sabemos que Estados Unidos lidera el paquete aquí. Por lo tanto, estas empresas gigantes de tecnología están participando activamente en la publicación de su trabajo, el suministro abierto [1] de bibliotecas como TensorFlow (TF) y el suministro de soluciones de computación en la nube para entrenar sistemas de LD de gran capacidad para cualquier equipo / individuo en todo el mundo. Si su deseo era tener el monopolio sobre DL, entonces no veo cómo compartir puede llevar a un monopolio.

Crear una comunidad de personas que trabajan en una tecnología es una forma segura de resolver los problemas complejos en el aprendizaje automático (ML) con gastos mínimos. Por ejemplo, Google ha creado una gran comunidad de desarrolladores de TF a partir de los cuales puede reclutar y / o aprender algo sin siquiera gastar un centavo. Es una situación de ganar-ganar, si un gran desarrollador de la nada resuelve un problema interesante y desafiante, por ejemplo, Kaggle, Google u otras compañías pueden beneficiarse, ya que la mayoría de las soluciones en Kaggle son de código abierto.

Por lo tanto, no hay intenciones de crear un monopolio aquí, pero la intención es más inclinada a atraer a más personas a bordo, porque la IA / DL es un desafío tan grande para trabajar con el talento que escasea y tampoco es para todos. Así, al democratizar los recursos, aquellos que se sienten naturalmente atraídos por la IA tendrán la oportunidad de desarrollar sus habilidades y podría ser más fácil para los gigantes de la tecnología simplemente absorber ese grupo de talentos.

DL hype es en realidad, no está inventado (bien un poco inventado). Los sistemas DL funcionan bien en niveles que no habíamos anticipado hace 5 o 10 años. Productos como Google Photos solo son posibles gracias a los algoritmos DL. Los productos como Google Assistant y muchos más, como la respuesta inteligente, se basan en algoritmos DL. La exageración es real, es solo que a la mayoría de las empresas les gusta sobreestimar la DL comparándola con el cerebro humano y afirmando cosas como “superar el rendimiento a nivel humano”. Sí, en tareas muy limitadas esa afirmación es verdadera pero no en un conjunto más amplio de tareas. De manera limpia, la exageración a veces se exagera para los esfuerzos de relaciones públicas, pero quién puede culparlos si la DL está funcionando tan bien de todos modos.

Entonces, en este momento, las empresas que están ganando son aquellas que comparten recursos y datos a su comunidad de desarrolladores. Los perdedores son aquellos que están tratando de ocultar todo internamente. Por supuesto, hay algunas técnicas que se mantienen como secretos comerciales en las empresas, pero mantener una comunidad grande y saludable de investigadores y desarrolladores es la mejor manera de resolver la IA en general. La inteligencia general artificial (AGI) es más probable que se resuelva con soluciones de una variedad de fuentes que solo una empresa o individuo.

Así que, al seguir democratizando la IA, las mentes necesarias para resolver el AGI están dispersas en todo el mundo.

Espero que esto ayude.

Notas al pie

[1] Tecnología de detección de objetos de fuentes abiertas de Google que impulsa Nest Cam, Búsqueda de imágenes y Street View

Answer 3

Seamos realistas: cualquier método de investigación de aprendizaje profundo favorecerá más o menos a las grandes corporaciones de la misma manera. La potencia de cálculo es siempre algo bueno y muy importante. En algunos casos puede ser crucial; Al menos, la eficiencia / rendimiento será proporcional a la potencia de cálculo. El desarrollo de hardware especialmente diseñado también ayuda naturalmente. (¿Por qué los hardwares altamente invertidos, diseñados y fabricados específicamente NO superarán a los hardwares generales?) Diría que si la actividad de investigación intensiva, el apoyo financiero fuerte y el gran grupo de investigadores brillantes no promueven la investigación de manera significativa, entonces algo está realmente mal. .

Answer 4

El poder del aprendizaje profundo proviene de enormes cantidades de datos. Para procesar tales cantidades de datos se requieren altas potencias. Tales poderes solo están disponibles en grandes corporaciones. Es por eso.