Все эти DNN, трансформеры, вот это вот всё – конечно, впечатляет. Картинки рисуют, тексты генерят, котиков распознают лучше тебя. Но давайте честно: это узкий AI. AGI там и рядом не валялся. И вот вопрос – а валяться ли будет вообще?
Смотрим на железо. На чем вся эта нейросетевая магия крутится? На старом добром фон Неймане. Да, разогнанном на GPU и TPU, но суть та же: процессор, память, шина. И тут начинаются проблемы, которые как-то стыдливо замалчиваются в техно-оптимистическом угаре:
1. Энергоэффективность – в жопе. Модели раздуваются до размеров черной дыры, жрут электричество как майнинговая ферма. Человеческий мозг, блин, 20 ватт потребляет! FLOPS/ватт у нас – смех один. Мы вообще сможем когда-нибудь запитать AGI, не построив персональную АЭС? Или так и будем топить планету ради "разума"?
2. Фон Нейман – это bottleneck. Память и процессор разделены. Memory latency, cache misses, сериализация операций – это всё тормозит параллелизм, который вроде как нужен для настоящего интеллекта. Мозг – это нейроморфная сеть, где память и вычисления интегрированы. А у нас – постоянное перетаскивание данных туда-сюда. Не упремся ли мы в фундаментальный предел архитектуры, даже если кремний станет быстрее в 100 раз?
3. Кремний – всё? Moore's Law уже не торт. Квантовое туннелирование, тепловыделение, атомные масштабы – физика начинает упираться. Может, кремниевые транзисторы – это вообще тупиковая ветвь для AGI? Нужны новые материалы, новые принципы. Мемристоры, фотонные компьютеры, квантовые вычисления – это пока всё на уровне лабораторных экспериментов. Или мы так и будем долбиться в кремниевую стену, ожидая чуда?
4. Data movement is the new compute. В современных архитектурах перемещение данных жрет больше энергии, чем сами вычисления! Это вообще дичь какая-то. Мы гонимся за FLOPS, а на самом деле у нас проблема в пропускной способности памяти и эффективности передачи данных.
А теперь про алгоритмы. Тут тоже не всё так радужно, как в презентациях Google и OpenAI:
1. DNN – это тупо pattern matching. Да, сложное, многослойное, но всё равно – статистические корреляции, а не понимание. Они не понимают смысл, не имеют common sense, не умеют обобщать по-настоящему. Это попугаи, которые научились имитировать разум, но не более.
2. Backpropagation – это костыль. Эффективно для обучения глубоких сетей, но биологически неправдоподобно и, возможно, не масштабируется до AGI. Мозг учится по-другому, более эффективно и гибко. Backprop требует огромных датасетов, точно размеченных данных, и плохо работает в условиях неопределенности и неполной информации, которые характерны для реального мира. Может, мы зациклились на этом методе, и упускаем что-то принципиально другое?
3. Отсутствие настоящего "понимания" и "сознания". Да, это философский холивар, но и практический вопрос. Современный AI – это black box. Мы не понимаем, как он "думает", почему принимает те или иные решения. Нет интроспекции, самосознания, мотивации, целеполагания – всего того, что мы считаем признаками настоящего интеллекта. Может, AGI требует не просто более мощных сетей, а принципиально новой парадигмы в понимании интеллекта и сознания?
И вот, собственно, главный вопрос: Где сейчас реальный капкан для AGI? Мы уперлись в железный потолок – ограничения архитектуры фон Неймана, энергопотребления, кремниевой технологии? Или мы зашли в алгоритмический тупик – исчерпали возможности DNN и backpropagation, и нуждаемся в революционно новых подходах к обучению и моделированию интеллекта?
Или, может, проблема комплексная? Может, для AGI нужен синергетический прорыв – одновременная революция и в железе, и в софте, и в нашем понимании самого интеллекта? Может, мы вообще идем не туда, и AGI – это несбыточная мечта, по крайней мере, в обозримом будущем?
Высказывайтесь, эксперты и сочувствующие. Только без вайтишников и крипто-энтузиастов, пожалуйста. Интересует мнение тех, кто реально понимает, где мы сейчас находимся и куда движемся в этой гонке за AGI. И главное – где нас ждет реальный облом? (и будет ли он?)
Замены программистов нейросетями тред
https://2ch.hk/pr/res/2994560.html
По теме треда могу набросить, что реальный прорыв в компьюте/транспорте данных/энергии произойдет, когда наконец смогут в сверхпроводники при относительно приличной температуре (минус 50 хотя бы). Это еще и часть упомянутых технологий разблокирует, типа квантовых компов, сетапить которые сейчас ты просто ебанешься.
Считаю, что АГИ - прогрев гоев на бабло.
Затыки везде:
- прежде всего сам алгортим: там нет сознания, понимания, логики - это не философский вопрос, а объективный факт, там идёт перебор паттернов из датасетов, ИИ не может сам познавать мир, рассуждать, логически отделять правильное от неправильного, там нет чёткой базы знаний и фактов о мире и ИИ не способен её создать и пополнять.
- железо: эффективность вычислений, энергопотребление, тепловыделение. Закон убывающей отдачи никто не отменял, скоро для линейного роста производительности нужен будет экспоненциальный рост мощностей.
ИИ лихорадка уже была в 80е, сейчас всё идёт по тому же сценарию.
> скоро сингулярность
долбоебы которые не могут в законы термодинамики.
> AGI там и рядом не валялся
говно без задач
> И вот вопрос – а валяться ли будет вообще?
в бытовой жизни швейцарский нож - самый бесполезный девайс
> Энергоэффективность – в жопе.
Один гигаватт в час на обучениt Chat GPT-3.
> Не упремся ли мы в фундаментальный предел архитектуры, даже если кремний станет быстрее в 100 раз?
уже уперлись.
> Память и процессор разделены.
Дебилне в курсе что кеш-память очень дорогая. готов вываливать сотни нефти за одну микросхему?
> Memory latency
будет всегда так как ЗАконы физики.
> Кремний – всё? Moore's Law уже не торт.
Давно! начали плодить ядра, плюс современные видеокарты это уже отдельный комп.
> перемещение данных жрет больше энергии, чем сами вычисления! Это вообще дичь какая-то.
чем больше расстоянии тем больше энергии нужно затратить.
> Мозг учится по-другому, более эффективно и гибко.
процессор это сраный калькулятор, детерменированная синхронная машина, которая работает с единичками и нулями, топология даже в случаи с FPGA остается статичной.
Мозг это конгломерат живых клеток, которые сами по себе автономные существа. По сути ты - "толпа амеб". "оперирует" числами с запятой, работает асинхронно. и каждая клетка способная адаптироваться в своих пределах.
> Или, может, проблема комплексная?
Проблема человечества в том что оно придумывает велосипед, когда природа потратила миллиард лет для создания существ у которых идеальная энергеоэффективность. Птичка колибри жрет каких-то сраных насекомых, делает около 3 миллионов взмахов крыльями в день, при весе 20 грамов.
если бы люди сделали аналог птички с ее маневренностью и запасом хода, то она б весила б киллограмм 20.
Люди находяться на примитивном уровне понимании природы.
Природа использует самые распространненые элементы во вселенной - водород, кислород, азот, углерод для построенни сверхсложных миниатюрных наномеханизмов.
А люди просто брутальные неадертальцы-дауны со своим кремнием, нефтью, атомными реакциями. Это просто кал.
В будущем над нами будут смеяться и называть нас "пещерными людьми", точнее "бетонными"