От большого числа людей я слышу, что нейросети изжили себя, что это бесперспективный подход, и т.п. От некоторого существенного числа людей я слышу, что это супер-мега-вещь, и они могут все. При этом в качестве аргументов в пользу как одной, так и другой точки зрения приводится информация 20-30-летней давности. Соответственно, мне интересно, кто как к ним относится, и почему.
Нейросети - ваше отношение?
Сообщений 1 страница 30 из 122
Поделиться22009-08-08 12:10:58
На самом деле очень интересный вопрос 
Дело в том, что в свое время к НС относились, как к иконе. Т.е. надежды были очень большие. И думали, что с ними можно достичь всего.
В свое время Ф. Розенблатт, создатель персептрона, утверждал, что П. - это модель мозга, не больше, не меньше!
Сечас мы знаем , что это далеко не так. У мозга просто гигантская сложность и П. по сравнению с ним - просто децкая пукалка
П. - просто примитивная распознавалка. Но распознавание - всего лишь один из многих этапов в работе Интеллекта.
С течением времени это стало ясно. Поэтому появился другой подход. Ах, если мы не можем создать нечто мозгоподобное, тогда займемся
обычной математикой, но притянем сюда за уши эти самые НС. Т.е. постулируется существование НС-логического базиса, наряду с базисом И/ИЛИ,НЕ.
И это объективно. Т.е. с пом. НС можно вычислять квадратные корни и т.д. Зачем? Чтобы можно это было распараллелить... почти до бесконечности.
Такой подход у тов. Галушкина. Если кто не знает - директора Нац. центра нейрокомпьютеров, издателя журнала "Нейрокомпьютер", организатора
ежегодного семинара "Нейроинформатика" в МИФИ и т.д. В общем, все это тоже не от хорошей жизни
Можно сказать, что есть НС-парадигмы... сети Хопфилда, Кохонена, BackProp и др. Штук 30-ть наберецца Ну и что? Все они сводятся к настройке весовых
коэффициентов. Ну еще к структуре. А почему? Потому, что математики не смогли придумать ничего более интересного. И это продолжается те самые 20-30 лет...
Да, вы скажете, что обратные связи привносят системные эффекты, запоминаются образы и пр. Но это - все равно частные модели и они не меняют общую ситуацию.
В итогое я бы сказал, что НС перспективны и ждут своего часа. И думаю, что "нужная" модель нейрона до сих пор еще не создана. А это сулит очень многое.
Ибо НС - парадигма универсальная. Но первое правило системотехника звучит так: чем универсальнее система, тем она сложнее. Причем не думаю, что нейрон нужно моделировать с биологическим правдоподобием. А это современная фишка. У птиц и самолетов есть крылья, но используются они по разному, хотя законы аэродинамики едины для тех и других. Думаю, что существуют единые законы мышления. Другое дело, каковы они и как мы их собираемся использовать. А для этого необходимо получить правильные ответы на правильно поставленные вопросы
Отредактировано Virtual_Graph (2009-08-08 12:30:38)
Поделиться32009-08-08 14:05:10
На самом деле существенно разных парадигм очень немного. Прямого распространения их по сути две (не считая некоторых специфических, которые, ИМХО, правильнее рассматривать как вариации SVM): перцептрон и сеть Кохонена. С обратными связями - примерно три: рекуррентный перцептрон, сеть Хопфилда с ее обобщением на задержки более 1 такта, и ядерная (kernel) ассоциативная память.
На них строится куча гибридов (Эльман, Хемминг, всевозможные модификации ассоциативной памяти, включая клеточную, echo-states, и прочие) - и некоторые обладают весьма интересными свойствами.
Кроме того, все эти парадигмы можно реализовать на разных моделях нейронов (обычные, RBF, динамические, мультипликативные), в случае итеративной коррекции ошибок - использовать разные алгоритмы коррекции, но это обычно только помогает применить их к конкретной задаче, принципиально ничего не меняется.
Несколько особняком стоят спайковые сети - в первую очередь потому, что пока неясно, как их правильно учить. Современный подход к их обучению, судя по всему, упускает какие-то важные детали - по крайней мере, получить наиболее интересные свойства пока не получается, даже ассоциативную память на спайковых нейронах собрать проблематично.
Поделиться42009-08-08 14:19:14
Хе-хе... спайковые нейроны... моделирование формы импульса... их пачек..... и т.д.
Все это нафик не нужно..... А как Вы думаете, 3d6, почему? Или нужно? Есть мнение?
Поделиться52009-08-08 14:43:08
Моделирование формы импульса - нет, это конечно перебор. А вот сами по себе импульсные системы - в этом может быть очень даже существенный смысл. При анализе процессов, развернутых во времени, неплохо бы иметь внутрисистемное время - которое особо хорошо реализуется импульсами.
Хотя я не думаю, что импульсные системы нельзя привести к тактовым, но возможно тактов понадобится столько, что по сути от импульсной системы это будет не очень отличаться.
Поделиться62009-08-08 14:57:16
Рассуждаем следующим образом. Почему возникла импульсная передача? А вот почему. Это экономичный способ передачи аналогового сигнала на большое расстояние. Пример: в сетчатке глаза нет импульсного распространения, только электротоническое. Почему? Потому что длина аксонов там - порядка 0,3 мм. Вот так!
Поэтому импульсация - это всего лишь ЧИМ аналогового сигнала. Что нам мешает отказаться от этого и загнать его в диапазон от 0 до 1.0 ? Ничего....
Поделиться72009-08-08 15:10:39
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
попса
Поделиться82009-08-08 15:26:07
Только это вы и способны признести и больше ни-че-го
Изучайте матчасть, иначе не лезте в разговор двух умных людей
Отредактировано Virtual_Graph (2009-08-08 15:28:45)
Поделиться92009-08-08 15:39:35
Не все так просто. Попытки описать нейрон средней частотой спайков приносят весьма сомнительные результаты, похоже, эта характеристика слабо отображает информационный поток. Многое зависит от конкретных моментов, в которые приходят импульсы.
Например, для ассоциативной памяти в большинстве ее разновидностей значительно важнее когда и где появляется сигнал, чем какой амплитуды. Соответственно, переход к бинарному кодированию импульсов, с сохранением временных характеристик, кажется вполне хорошей идеей. А вот реализовывать это как спайки в непрерывном времени, или как такты активности в дискретном - это скорее всего не принципиально.
Отредактировано 3d6 (2009-08-08 15:39:58)
Поделиться102009-08-08 15:46:57
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
Virtual_Graph написал(а):
Изучайте матчасть
Гирьки чего-ли? Какая там еще матчасть. Веревочки, весы да гирьки.
Искусственный нейрон:
А как называется игрушка: на веревке за центр подвешена перекладинка, на ее концах балансируют другие палочки со своими противовесами и т.д. Французская вроде, а последними висят рыбки.... ?
Отредактировано NO (2009-08-08 15:58:16)
Поделиться112009-08-08 15:50:18
3d6 написал(а):
Не все так просто. Попытки описать нейрон средней частотой спайков приносят весьма сомнительные результаты, похоже, эта характеристика слабо отображает информационный поток. Многое зависит от конкретных моментов, в которые приходят импульсы.
Не о том речь. Замечу, что мы описываем не нейрон, а текущее состояние его выхода в момент времени Тi.
3d6 написал(а):
Например, для ассоциативной памяти в большинстве ее разновидностей значительно важнее когда и где появляется сигнал, чем какой амплитуды. Соответственно, переход к бинарному кодированию импульсов, с сохранением временных характеристик, кажется вполне хорошей идеей. А вот реализовывать это как спайки в непрерывном времени, или как такты активности в дискретном - это скорее всего не принципиально.
И про амплитуду речи так же нет. ЧИМ - частотно-импульсная модуляция. Уровень аналогового сигнала кодируется частотой импульсов одной амплитуды.
Отредактировано Virtual_Graph (2009-08-08 15:52:17)
Поделиться122009-08-08 15:51:44
NO написал(а):
Гирьки чего-ли? Какая там еще матчасть. Веревочки, весы да гирьки
Вы о чем? Только проснулись? Понимаю, бывает...
Поделиться132009-08-08 15:57:43
На самом деле, в живых НС роль может играть даже одиночный импульс. Но это не противоречит тому, что я сказал.
На аналоговой картинке это будет выглядеть как некий холмик, форма которого зависит от постоянных времени.
Если, конечно, мы их используем в модели
Отредактировано Virtual_Graph (2009-08-08 15:59:19)
Поделиться142009-08-08 16:03:58
NO написал(а):
А как называется игрушка: на веревке за центр подвешена перекладинка, на ее концах балансируют другие палочки со своими противовесами и т.д. Французская вроде, а последними висят рыбки.... ?
Ага. Эта штука так же подойдет для моделирования землетрясений. А так же для колебаний цен на биржевых рынках.
Поделиться152009-08-08 16:26:56
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
Наверно. А сколько славы создателю, безусловно гениального в своей простоте решения. И сколько рабочих мест для навешивающих эти веса, отмерающих веревочки и палочки. Интеллект!
Поделиться162009-08-08 16:39:32
NO написал(а):
Наверно. А сколько славы создателю, безусловно гениального в своей простоте решения. И сколько рабочих мест для навешивающих эти веса, отмерающих веревочки и палочки. Интеллект!
Научись сначала слова правильно писать... "отмерающих"... а туда же.... в ИИ-теоретики...
А колесо тоже простая вещь... дак давайте-же на этом основании от него откажемся!
Поделиться172009-08-08 16:41:56
Virtual_Graph написал(а):
И про амплитуду речи так же нет. ЧИМ - частотно-импульсная модуляция. Уровень аналогового сигнала кодируется частотой импульсов одной амплитуды.
Ок, но обработка существующими моделями ассоциативной памяти сигнала, закодированного таким образом, значительно проще устроена, чем сигнала с амплитудой, лежащей в пределах 0..1. Поэтому такое кодирование кажется вполне эффективным, и замена его на аналоговое представление скорее усложнит задачу.
Поделиться182009-08-08 16:43:27
NO, а вы, вместо того, чтобы ругаться да глупости говорить, написали бы лучше развернутый пост с аргументами. А то такое ощущение, что вы и вовсе не понимаете, о чем речь идет.
Поделиться192009-08-08 17:01:29
3d6 написал(а):
Ок, но обработка существующими моделями ассоциативной памяти сигнала, закодированного таким образом, значительно проще устроена, чем сигнала с амплитудой, лежащей в пределах 0..1. Поэтому такое кодирование кажется вполне эффективным, и замена его на аналоговое представление скорее усложнит задачу.
А кто сказал, что нам нужна ассоциативная память? Наверно нужна... но не всегда... и не везде... а "значительно проще" и "скорее усложнит" не особо убеждает
Поделиться202009-08-08 17:20:30
Ну, если вообще говорить о нейросетях - то в контексте последних достижений в ассоциативной памяти, только они обладают динамикой, которая может привести к интересным результатам
Поделиться212009-08-08 17:31:36
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
3d6 написал(а):
NO, а вы, вместо того, чтобы ругаться да глупости говорить, написали бы лучше развернутый пост с аргументами. А то такое ощущение, что вы и вовсе не понимаете, о чем речь идет.
Тут в моей теме про семантику есть немного для нейросетевиков, наставление на путь спасения.
Развернуто слишком длинно будет, не вижу смысла читать лекции. Все уже написано, но естественно это не про нейросети.
Поделиться222009-08-08 17:33:29
господа, давайте попробуем оставаться вежливыми...
не хотелось бы, чтобы интересная тема утонула во флуде
или была убита перепалкой
Поделиться232009-08-08 17:35:10
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
Да в принципе в IT что угодно можно сделать как угодно, и от нейросетей можно очнуться, если ими заниматься. Хотя бы статистику почитать дальше разных введений и за 5 минут. Разобратся до уровня 19 века и интерес к нейросетям развеется.
Поделиться242009-08-08 17:36:53
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
тема об отношении, не о нейросетях - мое отношение = был одурманен и разочаровался, сейчас стыдно что вообще повелся
Поделиться252009-08-08 18:10:30
Ну, есть такие люди, которые толком не разобрались, а потом почитали "компетентную критику" , и, конечно же, "разочаровались".
Обычно в таких случаях человек не может четко и более-менее кратко сформулировать основную претензию к нейросетям, т.к. на самом деле не до конца понял, в чем она состоит.
Поделиться262009-08-08 18:21:00
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
ложь
Поделиться272009-08-08 18:33:31
- Активный участник
- Откуда: CU, USA
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 1102
- Уважение: [+2/-1]
- Позитив: [+8/-1]
- Провел на форуме:
7 дней 7 часов - Последний визит:
2012-04-01 23:51:43
3d6 написал(а):
Обычно в таких случаях человек не может четко и более-менее кратко сформулировать основную претензию к нейросетям
верно и обратное, если человек не сможет четко сказать, в чем преимущества - значит он мурзилок начитался...
Поделиться282009-08-08 18:50:32
NO, что именно ложь? Утверждение, что есть такие люди - верно, я таких людей видел. Утверждение, что они обычно обладают такими свойствами - верно, по крайней мере по моей статистике именно так получается.
Egg, разумеется. Плохо разбирающийся сторонник нейросетей ничем не лучше плохо разбирающегося их противника. Да, если в этом замечании был скрытый вопрос - я бы хотел услышать его более явно сформулированным
Поделиться292009-08-08 18:58:12
- Активный участник
- Откуда: CU, USA
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 1102
- Уважение: [+2/-1]
- Позитив: [+8/-1]
- Провел на форуме:
7 дней 7 часов - Последний визит:
2012-04-01 23:51:43
с моей точки зрения недостатки искусственных нейросетей:
/* на всякий случай скажу, что имеют опыт применения нейросетей в реальной задачи,
а не научной, исследовательской, рафинированной и т.п. */
/* описать недостатки ИНС в целом - это странность, ибо они очень разные, поэтому мой лист - это эмоциональные ассоциации,
можно будет потом обсуждать конкретные сети, если угодно... */
1. вы никогда не знаете какую архитектуру применить для той или иной задачи или подзадачи...
2. вы никогда не знаете сколько времени займет обучение или переобучение...
3. вы никогда не имеете никаких гарантий ни по выходу, ни по изменению входа...
4. ваша сеть насыщается быстро и навсегда...
5. ваша работа с сетью никогда не отличается от матричной алгебры, просто оборачивание матрицы в ИНС
происходит непонятным для вас (и для ИНС) образом...
6. если вам надо расширить классы, вам нужно начинать все сначала
7. ваша ИНС всегда неустойчива и вы не знаете областей в который незначительные изменения приводят к нелинейности выхода
8. ваша сеть не ведает представления об ошибки, она всегда отвечает уверенно, даже, если ошибается
9. ваша работа с сетью всегда похожа на потерянное время
в целом, работа с ИНС напоминает пляску шамана...
Поделиться302009-08-08 19:04:28
- Активный участник
- Зарегистрирован: 2009-08-03
- Приглашений: 0
- Сообщений: 454
- Уважение: [+5/-0]
- Позитив: [+8/-1]
- Провел на форуме:
5 дней 7 часов - Последний визит:
2012-08-20 09:25:48
я вот подумал можно сделать словари по тематике, тематики можно выявить чем-то вроде Кохонена,
но при чем тут какие-то "нейросети" - все элементарная математика на 4х действиях на уровне 4 класса школы.