2 Egg
Не, я не к тому, что нужно что-то обсуждать. Просто прикольнула холиварность темы.

2 3d6
Если вас интересует просто кто как относится к ИНС без обсуждений и обоснований, то тоже выскажусь (многое будет повтором того, что уже говорилось).
1. Общеизвестно, что формализм ИНС по алгоритмической полноте эквивалентен универсальной машине Тьюринга. Поэтому ИНС - это просто другой способ представления алгоритмов, больше ориентированный на обработку количественных, а не символьных данных. Никакими новыми свойствами в этом плане ИНС не обладают. И никакие прочие (математические) модели нейронов этого факта не изменят. В "нематематические" модели просто не верю. Математика вообще - штука гораздо более общая, чем ИНС. Кто это отрицает, тот подходит к ИНС, как к шаманству. Никакой самоорганизацией и самообучением ИНС не обладают. Алгоритмы обучения ИНС получены в математике и выходят собственно за рамки самих ИНС. Все это не наезд на ИНС, а просто реакция на пиар фанатов ИНС. Добивает то, что многие люди, незнакомые с ИИ, полагают, что если в программе не использованы ИНС, то к ИИ она никакого отношения иметь не может.
Итак, ИНС - это просто другой способ представления алгоритмов. Не больше, но и не меньше. Можно было бы назвать ИНС специфическим языком программирования, но не уверен, что это будет вполне корректно.
Написание программы распознавания или еще чего на любом языке требует модели.
Ошибка многих наивных нейросетевиков в том, что они полагают язык ИНС базовым языком моделирования. Если бы это было так, то со многими притязаниями ИНС можно было бы согласиться. Однако ИНС на эту роль не годятся.
Теперь о хорошем. ИНС - вторичный специализированный язык, и как для любого такого языка есть задачи, решения которых с его помощью описывать может быть легче (ну, примерно как написание некоторых программ на Прологе может быть заметно проще, чем на сях). То есть любую задачу можно решить и без ИНС, но некоторые (к сожалению, немногие) с ИНС проще. Естественно, чем лучше человек владеет данным языком, тем ему он кажется эффективнее, и человек может уже начинать строить модели сразу на вторичном языке (из-за чего и возникает то заблуждение).
Но если мы подходим к ИНС как ко вторичному языку, то критиковать их уже не за что.
ИНС могут быть удобны для реализации ряда алгоритмов обработки данных.
В особенности, они удобны для представления параллельных алгоритмов. И, как следствие, удобны для перенесения на FPGA, то есть имеют вполне ощутимую практическую значимость. Параллельная огранизация из простых однотипных элементов делает алгоритмы, представленные в виде ИНС, устойчивыми к возмущениям. В приципе, об этом тоже упоминалось, но тут важна устойчивость не столько к шумам, сколько к изменению структуры. Действительно, небольшие изменения обычного программного кода приводят к принципиальному изменению (или вообще потере) функциональности. Изменения ИНС гораздо более непрерывные. Как результат, при автоматическом порождении программ гораздо удобнее использовать ИНС. Но здесь до широкого использования на практике далековато. Да и это все не есть уникальные свойства ИНС. По крайней мере, вопросы параллельных алгоритмов и устойчивости представлений алгоритмов можно изучать и без называния всего этого ИНС.

Отредактировано Necr0x0Der (2009-08-17 16:53:51)

я высказал свое мнение, вы высказали свое, противоречащее моему; если хотите обсуждать - перечитайте мое сообщение еще раз, мне его дублировать не хочется (цитированные здесь высказывания в моем предыдущем посте названы заблуждениями)
хотите обсуждать конструктивно - первым дайте аргументацию

хотите, для затравки:
МТ не выполняет алгоритм; МТ - это абстрактная штука, которая является одной из формализаций понятия алгоритма; кроме того, алгоритм, по определению, решает некую задачу. Теория алгоритмов разрабатывалась как средство решения математических задач (хотите, буду как тут принято, обвинять в неграмотности для полемического задора ). Поэтому МТ служит для "решения задач" в такой же степени, как и ИНС.  На возражение, что алгоритмы могут быть бессмысленными, можно сказать, что это касается в равной степени и ИНС.

Про второе цитируемое высказывание я лучше промолчу, поскольку оно - цитадель мирового зла. Третье просто голословно... можете поупражняться в обосновании с приведением его фактических доказательств.

PS

К сожалению, это оценочное суждение, не обладающее информативностью. А, судя по тому, что вы после него написали, утверждение про эквивалентность, несмотря на свою тривиальность, не всем доступно. Ибо, если им все же воспользоваться (несмотря на мнимую бесполезность), можно было бы многого в вашем сообщении не писать.
(это я так предлагаю эмоциональные суждения о чужих высказываниях не писать)

Отредактировано Necr0x0Der (2009-08-17 20:01:39)

на перцептронах или хопфилда?
нет, мозг не построен ни на каких нейросетях...
вот более корректное суждение:
1) некоторые ученые предполагают, что в мыслительном процессе значительную роль
играют естественные нейроны, которые НИКАКОГО (кроме названия и отдальнной аналогии)
отношения к ИНС не имеют...

понимаете, сударь, дело даже не в том, похожи ИНС на естественные сети или нет...
здесь много важнее, что  естественные сети - это аналоговые устройства, а ИНС - вариант МТ...
как-то путать карту с местностью - это не гражданская позиция, это аберрация...

2 3d6
1 - субъективно, да
2 - спорить с тем, что вы не знаете алгоритмов, не буду
3 - да
4 - см. Egg'а

с МТ у вас полная каша (извините за небольшой наезд), даже не понятно, что вы доказываете
для начала, не следует путать машину Тьюринга, воплощающую единичный алгоритм, и универсальную машину Тьюринга, воплощающую алгоритм исполнения других МТ
машина Тьюринга и искусственная нейронная сеть - понятия одного уровня
формализм МТ и формализм ИНС - понятия одного уровня
"решает задачу конкретная МТ" и "решает задачу конкретная ИНС" - высказывания, изоморфные с точностью до эквивалентных формализаций понятия алгоритма

еще раз: "ИНС - это способ решения задач без написания алгоритма человеком"
1. Создание ИНС эквивалентно написанию программы на каком-нибудь языке. Алгоритм - более базовое понятие.
2. Разработка и обоснование новой архитектуры ИНС - это очень сложная математическая проблема.
3. "Пользователь" может юзать готовые архитектуры только потому, что исследователи до этого потратили кучу сил на их разработку. Но в равной степени мы можем сказать: вот для Лиспа или там C++ есть куча библиотек, которые можно подключить и __решить задачу без написания алгоритма__. Но это возможно вовсе не потому, что C++ сам по себе решает задачу, а потому, что она уже решена другим человеком, а мы лишь адаптируем это решение.
4. Я знаю много людей, которые и обычные программы (имеющие какое-то отношение к ИИ) пишут интуитивно. К ИНС можно подходить также: а вот соединим тут нейрончики так, авось заработает. К сожалению, к нейронным сетям так часто и подходят, что мне напоминает ламеров, которые накачали разных хитрых программок, написанных хорошими специалистами, и возомнили себя кул хацкерами. И часто работает (как в случае традиционных программ, так и в случае ИНС), но посредственно и не для слишком сложных задач. Новое решение сложной задачи строится не на языках программирования, но и не на языке нейронных сетей. Задачи сами по себе не решаются. Либо используется готовое решение, либо решение строится неявно, эвристически и, как следствие, с неизвестными последствиями. Могу согласиться лишь с тем, что у ИНС для ряда задач бОльшая эвристическая сила и бОльшая толерантность к уровню грамотности разработчика.

и еще раз: "Некоторые весьма интересные задачи можно решить с помощью ИНС существенно лучше, чем другими алгоритмами."
ИНС находится не на уровне алгоритмов; один и тот же алгоритм можно представить с помощью ИНС или в виде последовательности каких-то команд. Это просто разные языки представления одного и того же алгоритма. Разные представления в разных задачах обладают разной эвристической силой. Любую ИНС можно представить в альтернативном виде так, что ничего от ИНС там видно не будет. Поэтому с вашим высказыванием (в том виде, в котором оно имеется) согласиться ну никак нельзя.

Вот модельная задача - это хорошо. Правда, я не понял условий первой модельной задачи (вторая слишком надуманная). Предпочел бы, конечно, задачу, для которой ни у меня, ни у вас нет готового решения. Но что ж, высылайте ТЗ, тестовые данные, будем смотреть. Или хотите, я реальную задачку подкину? А вы попробуете ее решить с использованием ИНС? Но вы, вроде, с Egg'овской задачкой еще не разобрались.

PS еще раз подчеркну: я не критикую ИНС; я лишь слегка критикую неадекватную интерпретацию их положения среди прочих понятий и формализмов; на самом деле, если прекратить мифотворчество вокруг ИНС и выявить их реальные плюсы, пользы от этого будет гораздо больше, как для самих ИНС, так и для области ИИ вообще
Также я не обсуждаю пользу от использования различных типов искусственных нейронов и архитектур ИНС в исследованиях психо и нейрофизиологии; речь идет о чисто технических приложениях

Отредактировано Necr0x0Der (2009-08-17 21:16:45)

здесь я ратую лишь за корректность терминологии:
самой машины без программы нет; по определению, машина Тьюринга - это лента + набор внутренних состояний + таблица переходов
одна машина Тьюринга _воплощает_ один алгоритм
алгоритмов _для_ машины Тьюринга не бывает; почти корректно будет сказать, что бывают программы...
но программа (МТ) и алгоритм - это понятия разных уровней
ладно, замнем этот вопрос, если он не понятен; к ИНС это отношение имеет опосредованное

Создание, в данном контексте, - это реализация функции "создатьСеть(параметры)" и указание соответствующих параметров.

Эх, мы никак не договоримся, что не бывает "не-ИНС алгоритмов". Ну ладно, будем считать эту фразу сокращением от "воплощения алгоритмов не в форме ИНС". Тогда соглашусь. Но добавлю: обе эти проблемы не только одинаково сложны, но они на самом деле практически _совпадают_. Поэтому вовсе не обязательно, решая их, ограничивать себя только формализмом ИНС. Собственно об этом я и говорю: разработка нового алгоритма мало зависит (хотя при рассмотрении тонких эффектов следующего порядка малости все же зависит) от того, реализовывать ли его в дальнейшем в форме ИНС или чего-то иного.

Ну, мы понемногу приближаемся к взаимопониманию. Это высказывание, хоть я с ним согласен далеко не полностью, у меня резкого отторжения не вызывает. Возможно, для некоторых людей, особо много работающих с ИНС, оно даже вполне верно (но квантор всеобщности к переменной "человек" в этом высказывании всяко нельзя приписать).

Блеснуть постесняюсь, но, раз хотите, пример одного алгоритма, имеющего удобное представление в рамках формализма МТ, приведу. Это алгоритм поиска Левина. Ничего близкого по возможности самообучения и экстраполяции в ИНС просто нет. Хотя прикладные аспекты применения этого алгоритма под большим вопросом, в теоретическом плане (раз уж мы про науку) он показывает всю ограниченность подхода к проблеме обучения в рамках парадигмы ИНС.

оки, если хотите, давайте в качестве модельной задачки возьмем экстраполяцию последовательности чисел
все предельно просто: есть последовательность, ее надо экстраполировать ))

очень хорошо; тогда выскажитесь, какие конкретно преимущества ИНС имеет
меня пока лишь привлекает задаваемая нейронными сетями метрика в пространстве алгоритмов; все остальное, что я о их плюсах слышал, - весьма поверхностно

1. Я, вроде, оговорился, что речь идет о принципиальных ограничениях, и алгоритм приводится не как практический пример.
2. Таки да, я убежден, что для решения реальных задач человеческих разум направленно перебирает различные алгоритмы, причем делает это в алгоритмически полном пространстве; в противном случае его возможности были бы гораздо сильнее ограничены. В этом плане парадигма ИНС с фиксированной топологией обладает принципиальными ограничениями, что я и хотел подчеркнуть. Выбор же топологии ИНС представляется как не нейросетевая проблема, то есть ИНС и с этой стороны совершенно недостаточны (перспективными выглядят глиальные ИНС, но к ним все равно относится почти все, о чем упоминалось выше).
3. То, что алгоритм перебора алгоритмов легко представляется в рамках традиционных формализмов, но очень плохо - в рамках ИНС (попробуйте представить себе ИНС, которая конструировала бы другие ИНС), говорит о больших неудобствах в использовании ИНС для реализации сильного самообучения.

Не вполне верно: программа просто должна порождать имеющиеся данные. Таким способом можно решать и, например, задачу кластеризации.

Хорошо, что вы не согласны с универсальностью ИНС как парадигмы ИИ
Однако же: экстраполяция - это та же игра на бирже. Там часто играют и люди без соответствующего образования.
Не нравится экстраполяция? Давайте возьмем шахматы. Практически любой ребенок может их освоить в какой-то мере. Какова ИНС, которая бы могла играть в шахматы лучше, чем какой-нибудь тривиальный эвристический алгоритм?
Не нравятся шахматы? Ладно, возьмем задачу слежения за малоразмерными целями. Ой, опять экстраполяция. Не люблю я фильтрацию Калмана, но ведь используется же тут. А где ИНС?..
Не знаю, к примеру, ни одной системы анализа изображений, построенной всецело на ИНС. Был неокогнитрон, да весь вышел. Куда уж реальнее задачи?

опять традиционное заблуждение, хотя в данном контексте и не критичное
МТ придумывали вовсе не за этим...

Плюсов я тут не вижу. Интересных подходов много. Эффективно решать указанные классы задач позволяют и другие подходы.
Конкретнее нельзя?
Я вот в детстве перешел с Паскаля на Си, потому что под Си было много библиотек, которые эффективнее позволяли решать некоторые классы задач...
Что именно в ИНС является источником их преимущества, перед чем, в чем преимущество заключается, в каких именно задачах проявляется?

значение этой фразы не понял

Это частный случай; вы свои задачи предлагали в очень общем виде, вот и я предложил одну такую; естественно, если говорить об общем алгоритме решения этой задачи, то он должно был бы уметь экстраполировать хоть как-то и котировки акций, и последовательности в тестах IQ, и даже знаки числа пи. С ИНС это реализовать ну очень сложно даже теоретически. Естественно, практическая реализация решения столь общей задачи по сложности близка к созданию ИИ как такового. Но, по крайней мере, представление алгоритмов в форме программ в возможности теоретического рассмотрения этой проблемы однозначно выигрывает. Все это было иллюстрацией к опровержению тезиса о принципиальном преимуществе ИНС в самообучении...

В том-то и дело, что ИНС в таких системах - это всего лишь один из элементов (и зачастую элемент вполне заменяемый, как в случае с ИНС типа FFBP, RBF, Хопфилда и т.д.). Практически не встречал реальных задач, которые можно было бы целиком решить на ИНС.

Ну, это уже что-то. Однако же: 1. Аттракторы имеются лишь в частного вида рекуррентных сетях;
2.

можно пояснить: что за отличные свойства; в чем таки преимущество с аттракторами?

так я вам и предложил новым метод... но если вы его не увидели, тем лучше - мне больше достанется ))

я как раз писал о том, как снять эти ограничения... как вы думаете, откуда берутся ограничения, накладываемые методами обучения?
ладно, это риторический вопрос... с свой долго выполнил: честно высказал свое мнение, хоть и с малой аргументацией (о ней в первом посте не просилось), а толкать вас на новые открытия не в моих интересах

это вы говорите о процедурах поиска; я говорю о более базовой вещи - представлении алгоритмов, потому что ограниченность упомянутых вами методов начинается отсюда... меня удивляет тот факт, что ограниченность методов обучения ищется там, где светло

вовсе не обязательно с EM, но в целом правильно

В целом, понятно. Но принципиальных проблем построить стохастическую модель для этой задачи нет. Могу согласиться, что в рамках Байеса алгоритмы типа EM нахаляву такую задачу решать не станут. ИНС же какое-то решение дадут. Это я и назвал эвристической силой. Однако субъективно я предпочту честно построить мат. модель, чем полагаться на непроверенные свойства ИНС. Для быстрого создания прототипов в таких случаях я тоже иногда использую ИНС. Но в конечном итоге и при их использовании нужно честно строить мат. модель, что ничуть не легче (а часто и сложнее), чем в рамках классического статистического подхода.

типа того, но я бы все же предпочел строгую модель с понятными предположениями... а если хорошо не подумать, то и ИНС будет давать непредсказуемый результат

Да как угодно. Хоть в виде строки символов, хоть в виде структуры.
Дело даже не в том, как задавать, а в том, как анализировать. Изображение, к примеру,
не вектор признаков.

не совсем то же, но тоже интересно; может, присоединюсь к обсуждению, если время будет

у нас был один участник (ЭГТР), который троллил в такой же манере - напишет всякой бездоказательной ерунды
и не приводит ни одного аргумента в пользу своих слов...
я даю вам двое суток, чтобы собрать ссылки на то, что естественные нейронные сети в мозгу человека - это цифровые устройства...

Отредактировано Egg (2009-09-22 01:53:15)

я правильно вас понял, что вы отказываетесь аргументировать свои слова?
мне очень жаль, но в таком случае вы не сможете здесь что-то говорить...

в природе все аналоговое... природа континуальна... даже кванты и квантовые переходы...
даже цифровые сигналы, которые существуют в вычислительных устройствах имеют аналоговую природу...
цифровитость их эмулируется... цифровая в них - только МТ...

Извините, это глупость ... впрочем я просил о природе не стоит - много учится прейдется, разберитесь хотябы с нейрофизиологией ...

Или для начала дайте определение аналоговости, и что вы под ней подразумеваете ... заметьте я не использую слово цифровой, я использую слово дискретный - т.е. то, что может быть разделенно на конечные элементы и этого будет достаточно, чтобы не потерять суть (точность) происходящего явления ... т.е. квантование энергии - это дискретное явление, т.к. значений энергии с промежуточными значениями просто не может быть, ровно так же как не может быть 1,56 белка - белков может быть или 1 или 2 - это дискретность. Прошу что такое аналоговость ?

Отредактировано tac (2009-09-22 02:39:42)