Искусственный Интеллект

Информация о пользователе

Привет, Гость! Войдите или зарегистрируйтесь.


Вы здесь » Искусственный Интеллект » Онтологическая проблематика ИИ » Нейросети - ваше отношение?


Нейросети - ваше отношение?

Сообщений 61 страница 90 из 122

61

3d6 написал(а):

Я вот сейчас возлагаю большие надежды на применение подхода ядерной ассоциативной памяти к обобщению модели Хопфилда со множественными задержками. В результате должно получиться распознавание последовательностей, что включает в себя естественным образом организованное контекстно-зависимое распознавание. Т.е. такого рода сети смогут обучаться контекстному распознаванию для более-менее любых входных данных.
Также, в сетях такого рода (обобщение Хопфилда, пока без ядер) были замечены гибридные отклики на гибридные входы - т.е. если у нас на входе что-то похожее не на одну последовательность, а на две, то есть шансы, что сеть это распознает как две последовательности одновременно.
Ансамбли таких сетей вероятно будут способны к структурному распознаванию.
Также, это все относится к классу сетей, обучающихся без учителя.
Т.е. в обозримой перспективе можно получить систему, которая, пронаблюдав некоторое время динамические данные, самостоятельно разобьет их на классы, будет способна модифицировать их в процессе работы, и будет производить на них контекстно-зависимое распознавание, с возможностью синтеза гибридных ответов.

Дай-то бог... а длительность задержек можно регулировать и обучать?
А потом, на мой взгляд, система д.б. структурирована, а не гомогенна.
Даже если она с разнообразными ОС и кучей аттракторов.
Поэтому у меня сильный скепсис по этому поводу...

0

62

есть такая вещь, называется симпатическая магия...
это самая древняя магия... древние люди протыкали след буйвола,
искренне полагая, что через след наносят вред самому животному...
делали рисунки и имитировали в танце мир вокруг себя...

очень многие молодые люди делают такую странную цепочку:
раз интеллект - это сложно и непонятно как работает, давай-ка я сделаю
что-нибудь, что непонятно как работает, может быть это и будет интеллектом?
это отголоски применения симпатической магии...

нейронные сети не имеют "уникальности" в обработки данных,
любая сеть может быть "выражена" в МТ, для любой сети есть эквивалентная
алгоритмическая обработка...

ЗАЧЕМ огребать кучу проблем в создании и "нелинейностей" в использовании,
если все тоже самое можно сделать понятным и простым ?!?!?
я вижу только одну реальную причину - это забавно...

0

63

Virtual_Graph написал(а):

а длительность задержек можно регулировать и обучать?

Пока нет, это отдельный хороший вопрос. Предположительно, будет просто очень много исходных задержек, часть из которых уйдет в околонулевой вес и будет удалена в конечном итоге.

Egg написал(а):

раз интеллект - это сложно и непонятно как работает, давай-ка я сделаю
что-нибудь, что непонятно как работает, может быть это и будет интеллектом?

Это конечно имеет место, но ирония в том, что для человека, разобравшегося в матричной алгебре, работа нейронных сетей перестает быть чем-то загадочным и непонятным. Я не понимаю, почему если для внесения дополнительных свойств поиска ближайшего собственного вектора матрицы мы, удобства ради, используем термин "нейронные сети" (который дает различным блокам матрицы наглядную, интуитивно понятную интерпретацию), то это резко становится в ваших глазах чем-то плохим и неправильным. Точнее, у меня есть гипотеза - она заключается в том, что вы не понимаете нейросетей, и, как следствие, полагаете, что другие их тоже не понимают :) Возможно, она ошибочна - но тогда предложите другое объяснение этого феномена!

0

64

3d6 написал(а):

мы, удобства ради, используем термин "нейронные сети"

т.е. все-таки линейная алгебра, как я и писал в п.5 своего предыдущего послания... :)
теперь такой вопрос: что такое "обучение" с этой точки зрения?

0

65

Egg написал(а):

теперь такой вопрос: что такое "обучение" с этой точки зрения?

Для ассоциативной памяти - это поиск матрицы, у которой все векторы, которые нужно запомнить, будут собственными. Ровно так и устроены алгоритмы обучения - это можно сделать как неявно и итеративно, так и явно, через вычисление псевдообратной матрицы (XW=X -> W=X(X^-1), где X - матрица всех запоминаемых векторов, W - весовая матрица).

0

66

3d6 написал(а):

XW=X

это будет верно только для ассоциативной памяти, для распознающих сетей,
мы имеем XW=Y, где Y - классификационный вектор.
Согласны ли вы с этим?

Отредактировано Egg (2009-08-11 17:08:32)

0

67

"распознающих" - это в смысле прямого распространения? Тогда да, там решается существенно переопределенная система уравнений, заданных XW=Y. Впрочем, распознавание вполне элементарно делается на ассоциативной памяти - достаточно дополнить вектор данных вектором, идентифицирующим номер класса.
А например для гетеорассоциативной памяти мы идем дальше, и ищем пару матриц:
XW=Y
YW'=X
Но к чему это все?

0

68

3d6 написал(а):

Но к чему это все?

Вы же украинец, зачем вы отвечаете вопросом на вопрос? :)
просто я хотел пройти путь с матричной эквивалентностью до конца и вернуться к своему списку,
оценивая который, вы несколько раз переходили "на личности"...
у меня в том пути было еще два шага - показать, что мы имеем систему уравнений,
где есть тестовая выборка на входе и классификационный список на выходе,
а также показать, что нахождение нейросетевой или псевдообратной W(-1) возникает из-за того,
что мы не можем решить задачу (или совокупность задач) точно и прямо ("в лоб")

Если вы согласны и с этим, я возвращаюсь:
/* к некоторым пунктам, прочие можно рассмотреть позже */

2. вы никогда не знаете сколько времени займет обучение или переобучение...
это правда... всегда для ИНС, часто для псевдообратной,
когда вырождение решения требует что-то делать с обучающей выборкой...

4. ваша сеть насыщается быстро и навсегда...
начиная с того, что емкость сети зависит от мерности входа и количества классов,
заканчивая проблемой ненормированностью обучающей выборки...
при этом, всегда (теоретически) "разнообразие" входа много меньше "классификационной"
способности матрицы...

5. ваша работа с сетью никогда не отличается от матричной алгебры, просто оборачивание матрицы в ИНС
происходит непонятным для вас (и для ИНС) образом...

да, потому, что апроксимация... до даже для точного решения W(-1)
мы зависим от входа...

6. если вам надо расширить классы, вам нужно начинать все сначала
очевидно, что так...

7. ваша ИНС всегда неустойчива и вы не знаете областей в который незначительные изменения приводят к нелинейности выхода
а как иначе, если мы предполагаем, что обучающая выборка формирует алгоритм распознавания,
подготовка выборки превращается в искусство...

8. ваша сеть не ведает представления об ошибки, она всегда отвечает уверенно, даже, если ошибается
с ассоциативные сетями вообще всегда так, если [to] сети не представили примера, она вообще не "знает" как с ним работать...
для прямых ИНС

и еще...
аргумент, что можно строить гибридные, комплексные и какие-то крутосваренные ИНС не проходит
по причине, что на каждом фрагменте гибридов мы имеем вышеуказанные проблемы...

0

69

Egg написал(а):

всегда для ИНС, часто для псевдообратной,

Ну как так можно - вы показываете на черное, и говорите "белое"!
Каким образом мы можем не знать, сколько времени уйдет на нахождение псевдообратной матрицы? Если не знаем какая выборка разве что - ну так это уже для любого метода нельзя сказать, сколько он будет работать, если неизвестно, какие данные :)

Egg написал(а):

ваша сеть насыщается быстро и навсегда...

При плохой выборке может насыщаться перцептрон, при незнании теории - можно запороть ассоциативную память :)

Egg написал(а):

заканчивая проблемой ненормированностью обучающей выборки

Нормировка данных - это задача препроцессинга. Если пускать неподготовленные данные в сеть - конечно ничего не выйдет.

Egg написал(а):

да, потому, что апроксимация... до даже для точного решения W(-1)
мы зависим от входа...

Э... невероятно но факт - действительно, вид матрицы зависит от того, какие именно у нее собственные векторы :) Или что вы пытаетесь сказать этими фразами?

Egg написал(а):

если вам надо расширить классы, вам нужно начинать все сначала

Увы, если заказчик меняет задачу когда показываешь ему решение, то нередко значительные части работы приходится переделывать. А порой и все целиком.

Egg написал(а):

ваша ИНС всегда неустойчива и вы не знаете областей в который незначительные изменения приводят к нелинейности выхода

Для ассоциативных сетей есть понятие "аттракторный радиус" - это расстояние, в пределах которого сеть гарантированно сойдется к искомому вектору.

Egg написал(а):

ваша сеть не ведает представления об ошибки, она всегда отвечает уверенно, даже, если ошибается

Для некоторых задач перцептрон может дать очень хорошую оценку степени уверенности в ответе. Для ядерной ассоциативной памяти тоже несложно ввести такую характеристику.

Egg написал(а):

если сети не представили примера, она вообще не "знает" как с ним работать...

Посмотрел бы я на то, как вы найдете дефект в трубе, если у вас есть данные только по нормальным участкам и швам :)

Отредактировано 3d6 (2009-08-11 21:19:50)

0

70

бесполезно, пока что 3d6'у все эти доводы глубоко равномерны и равновесны
лучше бы ему с Virtual_Graph, со временем доберутся и до нейро-функций и нейро-списков с нейро-продукциями на нейро-транзисторах с нейро-электронами

0

71

3d6 написал(а):

Ну как так можно - вы показываете на черное, и говорите "белое"!

давайте играть в презумцию осмысленности... я вас не подозреваю в том,
что вы никогда не обрабатывали реальных данных, вы меня не подозреваете в том,
что я здесь упражняюсь в риторике... я не сторонник ИНС,
но мне интересно и поучительно разбираться в методе...

3d6 написал(а):

Каким образом мы можем не знать, сколько времени уйдет на нахождение псевдообратной матрицы?

рекурсивные, сходимости и прочие условно-циклические алгоритмы не дают вам ответа на главный вопрос:
у вас обучающая выборка плохая, классы неверно составлены или апроксимационный алгоритм глючит...
только и всего... допускаю (почти уверен), что для обучения различения белого и черного растров проблем нет...

3d6 написал(а):

Нормировка данных - это задача препроцессинга. Если пускать неподготовленные данные в сеть - конечно ничего не выйдет.

вот видите какая замечательная деталька выплыла - препроцессинг. Это именно то, что я говорил - если данные хорошие и
в них можно выделить классификационнын признаки, то никакая ИНС не помешает их распознать...

3d6 написал(а):

Э... невероятно но факт - действительно, вид матрицы зависит от того, какие именно у нее собственные векторы  Или что вы пытаетесь сказать этими фразами?

снова препроцессинг, да? :-) Или вам вектора Господь Бог поставляет?

3d6 написал(а):

Для некоторых задач перцептрон может дать очень хорошую оценку степени уверенности в ответе. Для ядерной ассоциативной памяти тоже несложно ввести такую характеристику.

это будет не характеристика оценки ответа... это будет характеристика разброса параметров в "статистике" того или иного класса...

3d6 написал(а):

Посмотрел бы я на то, как вы найдете дефект в трубе, если у вас есть данные только по нормальным участкам и швам

:) у меня есть (был) такой класс - аномалия, которые определен как "то, что сильно отличается от нормы"...

0

72

Egg написал(а):

давайте играть в презумцию осмысленности

Я пытаюсь, но когда предпосылки, доказывающие одну точку зрения, используются в качестве аргумента к противоположной - мне сложно :)

Egg написал(а):

рекурсивные, сходимости и прочие условно-циклические алгоритмы не дают вам ответа на главный вопрос:

А при чем тут они? Алгоритм псевдообращения не рекурсивен, к нему не применимо понятие сходимости, и он никоим образом не условно-циклический. Зная сколько векторов на скольки нейронах нужно запомнить, не составит труда оценить, сколько это займет времени (и для подавляющего большинства задач оценка этого времени на листочке займет больше времени, чем само обучение). Псевдообращение - это примерно то же, что и обычное обращение, но для произвольных матриц. Вы же всегда знаете, сколько времени уйдет на обычное обращение матрицы?

Egg написал(а):

вот видите какая замечательная деталька выплыла - препроцессинг. Это именно то, что я говорил - если данные хорошие и
в них можно выделить классификационнын признаки, то никакая ИНС не помешает их распознать

А без препроцессинга очень глупо получается - мы знаем, что у данных есть специфика, но классификатору об этом не рассказываем. Это как показать человеку 10000 картинок размера 800х600, которые делятся на 2 класса в зависимости от того, больше красная компонента у пикселя с координатами (135,432), или синяя, и сказать - вот видите, мозг даже такие простые правила вывести не может :) Суть в том, что ИНС работают и тогда, когда мы про специфику данных ничего не знаем (если конечно с данными не фигня вроде этого примера).

Egg написал(а):

снова препроцессинг, да? :-) Или вам вектора Господь Бог поставляет?

Вы не поверите... Вектора из задачи берутся! И - да, препроцессинг - нормировка например, без нее никуда.

Egg написал(а):

это будет не характеристика оценки ответа... это будет характеристика разброса параметров в "статистике" того или иного класса...

Простите, вы вообще знаете, как перцептрон работает? Или ядерная ассоциативная память? Если нет - могу в двух словах объяснить, как получается степень уверенности в перцептроне, который имеет 2 выхода - для 1го и 2го классов.

Egg написал(а):

у меня есть (был) такой класс - аномалия, которые определен как "то, что сильно отличается от нормы"

Ввести его для ассоциативных сетей - раз плюнуть. Собственно, вот так: "если при конвергенции вектор прошел большое расстояние - значит, это фигня какая-то". Вот только если это вдруг будет не дефект, а другой тип шва - что ваш алгоритм, что такой метод, назовут его аномалией. И это - нормально и правильно, я не понимаю, почему вам такое поведение не нравится.

0

73

3d6 написал(а):

Вы не поверите...

мне кажется, вы горячитесь и снова задаете какие-то странные риторические вопросы,
вместо того, чтобы пытаться понять то, что я говорю...
// мне кажется, что задавать наводящие YesNo вопросы было эффективнее... :)
давайте заканчивать эту неинтересную часть...

Так вот. В части того, что линейная алгебра неплохо работает с определенными задачами я и не спорил...
Мне показалось, что главное, что мы стали сейчас обсуждать - это специфику данных,
"логику" их подготовки к обработке, способы валидации обработки и т.п.
Собственно это главное... А каким будем метод, занимающийся отображением сигнала на классы -
это вопрос второй, совершенно не главный и зависящий от специфики данных...

поэтому возвращаюсь к исходному посту:

3d6 написал(а):

От большого числа людей я слышу, что нейросети изжили себя, что это бесперспективный подход, и т.п. От некоторого существенного числа людей я слышу, что это супер-мега-вещь, и они могут все. При этом в качестве аргументов в пользу как одной, так и другой точки зрения приводится информация 20-30-летней давности. Соответственно, мне интересно, кто как к ним относится, и почему.

В рамках того, что мы выяснили, я позволю себе его перефразировать:
От большого числа людей я слышу, что лопаты изжили себя, что копать - это бесперспективный подход, и т.п.
От некоторого существенного числа людей я слышу, что это хорошая лопата - это супер-мега-вещь, и они могут все.
При этом в качестве аргументов в пользу как одной, так и другой точки зрения приводится информация о Павке Корчагине,
матросе Желязнике и т.п.
Соответственно, мне интересно, кто как к лопатам относится, и почему.

Мой ответ еще раз: к лопатам я отношусь хорошо, предпочитаю эксковаторы...

0

74

<перенесено из Что такое Интеллект>

Коннекционисты не заморачиваются вопросом что потом делать с образами, успешно распознанными нейросетями?

0

75

Egg написал(а):

Мне показалось, что главное, что мы стали сейчас обсуждать - это специфику данных,
"логику" их подготовки к обработке, способы валидации обработки и т.п.
Собственно это главное... А каким будем метод, занимающийся отображением сигнала на классы -
это вопрос второй, совершенно не главный и зависящий от специфики данных

Ну, это очень странная точка зрения. Я бы сказал, что она очень похожа на точку зрения человека, ни разу успешно не применившего нейросети, и потому не могущего оценить преимущества этого подхода. Или ни разу не сталкивавшегося с задачами, где придумать какой-нибудь логический метод не получается - данные визуально похожи на шум, корреляции не дают значительных результатов, логически осмысленные функции данных выделить не выходит, и т.п.

Egg написал(а):

Мой ответ еще раз: к лопатам я отношусь хорошо, предпочитаю эксковаторы...

Но в контексте вышесказанного, экскаваторы - это как раз нейросети.
А какие именно методы вы подразумеваете под "экскаваторами"?

0

76

NO написал(а):

Коннекционисты не заморачиваются вопросом что потом делать с образами, успешно распознанными нейросетями?

Почему же нет? Если задача инженерная - то нужно определить, какие образы вообще нужно распознавать (не ставить же перед сетью задачу в виде "вот тебе вход, а вот такой выход нам нужен"), и что делать с результатами. Обычно в инженерной задаче работает несколько разных сетей, специализирующихся на разных аспектах, и превращение результатов их работы в ответ системы - отдельная, не особо простая задача.
Но если задача научная - то да, обычно она ставится так, чтобы нужно было только распознать образы. Поэтому в статьях редко бывают упоминания о том, что дальше с ними делать.

0

77

Настоящее положение дел в НС-стрительстве состоит в том, что они имеют слабое отношение к ИИ. Подчеркиваю, настоящее, а не будущее.
Сегодня это просто класс математических методов, который удобно применять в том или ином случае, это и не лопата, и не экскаватор, а просто другой инструмент.
Не лучше и не хуже других формальных методов. Ключевые слова здесь - в том или ином конкретном случае  :blush:

Несомненно, что преимущество НС-подхода - универсальность. Т.е. возможность создавать само - модифицирующиеся, -развивающиеся, -организующиеся,
-совершенствующиеся, -обучающиеся и т.д. системы. Никакой другой подход такие возможности не предоставляет. Другое дело, что сейчас это выглядит как банальная настройка весовых коэффициентов. И вокруг этой простенькой идеи столько всего накручено - ужос  :D

Зы. Пока не появится концептуально новая парадигма, отличная от существущих "весовых", НС так и останутся классом математических методов для проектирования СБ  :rofl:

Отредактировано Virtual_Graph (2009-08-12 13:39:09)

0

78

3d6 написал(а):

Ну, это очень странная точка зрения.

я думаю, мы ходим по кругу... давайте позовем на помощь практику, если вы не против...
когда у вас будет время, силы и желание - выложите в доступ макетик
по классфикации без учителя...
если это трудно для ИНС, тогда - с обучением начертанию 0, 1, 2 как в вашем примере...
я тоже свой обновлю и подправлю - стравним их на тестах...

я не хотел бы вас "брать на понт" или подначивать,
если вам это не интересно или у вас очень мало времени - я не буду считать,
что вы испугались или что-то в этом роде, просто останемся каждый при своем мнении...

0

79

Egg написал(а):

если вам это не интересно или у вас очень мало времени

Немного не так. Ядерная сеть, которая занимается самообучением, сделана моим коллегой, и я никак не могу выкладывать ее куда-либо. Я ее буду переписывать с целью объединения с динамической памятью, и тогда у меня будет моя собственная программа. Ее я без проблем смогу выложить как угодно, но это едва-ли будет раньше декабря, а то и января - на это дело нужно время, теории там весьма немало нужно проработать. Плюс, есть вероятность, что по тем или иным причинам у меня не получится их удачно объединить - хотя это едва ли, не представляю себе, что может помешать.
Сейчас я могу показать результаты, которые дала эта сеть (собственно - 96.4% на базе MNIST, если мне не изменяет память, что является пока что рекордом для методов без учителя), вы можете взять эту же базу, и запустить на ней свой алгоритм, для сравнения по порядку величин.

0

80

3d6 написал(а):

Немного не так

конечно, когда угодно... ссылки на сторонние тесты и результаты не внушают,
хочется потрогать и дать свои тесты...
по диагностике могу сказать, что результат на швах ниже 99.8% считается плохим,
поскольку это означает ручную обработку более 20 швов на участок на один проход одним прибором одного типа
(а таковых проходов, с учетом мониторинга не мало).

0

81

Egg, со швами я бы обычный перцпетрон погонял для начала. И это совсем, совсем другая задача - на нее я бы и в сентябре глянул, если будут данные.

0

82

не могу удержаться от замечания...
инженерные задачи - это задачи технологические...
вы еще сигнала в глаза не видели, а уже имеете мнение о том, что и как лучше погонять...
:) :)
разберемся с классификацией нулей и двоечек, можно будет и к более сложным объектам переходить...

Отредактировано Egg (2009-08-12 20:09:09)

0

83

Egg написал(а):

разберемся с классификацией нулей и двоечек, можно будет и к более сложным объектам переходить

Так это вам разбираться надо, у меня с этим проблем никаких :)

0

84

3d6 написал(а):

у меня с этим проблем никаких

пока не видел, пока только слышал... :)

0

85

Egg написал(а):

я не хотел бы вас "брать на понт" или подначивать,

Egg написал(а):

пока не видел, пока только слышал...

Некрасиво как-то...

0

86

Я вам сообщаю результаты, опубликованные в приличных рецензируемых журналах, или на не менее приличных конференциях - а вам пофиг. Покажите на MNISTе хотя бы 90% - тогда и поговорим. А пока - до свидания.

...и да, жду не дождусь данные по швам

0

87

3d6 написал(а):

Некрасиво как-то...

эта реплика, если вы обратите внимание, есть ответ на "наезд":

3d6 написал(а):

Так это вам разбираться надо, у меня с этим проблем никаких

кроме того, я не нашел где бы я не сказал неправды...
я готов ждать вашего макета всю свою жизнь, но это не означает,
что я не могу иметь мнения по поводу того, что вы говорите...

Отредактировано Egg (2009-08-12 21:03:55)

0

88

3d6 написал(а):

Я вам сообщаю результаты, опубликованные в приличных рецензируемых журналах, или на не менее приличных конференциях - а вам пофиг.

что такое наука как она делается я знаю очень отчетливо...
один неплохой инженер стоит десятка хороших ученых со степенями...

3d6 написал(а):

Покажите на MNISTе хотя бы 90% - тогда и поговорим.

уточните задачу - покажу, какие проблемы...

3d6 написал(а):

А пока - до свидания.

жаль...

3d6 написал(а):

...и да, жду не дождусь данные по швам

посмотрите внимательно мои посты, я ничего не обещал...
понимаете, в реальной работе нет ваших кавалерийских наскоков - это мы погоняем этим,
это без проблем решится тем...
Реальные данные - это тонкости, детали и условия, тонны деталей,
это будет тяжелый труд - объяснить вам что к чему... пока я не вижу причин брать его на себя...
посмотрим какой вы инженер - сделаю следующий шаг...

Отредактировано Egg (2009-08-12 20:53:04)

0

89

Обсуждение задачи нахождения центра ладони на изображении выделана в отдельную тему и перенесена в Макеты:
Нахождение центра ладони на изображении

0

90

Боюсь, меня переименуют в Некропостеры, но все же хочется сказать:
прочитал начало обсуждения; ребята, вы жжоте! начать холивар с двух слов без какого-либо предварительного обсуждения - это надо уметь
это исходно была такая задумка, или позиции настолько непримиримы, что мгновенный переход к необоснованным взаимным оскорблениям - это был единственный путь? ну, мне тупо интересно...

0


Вы здесь » Искусственный Интеллект » Онтологическая проблематика ИИ » Нейросети - ваше отношение?


Создать форум. Создать магазин