Я бы сказал: "так больше мы отсечём лишних абстрактных классов".

Далее следуют мои сугубо личные, максимально детальные, поэтичные рассуждения, человека, который ни разу не писал классификаторов (но непременно напишет).
Можно бить (но не сильно).
1. Вначале должен быть один класс. Для любой задачи. Брать меньше одного класса - нонсенс. Брать больше одного - нет оснований. Этому одному классу, очевидно, вначале, тождественно всё возможное многообразие всего.
2. Вводим в задачу 1 рецептор, который не может отличать ничего. Всё, что попадает на рецептор - это одна точка, которую он относит к одному классу. Здесь надо разобраться детальнее, что значит "относит". Я воображаю себе класс как некий мешок, в который можно складывать что-то. Мешок находится в определённом месте. Это важно, т.к. месторасположение "мешка" - это единственный идентификатор класса (в машине это "место" может быть задано, например, указателем). То, что попадает в мешок представляет в нём одну единицу. Т.е. если мы в мешок положим точку, а потом ещё одну, то в мешке всё равно будет "одна точка". С другой стороны, точку можно копировать столько раз, сколько нам это понадобиться для бросания её в разные мешки.
Рецептор и мешок занимают однозначное место в пространстве и они ориентированны друг относительно друга однозначно, что позволяет рецептору и мешку взаимодействовать однозначно. Допустим рецептор в центре циферблата, а мешок на 12 часов.
3. Допустим далее, что мы подстраиваем рецептор так, что он начинает отличать всё по градациям яркости. Вначале дискретно. Если точка чёрная - он её бросает в мешок слева (9 часов), если точка белая - в мешок справа (3 часа) (ну и, конечно, в мешок на 12 часов бросает всё в любом случае).
Поскольку справа и слева мешков никаких нет, рецептор должен разорвать мешок "12 часов" на 3 мешка. Что заставляет рецептор рвать мешок? (Делить классы?) Пока ничто, надо изменить его структуру. Допустим, что рецептор не может что-то кинуть куда-то если "не знает" наверняка, что там есть мешок (т.е. что у рецептора есть связь с мешком, взаимодействие). Допустим так же что рецептор, в состоянии "невозможности кинуть точку" обязательно рвёт базовый мешок. Базовый, это такой, в который попала бы точка до дифференциации отличательной способности рецептора. Удобно ввести правило в соответствии с которым рецептор располагает новый мешок под таким углом к базовому, который соответствует отличию в цвете точки.

В таком стиле, могу продолжить.

1. В идеологии классификации, как я её понимаю, слово "есть" тождественно - "соответствует какому-то классу". Таким образом, пока не описан механизм создания класса "точка" ни о каких точках не может быть и речи.
2. Я рассуждаю или сверх-абстрактно или сверх-детально, чтобы найти середину между ними. В вопросах классификации сверх-детально я ещё много не рассуждал, поэтому соответствующих классов в моём уме не сформировано. Даже в том, что я написал, уже вижу кучу ошибок. И это есть хорошо. 16х16 и прочее написанное - это не сверхдетально, это вообще непонятно что и откуда. Следует рассуждать от одного рецептора, потом добавлять два, три, матрицу рецепторов и следить медленно и внимательно как меняются потоки всего в этой системе. Если сразу задавать такие высокоуровневые начальные условия, то сильный ИИ тут не причём - какая-то частная инженерная задача. Хотя для начала, конечно, тренироватся нужно на частностях.
3. От матрицы пикселей до 28 классов - просто пропасть (правильных) рассуждений. Обучение на выборках, оптимизация, применение. "1.16e+77 классов" - это откуда? Кто и как их создал? Где они находятся? Как связаны? Кто и что классифицирует по этим классам? И т.д. Ответов на эти вопросы не получить, если последовательно не выращивать классификатор в уме. Такой вот рекуррентный каламбур.

Если все эти классы (количество, центр, масса, квадрат и т.д.) мы не вырастим в машине по единому (или по немногим разным) алгоритму, то сильный ИИ - это будет такая машинка, в центре которой сидит инженер и генерирует ей "умные мысли"... Если ты знаешь, что к изображению можно применить фильтры то и машина должна мочь этому научиться, двигаясь от самого элементарного, как младенец. Возможно, с подсказками.

1. Я склоняюсь к мысли, что нужно строить не дерво, а сеть. Т.к. человек очень уж легко меняет местами абстрактное и конкретное в последовательности своих рассуждений, в зависимости от контекста.
2. "Как" - это конечно вопрос... Я думаю, что достаточно 2 действия: деление 1 класса на 2 и объединение 2 классов в 1. Каждое из этих действий должно осуществляться либо неким супервайзером, либо обуславливаться структурой самих элементов этой сети. Для начала удобно первое, по ходу будет видно, как функции супервайзера удобнее перенести в саму структуру классификатора.
3. Закон деления и объединения должен быть построен на некотором универсальном принципе. Пока есть только одна ассоциация по этому поводу - устойчивость. Класс делится на два, когда он неустойчив к действиям по классификации. Как-то так. Это взято не "с потолка" тут замешано 2 аналогии:
а. Деление группы людей на классы. Проще всего проиллюстрировать на примере создания нового отдела на предприятии. На структурное подразделение предприятия (отдел) идёт поток задач. Если отдел не справляется - его делят на два отдела, организуют "над" ними Управление, для координации отделов, и добавляют людей.
б. Деление клетки происходит оттого, что она становится неустойчивой. Тут нет классификации, но принцип похожий (полезный).

Это самый глубокий уровень детализации. Собственно единичный акт классификации - это работа только связей. В моём колхозном описании связь - это процесс передачи точки из рецептора в мешок. Думаю, что я сделал серъёзную ошибку, забыв связать классы. Рецептору нет надобности оставаться связанным непосредственно с мешком на 12 часов. Достаточно связей с мешками на 3 и 9 часов, и связей между ними и мешком на 12 (ну вот, мои классы в голове начинают оптимизироваться - делиться и объединяться )

Было бы странно, если бы я сразу выдал что-то вменяемое. И так, чуть не взорвался от напряжения

Отредактировано Prosolver (2009-08-27 01:16:44)

16x16 = 2^256

После твоей первой рекомендации именно эту статью я нашёл и изучил. Кластерный анализ полезен для разбиения на классы неких объектов, которые уже есть в момент классификации, и о которых мы уже многое знаем (т.е. относительно которых у нас, у людей, уже сформированы какие-то классы в уме). Я считаю, что этот подход очень интересный и я буду над этим думать тоже, но он имеет мало чего общего с задачами сильного ИИ. В которых то, что классифицируется - создаётся в момент классификации.
Конечно, это мои психологические (и не только) аналогии, которые я считаю полезными и которые тщательно собираю путём рефлексии и чтения. Никому их не навязываю. Возможно я ошибаюсь и все объекты есть у человека в уме с рождения, задачей является только подбор хорошего метода их классификации.

Еще поправка 2^256 это число возможных картинок, а не классов. Классы это множества таких картинок, нужно взять все подмножества этих 2^256, то есть собрать картинки и у каждой поставить галочку если эта картинка входит в класс, например считается ли буквой А.
То есть классов  2^(2^256) -вот это невообразимо много.

Способность классифицировать изначально кроется в возможности отличать отличия в пространстве и времени (второе, по-моему, легко сводится к первому). Отличий отличий может быть безгранично много, поэтому количество классов ограничено только "сверху" (физической реализацией классификатора), а не "снизу".
Наш разум привык постоянно ограничиваться неким контекстом, поэтому ты ищешь границу и здесь. Но "правильной границы" нет. Ограничение по количеству классов будет ровно там, где ты её задашь.
Вообще - чем больше классов - тем лучше. Отсечь лишнее в процессе работы можно всегда, а вот добавление новых классов жёстко ограничено ресурсами - "болванками" (заготовками) классов.

У нас каждый экземпляр всего - класс.

Отклассифицировал всё-таки
Если ты согласен с тем, что всё можно сравнить с чем угодно - тогда всё относится (отождествляется) или не относится к какому-либо классу. Это очевидно.

Комбинаторный и фрактальный взрыв у человека не наступает по двум причинам:
1. Инерционность процесса создания и связывания классов. У меня есть подозрение, что компьютер придётся подтормаживать, чтобы он смог думать как человек...
2. Человек забывает. Это процесс уничтожения классов (вероятно, путём слияния). Особенно заметно отличие после сна. Поскольку человек обучается (создаёт или связывает классы) постоянно, в течение дня у человека должно накапливаться множество "паразитных" классов. Видимо в процессе сна весь "мусор" уничтожается, остаются только те классы, которые актуализировались чаще других.

Не могли бы пояснить (если это, конечно, не оффтоп), чего хорошего в подходе Хокинса, если сразу понятно, что на паттерны произвольной сложности колонок не напасешься и сложные закономерности ими не выявить?

Ваши фильтры и есть априорная информация, которая была получена ранее каким-либо путем и сейчас может быть применена лишь потому, что в природе есть закономерности, приблизительные повторы.
Рассмотрим первый фильтр. Сравниваем первый образ - растровый образ цифры "1". Сравниваем не с образом цифры "0", а внутренним представлением механизма распознавания о мире. Для него TRUE означает что есть наличие конкретного объекта1 - экземпляра класса "Нечто", удовлетворяющее его пониманию понятия "Вещь". Насколько я понимаю, данный фильтр выдаст TRUE и на другой миллион и еще один образ, у которого "центр масс" попадает на изображение. Т.е. этот фильтр весь мир делит на "Вещь1" и "Вещь2" - субклассы класса "Вещь", причем эта классификация не позволяет ответить на количественный вопрос - сколько таких объектов - индивидов класса "Вещь1" или "Вещь2" вообще могут существовать. Аналогично и про второй фильтр. В нем существует свое представление о мире, своя онтология. Если же мы ограничиваем внешний мир лишь двумя образами - "0" и "1", то количественный ответ может быть получен.

А кто говорил об имманентности? Свойство в онтологии - это лишь связь между двумя индивидами разных классов, имеющая некоторый набор параметров.
Так и запишем триплеты онтологии (пишу для простоты обычными словами):
1. Стекло имеет_твердость_для бумага.
2. Стекло имеет_хрупкость_для камень.
3. Стекло имеет_вязкость_для пуля.
Так мы наделили класс Стекло тремя свойствами и детализировали, относительно каких других объектов каждое свойство проявляется. Тут особенно стало заметно то, какое понятие попадает в центр внимания. Мы говорим о стекле во всех трех случаях, но могли бы все то же описать немного по- другому:
1. Бумага имеет_мягкость_для стекло.
2. Камень разбивает стекло.
3. Пуля вязнет_в стекло.
Такие три выражения не всегда эквивалентны первым трем.