Объявление

Осуществляется переход на новую версию движка (регистрация новых пользователей пока закрыта), свои пожелания и вопросы оставляйте в ветке: Технический раздел -> Форум

#1 2009-10-13 18:43:27

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Подход Джеффа Хокинса

Наверняка многие знакомы с его книгой "On Intelligence". Описание концепции есть на нашем вики.

У Хокинса также есть работающие прототипы: программы, распознающие на картинках объекты, а также отличающие людей от машин на видео (см. http://numenta.com/).

Насколько его теория соответствует современным нейробиологическим данным? Насколько существующая программная реализация его теории (технология НТМ и платформа NuPIC) пригодна для создания хотя бы narrow AI?
У кого-нибудь есть ответы на эти вопросы?  smile

Offline

#2 2009-10-15 17:15:25

Viper
Участник
Из Москва
Зарегистрирован: 2007-03-05
Сообщений: 167

Re: Подход Джеффа Хокинса

Не могу ответить как специалист   big_smile  , отвечу как обычный мембер.

Насколько мне известно у Данилы где-то была программка распознавания образов работавшая как раз по принципам изложенным в книге (это если я ниче не путаю). Таким образом можно сказать, что на основе концепции Хокинса вполне можно построить AI.  smile

Offline

#3 2009-10-16 00:26:39

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Viper пишет:

Не могу ответить как специалист   big_smile  , отвечу как обычный мембер.

Насколько мне известно у Данилы где-то была программка распознавания образов работавшая как раз по принципам изложенным в книге (это если я ниче не путаю). Таким образом можно сказать, что на основе концепции Хокинса вполне можно построить AI.  smile

К сожалению, на основе этого пока можно утверждать только, что на основе концепции Хокинса можно построить распознавалку образов.   :mellow: 
В принципе можно предположить, что алгоритм Хокинса в основном соответствует процессам, протекающим в визуальном кортексе (с учетом иного строения сенсора человека - глаза, большей емкости и более разветвленной архитектуры кортеса), однако такое предположение будет слабо основано на фактах.

С другой стороны, теория Хокинса:
1) соответствует (по крайней мере, не противоречит) имеющимся нейроданным;
2) логична и соответствует нашим личным эмпирическим ощущениям;
3) имплементируема в компьютере.

При этом надо различать принцип организации мозга и его конкретную организацию. У Хокинса описывается принцип. На основе него нельзя вдруг взять и прямо сейчас построить искусственный мозг - предстоит исследовать еще огромное количество деталей, однако примитивные компьютерные модели на этой основе строить уже можно, и компания Хокинса это кое-как делает.

Offline

#4 2009-10-16 00:32:23

ilia kazachenko
Участник
Зарегистрирован: 2009-10-14
Сообщений: 4

Re: Подход Джеффа Хокинса

Здесь http://www.inauka.ru/news/article96168.html есть частичный ответ. Хокинс торжествует.  wink

Offline

#5 2009-10-18 21:46:11

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Я после того, как прочел данную книжку сильно расстроился.
У меня создалось впечатление, что у Хокинса просто были некоторые наработки в области распознавания на базе вероятностных моделей, и данная книжка была призвана извлечь из этих разработок побольше денег. Поэтому сама книжка выглядит во многом, как реклама товара. Первые главы полностью посвящены обещаниям, я честно говоря на них почти купился. Создавалось впечатление, что дядька Хокинс уже все загадки разума уже раскрыл, и меня от просветления отделяет всего пара глав. Вот цитата из начала книжки "Прежде всего, будет изложена общая теория функционирования мозга" - ну блин прямо рекламный лозунг, как тут не зачитаться, если учесть что это именно то, что я ищу. После 6-й главы (кроме неё в принципе можно ничего в книге не читать), я понял что Хокинс не сказал ничего такого, чего не было бы понятно и без него. Но понимания функционирования мозга почему-то не наступило.
Теперь кратко выскажусь, по поводу HTM, на которой работают Nument-овские распознавалки, которые по моему работают ужасно. Вот несколько скринов, чтобы было понятно, о чём я:

http://i33.tinypic.com/24g2710.jpg
http://i36.tinypic.com/25j9m9u.jpg
http://i33.tinypic.com/eqqyki.jpg

HTM согласно тому, что можно вычитать из концептов HTM (Numenta+HTM+Concepts+Rus.docx) представляет собой байесовскую сеть, с небольшими добавками.

Вот краткое описание простым языком, что же собственно делается:

1. На самом нижнем уровне иерархии узлы принимают на вход небольшой кусочек изображения. Выделяют из него наиболее часто встречающиеся
паттерны и вычисляют их вероятности в соответствии с частотой их появления.  Например горизонтальная линия 30% диагональная 40% вертикальная 30%

2. Выше по иерархии узлы принимают от нижестоящих узлов с какой вероятностью какой паттерн он видит. Так же определяют наиболее часто
встречающиеся комбинации паттернов и передают их вероятности дальше.

3. Так до верхнего узла в иерархии, где он в результате выдает вероятности по всем известным ему паттернам. Например как в примерах numenta кресло 40% диван 60%.

В доке "концепции HTM" сказано, что могут запоминаться последовательности паттернов и их вероятности, как раз об этом Хокинс в книге много распространялся, ну да можно запоминать и последовательности и оценивать их вероятности. Ну как он пишет там же это не всегда необходимо (в задаче распознавания статических изображений это точно не нужно, т.к. временных последовательностей у них нет), поэтому для ясности опустим этот момент.

Еще один момент заключается в возможной передаче вероятностей вниз по иерархии (собственно, в моем понимании это уже получается не иерархия,
а циклический граф) получая вероятности каких то паттернов более высокого уровня, узел более низкого уровня может тоже пробовать находить зависимость мехду своими часто встречаемыми паттернами.
Например узел верхнего уровня с большой вероятностью видит машину, тогда узел более низкого уровня с ещё большей вероятностью может
утверждать, что он видит колесо. В этот нехитрый механизм Хокинс что только не приплетал, и "скрытым вниманием" это обзывал и другими словами, на самом деле это немного улучшает % попадания при распознавании, но как видно из скринов не достаточно.

Ну и главное, как видно, как таковой памятью HTM не является, т.к. если вы что-то запоминаете, то как правило можете вспомнить, представить, нарисовать и т.п.  В HTM паттерны, как таковые запоминаются только на нижнем уровне, а дальше только таблицы условных вероятностей. Из такой модели, извлечь паттерн верхнего уровня невозможно. Можно выделить на представленной на вход картинке машину, отфильтровать от шумов и т.п. Можно научить распознавать машину с разных ракурсов и обучить распознавать нарисованную ребенком машину, но это будет лишь распознавание паттернов. Поэтому ни одна программа, основанная на HTM, запомнить и соответственно вспомнить ничего не сможет.

Тут появился новый документ от Nument-ы. Честно говоря, его уже не могу себя заставить прочитать, все предыдущие документы, примеры и презентации, меня только разочаровывали.

резюме такое:
- В книге нет "Общей теории функционирования мозга" несмотря на заверения Хокинса
- Иерархическая Временная Память (HTM) не запоминает "инвариантное представление", а только вероятности с которыми мельчайшие паттерны 1-го уровня соответствуют тем паттернам на которых их обучали.

Offline

#6 2009-10-18 23:03:22

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Nikolay пишет:

Тут появился новый документ от Nument-ы. Честно говоря, его уже не могу себя заставить прочитать, все предыдущие документы, примеры и презентации, меня только разочаровывали.

Поскольку у никто из нас не изучал НТМ и не понимает, как на самом деле она работает, мы пока что не можем делать выводы о том, насколько она хороша или плоха (только по продуктам). Думаю, ты с этим согласишься.

А вот этот документ как раз и призван объяснить в деталях связь НТМ и ее биологической основы - кортекса.
Хокинс вот так начинает свой папир: "The theoretical setting of hierarchical Bayesian inference is gaining acceptance as a framework for understanding cortical computation." - иронично, правда?   roll

Offline

#7 2009-10-18 23:15:28

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Sengrel пишет:

Поскольку у никто из нас не изучал НТМ и не понимает, как на самом деле она работает, мы пока что не можем делать выводы о том, насколько она хороша или плоха (только по продуктам). Думаю, ты с этим согласишься.

А вот этот документ как раз и призван объяснить в деталях связь НТМ и ее биологической основы - кортекса.
Хокинс вот так начинает свой папир: "The theoretical setting of hierarchical Bayesian inference is gaining acceptance as a framework for understanding cortical computation." - иронично, правда?   roll

Я ситаю, что я понял, как работает HTM в достаточной степени, чтобы воспроизвести Numenta Vision Toolkit самостоятельно. Сделал свои выводы и изложил, только и всего.

Цитата иронично, ещё как, прямо как "Прежде всего, будет изложена общая теория функционирования мозга" из его книги, нет больше у меня доверия ему просто не осталось, просто очередной рекламный лозунг, как в рекламе про крем для обуви на основе нанотехнологий.

Offline

#8 2009-10-19 03:24:39

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Nikolay пишет:

Я ситаю, что я понял, как работает HTM в достаточной степени, чтобы воспроизвести Numenta Vision Toolkit самостоятельно. Сделал свои выводы и изложил, только и всего.

Цитата иронично, ещё как, прямо как "Прежде всего, будет изложена общая теория функционирования мозга" из его книги, нет больше у меня доверия ему просто не осталось, просто очередной рекламный лозунг, как в рекламе про крем для обуви на основе нанотехнологий.

Это хотя бы проверяемое утверждение.
Изложу свои выводы. Они тоже будут не техническими.

Книга Хокинса в какой-то мере носит рекламный характер, а НТМ Concepts - ознакомительный. Детали, которые ты искал, изложены в других источниках: диссертации Дилиппа и вот в этом новом доке о биологических основах НТМ. Насколько я знаю, ты не читал ни того, ни другого.
Далее, Хокинс не стал бы рекламировать свою технологию, если бы не был уверен в ее готовности к выходу на рынок. Платформа в открытом доступе, Vision еще не продается, до первых прибылей еще многие годы. При этом платформа - не опен сорс, Хокинс не выпускает из своих рук разработку базы, т.е. он не привлекает рекламой разработчиков технологии - он привлекает только разработчиков коммерческих приложений.
Следовательно, он действительно уверен, что его платформа верная, а у него за плечами 20+ лет изучения мозга, и столько же - в компьютерном бизнесе. В этом же уверен Дилип, у которого докторская степень по математике. С ними солидарны все нейробиологи, с которыми я общался и кто хоть что-то писал на эту тему, у них оценка варьируется от "интересно" до "прорыв". Наконец, мы с Жителевым и Казаченко нашли в его книге общую теорию работы мозга - без деталей, но все же.

Так вот, предлагаю оценить, что вероятнее - что все дураки, или что ты чего-то недопонял или неверно интерпретировал?


С удовольствием обдумаю обоснованную критику НТМ.


P.S. Помню, ты как-то говорил, что далеко не фанат теорвера, как думаешь, это может влять на твои суждения?

Offline

#9 2009-10-19 11:10:03

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

В HTM Concept было достаточно деталей, чтобы понять как это работает, все это кратко изложено выше. Ссылку на диссертацию Диллиппа ты давал, это там ведь распознавались монохромные узоры спинок кресел? Я конечно не штудировал подробно, но беглый взгляд по тексту не нашел дополнительных деталей, полностью меняющих представление об HTM. Новая дока о биологических основах HTM - не читал, не могу себя заставить потратить на это еще несколько дней моей, возможно короткой, жизни. На 90% уверен, что это очередная профанация.
Нейробиологи с которыми ты общался согласны скорее с Моунткастлом, а не с Хокинсом. В том плане, что вероятно есть некоторые общие принципы организации разных зон коры. С этим согласен и я. Более того пытаюсь читать по этому вопросу работы разных нейробиологов и вот странность никто на Хокинса в этих вопросах не ссылается, хотя работы вышли много позже его книги. И спасибо большое им за это ).
Хотя я здесь и один, кто не впилил в "общую теорию работы мозга имени Хокинса", однако есть другие люди разделяющие мое недоумение по поводу книги и HTM (на neurosience, aicommunity например). Так что я по крайней мере не один такой дурак.
Да я не фанат матстатистики и теорвера, однако это не мешало мне пользоваться тем или другим время от времени, верно и обратное, я вот в некотором смысле фанат нейронных сетей, но никогда ими не пользовался (если BugBrain не считать )).

PS Я твою точку зрения знаю, ты мою тоже - спорить мы можем бесконечно. Давай другим людям дадим высказаться.

Offline

#10 2009-10-19 12:35:07

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Да, что-то у нас непродуктивные споры получаются. Ну совсем понимания нет.   :unsure: 

Nikolay пишет:

Нейробиологи с которыми ты общался согласны скорее с Моунткастлом, а не с Хокинсом. В том плане, что вероятно есть некоторые общие принципы организации разных зон коры. С этим согласен и я. Более того пытаюсь читать по этому вопросу работы разных нейробиологов и вот странность никто на Хокинса в этих вопросах не ссылается, хотя работы вышли много позже его книги. И спасибо большое им за это ).

Речь шла именно о Хокинсе. Работы Маунткасла уже давно не вызываю споров (как и иерархическая организация сенсорной коры).

Утверждение Хокинса "The theoretical setting of hierarchical Bayesian inference is gaining acceptance as a framework for understanding cortical computation." нуждается в проверке, но он вряд ли стал бы так открыто врать. Хотя слегка слукавить мог.

Полноты ради, может стоит сделать еще один approach?
http://www.cs.washington.edu/homes/rao/rao_nips04.pdf - paper уже не за авторством Хокинса, и даже не не из его института. Прочитай хотя бы абстракт.

Offline

#11 2009-10-20 00:15:13

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Sengrel пишет:

Да, что-то у нас непродуктивные споры получаются. Ну совсем понимания нет.   :unsure: 
Речь шла именно о Хокинсе. Работы Маунткасла уже давно не вызываю споров (как и иерархическая организация сенсорной коры).

Утверждение Хокинса "The theoretical setting of hierarchical Bayesian inference is gaining acceptance as a framework for understanding cortical computation." нуждается в проверке, но он вряд ли стал бы так открыто врать. Хотя слегка слукавить мог.

Полноты ради, может стоит сделать еще один approach?
http://www.cs.washington.edu/homes/rao/rao_nips04.pdf - paper уже не за авторством Хокинса, и даже не не из его института. Прочитай хотя бы абстракт.

Хорошо, почитаю. Я в принципе и говорил, что вероятносные предсказания - самое популярное сейчас направление, Хокинс и тут Америку не открыл, вот и список литературы в данной статье тому подтверждение.

Offline

#12 2009-10-20 00:39:23

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Читаю вот...

Сначала говорится... бла бла бла, всё больше доказательств того что мозг использует Байесовский подход при принятии решений.

И вот уже чуть дальше говорится следующее:
An important question that has only recently received attention is how networks of cortical neurons can implement algorithms for Bayesian inference.

Мой вольный перевод: У нас есть замечательная теория (Байесовский подход), она иногда работает, давайте посмотрим можно ли нейроны соединить между собой так, чтобы получилось тоже самое )
Вот это основная проблема подхода - они не основываясь на строении мозга, создают модель, а ищут что-то, чтобы за уши притянуть свою уже существующую теорию.

Читаю дальше...

Интересно почему взята именно Модель Integrate-and-Fire, которой 100 лет в обед? Она же не учитывает временную память нейрона (когда из синапсов было выброшено некоторое количество медиатора, но нейрон спайком не разрядился, повторный выброс в течении ближайшего времени, с большей вероятностью заставит нейрон сработать)

Думаю всё по тем же причинам, чтоб удобнее было подогнать под свой результат. Ладно вскрытие покажет, на это правда потребуется время, завтра продолжу вечерком, надо еще проверить правильно ли они там выражения преобразовывали.

...

Offline

#13 2009-10-20 00:58:40

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Nikolay пишет:

Хорошо, почитаю. Я в принципе и говорил, что вероятносные предсказания - самое популярное сейчас направление, Хокинс и тут Америку не открыл, вот и список литературы в данной статье тому подтверждение.

Да как угодно можно называть, я пишу "подход Хокинса" потому, что он наиболее известен и активнее всех шевелится.

Offline

#14 2009-10-20 22:41:36

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Чем дальше в лес, тем толще партизаны...
А ты сам то в этой статье разобрался? Стохастические спайки это чё? А ну допёр, типа случайные...
“escape function” (or hazard function) это что за такие функции?
Это чего убегающая чтоли функция? Я так понял просто любая быстро растущая?
Скрытая Марковская модель   :blink:   Блин, как я здавал экзамен по матстатистике? Склероз однако.
Чтобы дочитать, явно придется освежить свои знания по матстатистике, полез искать учебники...

Offline

#15 2009-10-21 00:59:43

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Nikolay пишет:

Чем дальше в лес, тем толще партизаны...
А ты сам то в этой статье разобрался? Стохастические спайки это чё? А ну допёр, типа случайные...
“escape function” (or hazard function) это что за такие функции?
Это чего убегающая чтоли функция? Я так понял просто любая быстро растущая?
Скрытая Марковская модель   :blink:   Блин, как я здавал экзамен по матстатистике? Склероз однако.
Чтобы дочитать, явно придется освежить свои знания по матстатистике, полез искать учебники...

Я ее еще и не начинал читать, она пока только в середине списка.   roll

Offline

#16 2009-10-21 01:37:05

Nikolay
Участник
Из Санкт-Петербург
Зарегистрирован: 2009-09-11
Сообщений: 30

Re: Подход Джеффа Хокинса

Sengrel пишет:

Я ее еще и не начинал читать, она пока только в середине списка.   roll

Я так и подумал. Скажешь когда прочтешь, а то мне обидно будет так много букав осилить и даже обсудить не с кем.  <_<

Offline

#17 2009-10-21 17:11:06

ilia kazachenko
Участник
Зарегистрирован: 2009-10-14
Сообщений: 4

Re: Подход Джеффа Хокинса

У меня созрело такое вот предложение.
Скопилось немало вопросов к Хокинсу и было бы полезно собрать их в кучу и отослать письмом от заинтересованной российской общественности на адрес Нументы (или кто знает прямой?).
Кто возмётся скомпилировать и грамотно перевести?
.....................................................
Моя порция вопросов к Дж. Хокинсу.

Прошло 5 лет с момента написания " Об интеллекте", насколько реальное развитие технологии НТМ соответствует вашим ожиданиям и прогнозам? Ваш новый скорректированный прогноз.

С какими непредвиденными трудностями вы столкнулись?

В конце книги вы сделали проверяемые предсказания, что за это время проверено, каковы результаты на сегодня.

Существуют ли обоснованные опровержения теории и серьёзные опоненты?

В недавно опубликованном папире вы утверждаете, что приобретает всеобщее признание  идея соответствия баесовских сетей  механизму работы коры г.м.. Нельзя ли поподробнее?

Подходит ли недавно изобретённый мемристор на роль воспроизведённого аппаратно узла сети? Есть ли новости с этого фронта?

Перспективы и достижения в сфере робототехники на базе НТМ?

Чего и когда ожидать от Нументы и Витамина Д в плане коммерческого продукта?

Разрешение на размещение этого удалённого интервью в открытом доступе  (если надо - где?).

Offline

#18 2009-10-21 19:05:26

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

Угу, давно эта идея была, похоже время настало. Предлагаю обсудить это в следующей скайп-встрече.
Я бы предложил сформулировать конкретные и полезные нам вопросы - на них больше шансов получить конкретные и полезные ответы.

Offline

#19 2009-10-22 12:54:34

ilia kazachenko
Участник
Зарегистрирован: 2009-10-14
Сообщений: 4

Re: Подход Джеффа Хокинса

Sengrel пишет:

Угу, давно эта идея была, похоже время настало. Предлагаю обсудить это в следующей скайп-встрече.
Я бы предложил сформулировать конкретные и полезные нам вопросы - на них больше шансов получить конкретные и полезные ответы.

Как никто не не знает английский! А я думал что один такой. smile . Там вроде без особых оборотов можно обойтись. Ну на крайняк отдам в бюро переводов.
Полезные вопросы формулируй, только на свои я тоже хочу получить ответ. Надеюсь Хокинс на всё ответит, ведь подобное большое интервью  висит где то, я видел.

Offline

#20 2009-10-22 17:50:11

Sengrel
Участник
Зарегистрирован: 2009-03-09
Сообщений: 464

Re: Подход Джеффа Хокинса

ilia kazachenko пишет:

Как никто не не знает английский! А я думал что один такой. smile . Там вроде без особых оборотов можно обойтись. Ну на крайняк отдам в бюро переводов.
Полезные вопросы формулируй, только на свои я тоже хочу получить ответ. Надеюсь Хокинс на всё ответит, ведь подобное большое интервью  висит где то, я видел.

Почему же, я английский знаю, переведу.
ИМХО, мне кажется, что нужно отправлять более конкретные и полезные нам вопросы, чем приведенные тобой.
Или можно послать 2 письма от 2 якобы независимых людей.

Offline

#21 2009-10-22 23:02:06

ilia kazachenko
Участник
Зарегистрирован: 2009-10-14
Сообщений: 4

Re: Подход Джеффа Хокинса

формулируй, покумекаем.

Offline

Подвал раздела

Под управлением FluxBB