новое сообщение
карта форума
правила форума
обратная связьДобрый вечер!
Реализуя алгоритм бустинга , написал модельную задачу.
Создается массив целых чисел (10000 экземпляров).
Весь массив разбивается на 2 класса в соотношении примерно 2:1. Далее реализуется схема описанная у Хайкина усиление с фильтрацией - выбирается 1-й классификатор , который классифицирует разбиение с точностью прогноза примерно 55 % . Далее формируется множество примеров из классифицированных 1-м классификатором 50% верных / 50% неверных результатов, подбирается 2-й классификатор с такой же точностью прогнозов, затем по результатам классификации 2-х первых формируется множество примеров , по которым мнения экспертов расходятся и по этому множеству подбирается 3-й классификатор с такой же точностью прогнозов. Далее получившийся в результате простого голосования 3-х экспертов классификатор становится в описанной схеме 1-м классификаторов - и процесс повторяется до тех пор - пока не кончатся примеры из множества( количество примеров для каждого классификатора-100). Улучшение классификации происходит на первых 2-3 шагах, далее остается примерно на одном и том же уровне ( где то получается 30-35 итераций). Может , я как то неверно понимаю схему каскадирования бустинга - или есть еще какие либо тонкости? Заранее благодарен за ответ.
Тематика: Нейронные сети
Каскадирование бустинга
Юрий
12-05-2012
нейронные сети Хопфилда
Здравствуйте! Мне необходимо написать программу с использованием нейронной сети Хопфилда для распознавания лица по фотографии. В качестве исходных данных подается вектор с координатами точек. В литературе по сетям Хопфилда написано, что исходные данные должны представлятся в двоичной или биполярной форме. Как можно представить вектор с координатами в двоичной форме?
NeuroNet
29-04-2012
Нейросеть распознающая изображения
Доброй ночи.
Необходимо создать в MATLABе нейронную сеть,которая могла бы распознавать изображения со стегоконтейнерами(скрытая информация) и пустые изображения.
Система признаков есть.Изображения для обучения и тестирования тоже есть..
Помогите создать нейронную сеть..поподробнее только.
monk67
24-04-2012
Своя нейронная сеть
Когда то я решил заняться программной реализацией нейронной сети
и сделал это могу выложить исходный код
вроде все делал по книжкам
но почему то когда я тестил её на распознавания символов у меня ничего не получалось
хотел бы увидеть эту систему распознавания (с исходным кодом) на компоненте TNeuralNetExtended
Azamat
07-10-2006
А что за книжки ты использовал, у меня просто аналогичная проблема...
Кирилл
26-10-2006
выложи если не сложно, буду признателен)
студент)
28-03-2012
предсказание методом SVM
Добрый день!
У кого-то есть опыт предсказаний числовых рядов методом SVM в Statistica 8?
Дело в том, что я столкнулся с такой проблемой, что алгоритм правильно классифицирует данные (определяет категории в данных), но при попытке сделать custom prediction, выдает совершенно не те данные, которые верно предсказывал в процессе тренировки.
Подскажите, в чем может быть дело. Спасибо!
Sergey
23-03-2012
В Статистике7 та же самая проблема.
Обычный предикшн - всё хорошо, а кастом предикшн (после ввода user defined case) - неправильно.
Но я Справку не глядел - может, там обязательно требуют как-то иначе (вручную) нормировать данные для кастом предикшн.
Victor Tsaregorodtsev
26-03-2012
Sergey,
SVM (support vector machine) ведь используется для решении задачи классификации, но не регрессии.
Максим Щербаков
25-03-2012
И регрессии тоже.
Statistica на основе SVM умеет делать и классификацию, и регрессию.
Victor Tsaregorodtsev
26-03-2012
Распознавание одномерных сигналов
Здравствуйте, нужна помощь в построении нейронной цепи на входном языке матлаб. Сеть должна с определённой вероятностью определять тип загружаемого одномерного сигнала. Допустим гармонический или периодический.
Виктор
20-03-2012
сеть Хопфилда,задача коммивояжера
Мне необходимо реализовать сеть Хопфилда для задачи коммивояжера для 5 - ти городов.
Каким образом выбираются коэффициенты А,В,С,Д и пороги тета?
Тета разные для всех нейронов или нет? Какого оно все порядка?
Простым перебором вариантов ничего не могу добится.
Заранее спасибо.)
Екатерина
06-01-2007
Пороги и веса, например, так: http://www.intuit.ru/department/expert/neurocomputing/6/2.html
или так: http://www.intuit.ru/department/expert/neuro/11/
а для подбора коэффициентов нет систематического метода. Хопфилд, например, для задачи в 10 городов использовал соответственно 500, 500, 200, 500. Еще читал, что Боут и Миллер предложили другую энергетическую функцию с единственным параметром, который легко определялся. Функция с первой ссылки вроде тоже с одним параметром, но я не думаю, что это решение Боута и Миллера.
Zirconium
08-02-2007
Предварительное сжатие входных данных
Здравствуйте,
Предсказания нейронной сети во многом зависят от входных данных (ну или мусора), которые идут на вход.
Классически подаются embedding данные, несколько последних значений time series. Опущу здесь варианты предварительной обработки, как вычисление разницы, нормирование итд
А какие есть наилучшие методы для сжатия размерности (dimensionality reduction) входного временного ряда? Есть массив значений пускай 60 данных погружения, надо их сжать и получить скажем 16 данных, которые хорошо описывают особенности time series. Варианты
1) Кусочная линейная аппроксимация
мы используем нелинейный метод нейронных сетей, а такими входами получается обрезаем нелинейность
2) спектр, преобразование фурье
как показывает опыт, плохо работает
3) вейвлеты
можно взять первые значимые коэффициенты вейвлетного разложения. Но вейвлеты хорошо сглаживают середину ряда, а для прогнозирования требуется адекватно описать правый край данных, здесь вейвлеты не очень
4) многочлены
коэффициенты при высоких степенях оказывают очень сильное влияние на выходной ряд
5) сплайны (?)
6) преобразование в грамматический ряд, например в зависимости от количества стандартных отклонений от среднего
7) Разложение по собственным функциям. Как мне кажется это наиболее правильное преобразование, но здесь непонятно насколько базис будет сохраняться в будущем при работе с нестационарными данными?
Может быть подскажете современные методики для подобных преобразований? Заранее спасибо.
Ярослав
10-02-2012
Сеть Кохонена в Matlab
Добрый день,
Подскажите, можно ли стандартную сеть Кохонена в Matlab заставить работать с, к примеру, 4 массивами 100*100, т.е. классифицировать эти самые массивы 100*100? Спасибо.
Андрей
21-09-2008
НС и криптография и пр.
Прекрасно представляю возможности НС, в данный момент появилась необходимость сделать работу по применению НС в криптографии. Искал в инете, но максимум, что находил - "НС имеют широкое применение в криптоанализе и криптографии". Если кто обладает информацией поделитесь. А также, хотелось бы по подробней о применении в др. областях.
Спасибо.
Александр
13-08-2001
Вопрос использования нейросетей в криптографии, на самом деле, довольно широко освещен в литературе. В двух словах: лучше всего для этого подходят сети Хэмминга, Хопфилда и т.п. - т.е. реализующие ассоциативную память. Идея состоит в том, что на вход сети подается двоичный вектор, 'склеенный' из двух - входного сигнала для шифратора и входного сигнала для дешифратора, и сеть обучается давать на выходе также двойной вектор - требуемые выходы шифратора и дешифратора соответственно. Особенностью указанных сетей является то, что они способны восстановить выходной вектор по неполной входной информации - то есть программируем матрицу весов и на приемной, и на передающей стороне одинаково - весами обученной нами сети, и подаем на вход только соответствующую часть входного вектора (либо только шифруемый сигнал, либо только дешифруемый). На выходе в любом случае получаем полный вектор, из которого опять же используем только требуемую часть (шифрованный либо дешифрованный образ). Более того, этот метод обладает некоторой естественной помехоустойчивостью - так как для искаженного вектора выбирается наиболее близкий к нему образ. Остается открытым только вопрос выбора криптоустойчивого кода - но это уже из области криптографии, а не нейросетей. Кстати, подобный метод используется для быстрого вычисления значения некоторой функции y=y(x) и обратной к ней x=x(y). Подаем на вход "склеенный" вектор xy и добиваемся получения его же на выходе. В результате, подавая на вход обученной сети только значение x или только значение y, получаем на выходе оба требуемых значения - копию аргумента и значение функции.
Андрей Киселев
15-08-2001
То что вы написали скорее кодирование (помехоустойчивое), а не криптография. Мне же необходима информация по криптографии. В любом случае спасибо за оказанное внимание. Может имеются ссылки на на интересующую меня литературу?
Александр
15-08-2001
Немного опоздал с ответом, но хотелось бы уточнить, что вышеописанное применение непосредственно можно связать с криптографией. Ко всему изложенному можно добавить, что есть вероятность применения нейронных сетей и во взломе криптографических протоколов. К примеру, проблемы нахождения ключа. Имея алгоритм шифрования, можно обучить НС, подавая на входы закрытую, а на выходы открытую информацию. При большом объеме поставленных данных можно с некоторой уверенностью сказать, что при подаче на вход открытого текста НС на выходе даст зашифрованный без применения ключа.
Есть идеи получения ключа на основе НС, но возможность такого подхода пока под вопросом и описывать не буду.
Суховей Александр
31-03-2009
На основе НС можно получить ключ, это не под вопросом :) а вот достаточно ли надежна эта схема - вот это вопрос.
На самом деле, это уже давно придумали. Суть: две нейросети обучаются не на примерах, а друг у друга. То есть, подается случайный битовый вектор на входы двух сетей (структура у них определенная - сеть прямого распространения, с одним скрытым шаром). Они по определенному правилу считают свой выход - один бит, который зависит от входа и скрытых весов нейронов. Потом обмениваются этим битом и по правилу Хебба (это в оригинале) решают, обновлять ли им веса и какие именно. Понятно, что это решение принимается на основании своего родного только что высчитанного выхода и выхода соседней сети. Таким образом, получается, что информация, которая есть общедоступной - входы и выходы - обладает максимальной полезностью только для этих двух сетей. Третья сеть, если она только подслушивает, учится на примерах (как в классической схеме обучения НС), но на решение первых двух НС обновляться или нет повлиять не может. Вот и выходит, что двонаправленное обучение происходит быстрее в большинстве случаев, чем однонаправленное. Это и позволяет использовать НС, как генераторов ключа. А сам ключ как формируется? Очень просто. В итоге двонаправленного обучения сети синхронизируются, то есть их веса становятся одинаковыми, и как только это было достигнуто, при дальнейшем взаимообучении они уже не смогут быть различными. Проходит 10-20 итераций, сети видят, что долго что-то ничего не обновляется, и понимают, что синхронизация завершена. Затем берут матрицу весов, хешируют и получают общий секретный ключ.
Анна
06-01-2012
