Недавно посмотрел фильм EX MACHINA. Приятный фильм, мало актеров, размеренные действия, то, что мне нравится. Навело на мысль провести программный эксперимент по нейросетям. Эту идею отложил в итоге, но пока читал по вариантам обучения и построения возникала одна мысль.
Много лет назад, когда читал о работе мозга, там было сказано, что фактически нейроны не работают просто от потенциала, а срабатывают в зависимости от частоты получаемого сигнала, что перекликается с тем, что я писал здесь
Т.е. некоторым образом опять проявляется мое видение создания (интеллекта), не как структуры нейронов, а как ансамбля сигналов поверх этой структуры, как процесса. Еще раз четка: сознание (интеллект) это не структура, это – процесс. Любой процесс протекает во времени. Чувствительность нейронов к частоте получаемых сигналов как раз обеспечивает зависимость срабатывания от времени экспозиции. Простой пример: перед вами медленно прошел человек – вы распознали изображение как человека. Перед вами пролетела ракета на скорости 10 махов. Распознавание не произошло. Почему? Почему что время экспозиции нейронов было недостаточным. Пример грубый, так как зрительные нервы дело особенное. Но принцип то же. Возможно, именно в этом причина невозможно сознательно воспринять образ, который был показан 1/25 секунды – недостаточность внутренней экспозиции каких-то нейронов в сознательной части мозга.
Аналогом такого нейрона может служить дырявая бочка. В ней есть одна или более дыр. Мы наливаем туда воды черпаком. Если наливаем под одному черпаку в минуту, то все выливается в дыры. Если один раз в 10 секунд, то может поднять уровень воды на 30см. Но далее, по мере роста уровня воды скорость излива тоже увеличивается и уровень стабилизируется. Если наливать каждые 2 секунды, то можно переполнить бочку.
В электронике аналогом будет служить очень плохой конденсатор, который пытаются зарядить импульсами тока, но у него очень большой саморазряд. Чтобы зарядить его до какого-то заданного уровня надо увеличивать или частоту импульсов или энергию, которые они приносят (амплитуда, продолжительность). Если же попытаться смоделировать нейронную сеть на таком принципе программно, то тогда придется вводить понятие времени в модель. Накопленный заряд в программном нейроне надо каждый квант времени уменьшать. При этом есть выбор функции убывания. Может быть константное убывание, а может быть убывание пропорциональное накопленному заряду, больше заряд – больше убывание за квант.
Интересной особенностью такой сети было бы то, что на ее входе нельзя просто разово подать сигнал. Его надо там удерживать некоторое время (квантов), чтобы сеть смогла его воспринять. По поводу особенностей обучения таких сетей мне тяжело сказать что либо, не хватает знаний. Но в целом было интересно смоделировать LSM (жидкую машину состояний) построенную на таком принципе.