Понятие внимания и виды внимания: лекция 5. Внимание | Социальная сеть работников образования

21 Общая характеристика внимания. Функции и виды внимания.

Важнейшей
особенностью протекания психических
процессов является их избирательный,
направленный характер. Этот избирательный,
направленный характер психической
деятельности связывают с таким свойством
психики, как внимание.

В отличие от
познавательных процессов (восприятие,
память, мышление) внимание своего особого
со­держания не имеет; оно проявляется
как бы внутри этих процессов и неотделимо
от них. Внимание харак­теризует
динамику протекания психических
процессов.

Внимание — это
направленность психики (сознания) на
определенные объекты, имеющие для
личности ус­тойчивую или ситуативную
значимость, сосредоточе­ние психики
(сознания), предполагающее повышенный
уровень сенсорной, интеллектуальной
или двигатель­ной активности.

Характеризуя
внимание как сложное психическое
явление, выделяют функции внимания.
Сущность вни­мания проявляется прежде
всего в отборе значимых, релевантных,
т.е. соответствующих потребностям,
со­ответствующих данной деятельности,
воздействий и игнорировании (торможении,
устранении) других — не­существенных,
побочных, конкурирующих воздействии.
Наряду с функцией отбора выделяется
функция удер­жания (сохранения) данной
деятельности до тех пор, пока не будет
достигнута цель. Одной из важнейших
функций внимания является регуляция и
контроль протекания деятельности.

Внимание может
проявляться как в сенсорных, так и
мнемических, мыслительных и двигательных
процес­сах. Сенсорное внимание связано
с восприятием раз­дражителей разного
вида. Выделяют зрительное и слуховое
сенсорное внимание. Объектами
ин­теллектуального внимания как
высшей его формы яв­ляются воспоминания
и мысли.

Различают три вида
внимания: непроизвольное, произвольное
и послепроизвольное.

Непроизвольное
внимание (пассивное, эмоцио­нальное)
— это сосредоточение сознания на объекте
в силу каких-то его особенностей.

При пассивности
существует зависимость непроизвольного
внимания от объекта, который его привлек,
и отсутствуют усилия со стороны
человека, направленные на то, чтобы
сосредоточиться. Когда непроизвольное
внимание эмоциональное, то выделяют
связь между объектом внимания и эмоциями,
интересами, по­требностями. В этом
случае также нет волевых усилий,
направленных на сосредоточение.

Любой раздражитель,
изменяя силу своего действия, привлекает
внимание. Новизна раздражители также
вызывает непроизвольное внимание.
Большое значение для возникновения
непроизвольного внима­ния имеют
интеллектуальные, эстетические и
мораль­ные чувства. Предмет, вызвавший
у человека удивле­ние, восхищение,
восторг, продолжительное время приковывает
его внимание.

Интерес, как
непосредственная заинтересованность
чем-то происходящим и как избирательное
отношение к миру, обычно связан с
чувствами и является одной из важнейших
причин длительного непроизвольного
вни­мания к предметам.

Произвольное
внимание (активное, волевое) — это
сознательно регулируемое сосредоточение
на объекте.

Человек
сосредоточивается не на том, что для
него интересно или приятно, но на том,
что должен делать.

Этот вид внимания
тесно связан с волей. Произ­вольно
сосредоточиваясь на объекте, человек
прила­гает волевое усилие, которое
поддерживает внима­ние в течение
всего процесса деятельности, волевое
усилие переживается как напряжение,
мобилизация сил на решение поставленной
задачи. Произвольное внимание возникает,
когда человек ставит перед собой цель
деятельности, выполнение которой требует
со­средоточенности. Своим происхождением
произволь­ное внимание обязано труду.

Важным условием
поддержания произвольного вни­мания
является психическое состояние человека.
Утомленному человеку очень трудно
сосредоточить внимание. Значительно
ослабляет произвольное вни­мание
эмоциональное возбуждение, вызванное
посто­ронними причинами.

Вопрос 11.Внимание. Свойства, функции и виды внимания. Развитие внимания.

Внимание —
избирательная направленность восприятия
на тот или иной объект.
Изменение внимания выражается в изменении
переживания степени ясности и отчетливости
содержания, являющегося предметом
деятельности человека. Внимание находит
себе выражение в отношении человека к
объекту. За вниманием часто стоят
интересы и потребности, установки и
направленность человека, другие
психологические характеристики личности.
Это прежде всего вызывает изменение
отношения к объекту, выражаемое
вниманием — его сознаваемостью. На
причины внимания к тому или иному объекту
указывают его свойства и качества,
взятые в их отношении к субъекту.
Функциями
внимания являются:
обнаружение сигнала; бдительность;
поиск;
избирательное внимание; распределенное
внимание. Виды
внимания. Непроизвольное
внимание (пассивное) Вид
внимания, при котором отсутствует
сознательный выбор направления и
регуляции. Оно устанавливается и
поддерживается независимо от сознательного
намерения человека. В основе него лежат
неосознаваемые установки человека.
Свойства
внимания:
Концентрация
—
удержание внимания на каком-либо объекте.
Такое удержание означает выделение
«объекта» в качестве некоторой
определённости, фигуры, из общего фона.
Объём
Поскольку
человек может одновременно ясно и
отчетливо осознавать несколько однородных
предметов, постольку можно говорить об
объёме внимания. Таким образом, объём
внимания — это количество однородных
предметов, которые могут восприниматься
одновременно и с одинаковой четкостью.
По этому свойству внимание может быть
либо узким, либо широким. Устойчивость
В
противоположность ей лабильность—
характеризуется длительностью, в течение
которой сохраняется на одном уровне
концентрация внимания. Наиболее
существенным условием устойчивости
внимания является возможность раскрывать
в том предмете, на который оно направлено,
новые стороны и связи. Внимание устойчиво
там, где мы можем развернуть данное в
восприятии или мышлении содержание,
раскрывая в нем новые аспекты в их
взаимосвязях и взаимопереходах, где
открываются возможности для дальнейшего
развития, движения, перехода к другим
сторонам, углубления в них.Переключаемость
Сознательное
и осмысленное, преднамеренное и
целенаправленное, обусловленное
постановкой новой цели, изменение
направления сознания с одного предмета
на другой. Только на этих условиях
говорят о переключаемости. Когда же эти
условия не выполняются, говорят об
отвлекаемости. Различают полное и
неполное (завершенное и незавершенное)
переключение внимания. При последнем
после переключения на новую деятельность
периодически происходит возврат к
предыдущей, что ведёт к ошибкам и снижению
темпа работы. Переключаемость внимания
затруднена при его высокой концентрации,
и это часто приводит к так называемым
ошибкам рассеянности.
Рассеянность
понимается в двух планах: как неумение
сколько-нибудь длительно сосредотачивать
внимание (как следствие постоянной
отвлекаемости) из-за избытков неглубоких
интересов и как односторонне сосредоточенное
сознание, когда человек не замечает то,
что с его точки зрения представляется
незначительным.
Распределение
Способность
выдерживать в центре внимания несколько
разнородных объектов или субъектов.

Развитие
внимания
означает его постепенное совершенствование
по всем или по отдельным свойствам –
повышение устойчивости, концентрации,
переключаемости и расширение объёма.
Под развитием внимания понимают переход
от более простых к более сложным видам,
от врождённых к приобретённым его видам
(например, появление у человека социально
обусловленного внимания и его использование
вместо природного, переход от
непроизвольного к произвольному
вниманию…). Развитие внимания может
идти параллельно по разным направлениям,
включая одновременное совершенствование
всех видов внимания, а может касаться
только отдельных его направлений; может
идти естественным путём или происходить
целенаправленно (искусственное развитие).
Естественное развитие внимания идёт
постепенно, по мере созревания мозга,
накопления опыта и является сравнительно
медленным процессом. Искусственное
развитие внимания представляет ускоренный
процесс и обычно связано с выполнением
специальных упражнений, рассчитанных
на развитие того или иного свойства или
вида внимания. Естественный процесс
развития внимания приводит к его
устойчивым изменениям.

Внимание
у человека формируется с рождения, и в
процессе формирования его происходит
взаимосвязанное развитие памяти, речи,
мышления.

45 Внимание Физиологические основы внимания

Внимание
— направленность и сосредоточенность
сознания на каком-нибудь предмете,
явлении или деятельности. Внимание
можно представить как когнитивный
процесс, который обеспечивает
упорядочивание поступающей извне
информации в зависимости от первичности
и важности стоящих перед человеком
задач.

Уже
из определения внимания следует, что
оно характеризуется, с одной стороны,
направленностью на то, чем занято
сознание, а с другой стороны
сосредоточенностью сознания на чем-то,
требующим особой осознанности.

В
жизни каждого человека могут быть
случаи, когда что-то лучше выполнять
при рассредоточенном внимании, а иногда
от человека требуется четкая концентрация
внимания на каком-то предмете.

Внимание,
как действие концентрации умственных
усилий, возможно лишь в отношении
сознательного внимания, когда оно
направляется на объект под влиянием
необходимости и поставленной цели, в
этом проявляется избирательность
внимания, когда выбирается раздражитель,
на котором человек и должен сосредоточиться.

Рассредоточенное
внимание также необходимо человеку в
том случае, если он должен выполнять
одновременно несколько действий. Большие
трудности при выполнении сложных заданий
уменьшаются в случае постоянных
тренировок внимания, и выполнение этих
заданий становится привычным. Человек
достигает автоматизма, т.е. происходит
автоматическая обработка информации,
следовательно требуется меньше
когнитивных ресурсов для выполнения
этих заданий.

Одни
считают, что внимание — это по­знавательный
психический процесс. Другие связывают
внимание с волей и дея­тельностью
человека, основываясь на том, что любая
деятельность, в том числе и познавательная,
невозможна без внимания, а само внимание
требует проявления определенных волевых
усилий.

физиологическая
основа внимания — механизм взаимодействия
нервных процессов возбуждения и
торможения, протекающих в коре головного
мозга. Это взаимодействие происходит
как вам уже известно, на основе
установленного И. П. Павловым закона
индукции нервных процессов, согласно
которому процессы возбуждения, возникающие
в одних участках коры головного мозга,
вызывают (индуцируют) тормозные процессы
в других участках мозга. Если человек
сосредоточил внимание на каком-либо
предмете, то это и означает, что данный
предмет вызвал возбуждение в соответствующем
участке коры полушарий, остальные же
участки коры оказались заторможенными,
вследствие чего человек ничего не
замечает, кроме данного предмета. Так
как то один, то другой объект действительности
вызывает возбуждение в мозгу человека,
то возникает впечатление что возбужденный
очаг в коре полушарий как бы перемещается
по ней, чем и обусловливается переключение
внимания с одного предмета на другой.

И.
П. Павлов прибегал к образному сравнению
для того, чтобы объяснить это явление:
«Если бы можно было видеть сквозь
черепную крышку и если бы место больших
полушарий с оптимальной возбудимостью
светилось, то мы увидали бы на думающем
сознательном человеке как по его большим
полушариям передвигается постоянно
изменяющееся в форме и величине причудливо
неправильных очертаний светлое пятно,
окруженное на всем остальном пространстве
полушарий более или менее значительной
тенью» 1.

Это
«светлое пятно» соответствует оптимальному
очагу возбуждения, а «тень» — участкам,
находящимся в заторможенном состоянии.

Заметим,
что Павлов часто употреблял выражение
«оптимальный очаг (участок) возбуждения».
Что это значит?

Дело
в том, что в каждый момент в коре обычно
существует несколько очагов возбуждения,
причем один из них преобладающий, но не
в том смысле, что он самый сильный, а в
том смысле, что он наиболее благоприятен
(слово «оптимальный» и означает
«наилучший», «.наиболее благоприятный»)
для протекания психических процессов,
для познавательной и творческой
деятельности. В нем создаются наиболее
благоприятные условия для образования
новых временных связей, с ним связано
отчетливое восприятие, ясная работа
мысли, продуктивное запоминание. Часто
очаг оптимального возбуждения является
и самым сильным очагом возбуждения, но
так бывает не всегда. Например, спльнейший
очаг возбуждения, возникший в результате
нервного потрясения или обилия
впечатлений, отнюдь не оптимальный.

Итак,
физиологическая основа внимания —
наличие в коре области оптимального
возбуждения и торможения других участков
(по закону индукции нервных процессов).
Этим создаются такие условия, при которых
устраняется или ослабляется влияние
посторонних раздражителей, так как их
сигналы попадают на заторможенные
участки коры головного мозга.

Иногда
под влиянием ярко выраженной
целеустремленности человека, наличия
у него твердых жизненных установок и
захватывающих интересов в коре головного
мозга возникает сильный оптимальный
центр возбуждения, названный доминантой
(от латинского слова «доминанс» —
господствующий). Этот центр возбуждения
доминирует, господствует над всеми
другими центрами возбуждения не только
в том смысле, что он подавляет, тормозит
их. Доминантный очаг способен усиливаться
за счет других, второстепенных центров
возбуждения, словно «притягивая» к себе
их процесс возбуждения. Доминанта
отличается от очага оптимального
возбуждения большей силой и, главное,
повышенной устойчивостью, длительностью,
стойкостью. Известно, например, что
композитор Бетховен, изобретатель
Эдисон, писатель Бальзак сутками могли
обходиться без сна и еды, захваченные
процессом творчества. Наличие доминанты
можно наблюдать и у некоторых подростков
или

46.
По активности человека в организации
внимания различают три вида внимания:
непроизвольное, произвольное и
послепро-извольное.

Непроизвольное
внимание. В психологической литературе
употребляется несколько синонимов для
обозначения непроизвольного внимания.
В некоторых исследованиях его называют
пассивным, в других — эмоциональным.
Оба синонима помогают раскрыть особенности
непроизвольного внимания. Когда говорят
о пассивном внимании к объекту, то
подчеркивают отсутствие усилий со
стороны человека, направленных на
сосредоточение на объекте. Когда
непроизвольное внимание называют
эмоциональным, то выделяют связь между
объектом внимания и переживаниями,
интересами, потребностями личности,
связываемыми с этим объектом.

Итак,
непроизвольное внимание — это
сосредоточение сознания на объекте в
силу его особенности как раздражителя.Более
сильный раздражитель на фоне действующих
привлекает внимание человека.

Излагая
учебный материал, учитель может повысить,
замедлить темп речи, изменить интонацию
и этим вызвать непроизвольное внимание
к важному отрывку материала. Монотонная,
невыразительная речь неспособна внешней
стороной привлечь и поддержать внимание.
Выразительная речь приковывает внимание
своей формой.

Вызывает
непроизвольное внимание новизна
раздражителя. Машина новой марки,
появившаяся на улице, свежий номер
стенгазеты всегда будут замечены.
Вызывает внимание начало и прекращение
действия раздражителя. Помня это,
выгоднее иногда приостановить рассказ,
сделать длительную паузу, чтобы привлечь
внимание учеников, чем делать Произвольное
внимание. Синонимами слов произвольное
внимание являются слова активное и
волевое. Все термины подчеркивают, что
в сосредоточении внимания на объекте
инициатива принадлежит субъекту.

Произвольное
внимание — это сознательно регулируемое
сосредоточение на объекте, направляемое
требованиями деятельности. При
произвольном внимании сосредоточение
происходит не только на том, что
эмоционально приятно, а в большей мере
на том, что должно делать. Поэтому
психологическое содержание произвольного
внимания связано с постановкой цели
деятельности и волевым усилием. им
замечания.

Включаясь
в трудовую деятельность, человек
независимо от его отношения к работе
имеет цель, которую необходимо осуществить.
Когда шофер ведет машину, бухгалтер
подсчитывает колонки цифр, ученый
продумывает результаты эксперимента,
то ни один из них не может быть
несосредоточенным, если он хочет получить
положительные результаты.

Произвольное
сосредоточение на объекте предполагает
волевое усилие, которое и поддерживает
внимание. Произвольное внимание, как
свойство личности, не может быть
сформировано независимо от самой
личности. Поэтому при организации
внимания педагог должен учесть ряд
условий, облегчающих произвольное
сосредоточение.

Сосредоточение
внимания на умственной деятельности
облегчается, если в познание включено
практическое действие. Например, легче
удержать внимание на содержании научной
книги, когда чтение сопровождается
конспектированием. К условиям, облегчающим
поддержание произвольного внимания,
относятся особенности обстановки
рабочего места. В помещении не должно
быть отвлекающих раздражителей. Например,
разговоры между учащимися во время
урока затрудняют сосредоточение внимания
тех, которые активно работают. Поддерживает
произвольное внимание словесное
напоминание самому себе о целях
деятельности, при выполнении которой
необходимо быть особенно внимательным.

Важным
условием поддержания внимания является
психическое состояние человека.
Утомленному человеку очень трудно
сосредоточиться.

Послепроизвольное
внимание.
Третий вид внимания — после-произвольное.
Сам термин подсказывает, что этот вид
внимания возникает после того, как было
вызвано произвольное внимание. В
послепроизвольном внимании снижается
волевое напряжение, необходимое при
сосредоточении в произвольном внимании.
Послепроизвольное внимание —
сосредоточение на объекте в силу его
ценности для личности.

Внешнее
и внутреннее внимание. По тому, находится
ли объект внимания во внешнем мире или
им являются ощущения, мысли, переживания
личности, выделяют внешненаправленное,перцептивное,
и внутреннее внимание. Различение
перцеп-«\'»»юго и внутреннего
внимания важно в управлении вниманием
^\’позволяет понять некоторые особенности
личности. Внешне-И правленное внимание
включено в перцептивную деятельность
НЗтовека и регулирование предметной
деятельности. Внутреннее внимание
связано с осознанием личностью своей
деятельности, своего внутреннего мира,
с самосознанием. Оно не имеет места в
животном мире, где нет осознания своей
психической жизни. Внешнее и внутреннее
внимание тормозят друг друга; трудно
быть одновременно сосредоточенным на
внешних и внутренних явлениях. Объектами
внутреннего внимания являются чувства,
воспоминания, мысли. Поддерживанию
внутреннего внимания способствуют
редуцированные внешние действия:
шевеление губами, проговаривание
отдельных слов, жестикуляция, непроизвольное
рисование и др. Внутреннее внимание
способствует моделированию будущего
действия и его последствий, является
необходимым условием развития сознания
и самосознания.

В
зависимости от форм учебной деятельности,
организуемых педагогом, можно выделить
коллективное, групповое и индивидуальное
внимание.

Коллективное
внимание — сосредоточение всех учеников
на одном предмете.

Групповое
внимание — сосредоточение внимания
группами в условиях работы в коллективе.

Индивидуальное
внимание — сосредоточение внимания на
своем задании.

47

Свойства
внимания —направленность, объем,
распределенность, сосредоточенность,
интенсивность, устойчивость и
переключаемость —связаны со структурой
деятельности человека.

Концентрация
внимания (сосредоточенность)
— выделение сознанием объекта и
направление на него внимания. Роль
концентрированного внимания может быть
различна.

Устойчивость
внимания
— продолжительность времени, в течение
которого человек может поддерживать
свое внимание на объекте. Она особенно
нужна в условиях однообразной и монотонной
работы, когда длительное время выполняются
сложные, но однотипные действия.

Объем
внимания
— это количество объектов, которое
человек может строго одновременно
осознать при восприятии в связи с
какой-нибудь одной задачей. Одновременно
можно охватить 3-7 объектов, хотя объекты
бывают разные.

Распределение
—
это способность одновременно выполнять
несколько действий. Оно зависит от
индивидуальных особенностей личности
и от профессиональных навыков. Никто
не сможет одновременно делать два дела,
не умея делать каждое в отдельности.

Переключение
— это перемещение внимания с одного
объекта на другой или с одной деятельности
на другую в связи с постановкой новой
задачи

Недостаток
внимания, который называют рассеянностью.
Первый
вид
рассеянности — это частая непроизвольная
отвлекаемость от основной деятельности.
Человек ни на чем не может сосредоточиться,
все время отвлекается, даже интересная
деятельность иногда прерывается из-за
неустойчивости внимания. Подобная
рассеянность — результат плохого
воспитания. Второй
вид рассеянности
— следствие чрезмерной сосредоточенности
человека на работе, когда он, кроме своей
работы, ничего не замечает и порой не
отдает себе отчета в окружающих событиях.
Такой вид рассеянности наблюдается у
людей, увлеченных работой, охваченных
сильными переживаниями, — у ученых,
творческих работников в области
искусства.

Историю
развития внимания, как и многих других
психических функций, пытался проследить
Л.С. Выготский в русле своей
культурно-исторической концепции их
формирования. По его мнению, история
внимания ребенка есть история развития
организованности его поведения, что
ключ к генетическому пониманию внимания
следует искать не внутри, а вне личности
ребенка.

Произвольное
внимание возникает, когда окружающие
малыша люди направляют его внимание,
руководят им, подчиняют его и таким
образом дают в руки ребенка те средства,
с которыми он в дальнейшей жизни сам
овладевает своим вниманием.

Культурное
развитие внимания заключается в том,
что при помощи взрослого малыш усваивает
ряд искусственных стимулов-средств
(знаков), посредством которых он дальше
направляет свое собственное поведение
и внимание.

Возрастное
развития вниманияПроцесс возрастного
развития внимания по идеям Л.С. Выготского
представил А.Н. Леонтьев. С возрастом
внимание ребенка улучшается, однако
развитие внешне опосредствованного
внимания идет гораздо быстрее, чем его
развитие в целом, тем более натурального
внимания.

10. Определение внимания, его виды, свойства и функции. Развитие внимания.

Вни­мание
—
это
направленность и сосредоточенность
сознания на определенном объекте или
какой-нибудь деятельности.

Функции внимания:

— активизация
нужных и торможение ненужных в данный
момент психических процессов;

—
обеспечение отбора поступающей в
организм информации в соответствии с
его актуальными потребностями;

—
обеспечение избирательной и длительной
сосредоточенности психической активности
на одном и том же объекте или виде
деятельности.

Виды:
Непроизвольное
внимание
– это сосредоточение сознания на объекте
в силу каких-то его особенностей
(интенсивность
раздражителя, новизна предметов и
явлений).
Произвольное
(активное) внимание – это
сознательно регулируемое сосредоточение
на объекте.
Послепроизвольное
внимание
занимает промежуточный характер: сначала
оно требует волевых усилий, а затем, по
мере того как человек начинает
интересоваться процессом, за которым
наблюдает, переходит в непроизвольное.

К
свойствам
внимания относят:
Концентрация
(сосредоточенность) внимания —
противоположное качество называется
рассеянностью. Распределение
внимания —
это возможность одновременного выполнения
нескольких видов действий; Устойчивость
внимания
определяется длительностью, в те­чение
которой сохраняется концентрация
внимания. Переключаемость
внимания заключается
в способности переноса внимания с одного
объекта (вида деятельности) на другой.
Данная характеристика внимания
проявляется в скорости (зависит от
характера предшествующей д-ти и
темперамента).

11. Общая характеристика памяти человека, основные виды, типы и процессы памяти.

Память
–
это процесс запоминания, сохранения и
последующего воспроизведе­ния
информации.

Память лежит в
основе всей жизни человека, его развития
и сохранения его способностей, является
условием научения, приобретения ЗУН.

К
данным процессам памяти, называемым
в психологии мнемическими (от греч.
«мнемос» – «память»), относятся
запоминание, сохранение, воспроизведение
и забывание. Все эти процессы
рассматриваются вместе и представляют
собой единую систему памяти человека.

По характеру
участия воли в процессах запоминания
и воспроизведения материала память
делят на непроизвольную и произвольную.

Деление памяти по
времени сохранения материала: мгновенная,
кратковременную, оперативную,
долговременную и генетическую память.

Мгновенная
(иконическая, сенсорная)
– непосредственное отражение информации
органами чувств. Ее длительность 0,25
сек. В
том случае, если информация, переданная
рецепторами, привлекла внимание мозга,
она может в течение короткого промежутка
времени сохраняться, и за это время мозг
ее обрабатывает и интерпретирует.
Кратковременная память —
кратковременный (на несколько секунд
или минут) процесс достаточно точного
воспроизведения только что воспринятых
предметов или явлений; объём её 5-9 единиц.
Эта память связана с актуальным сознанием
человека. Оперативной
называют
память, рассчитанную на хранение
информации в течение определенного,
заранее заданного срока, в диапазоне
от нескольких секунд до нескольких
дней. Долговременная
память длительно
сохраняет материал после многократного
его повторения и воспроизведения.

По
характеру психической активности
выделяют следующие виды памяти:
Двигательная
(моторная) память
—
запоминание и воспроизведение движе­ний.
Эмоциональная
—
память человека на пережитые им в прошлом
чувства. Образная
память —
сохранение и воспроизведение образов
ранее воспри­нимавшихся предметов и
явлений.

По
преобладающему анализатору
бывает зрительная, слуховая, осязательная,
вку­совая, обонятельная.

Эйдетическая
—
очень ярко выраженная образная память,
связанная с длительным сохранением
ярких, чётких, живых наглядных образов.

Типы
памяти:
память различных людей может отличаться
по уровню своей организации. Человек с
наглядно-образным типом памяти особенно
хорошо запоминает наглядные образы,
цвет предметов, лица и т.п. При
словесно-логическом типе памяти лучше
запоминается словесный, нередко
абстрактный материал: понятия, формулы
и т. п. При эмоциональном типе памяти
прежде всего сохраняются и воспроизводятся
пережитые человеком чувства.

законы
памяти: 1.
При запоминании длинного ряда лучше
всего по памяти воспроизводятся его
начало и конец («эффект края») – Герман
Эббингауз.

2. Закон Эббингауза,
закон забывания: забывание материала
после его предварительного заучивания
происходит неравномерно: «в течение 1
часа забывается 60% информации, а через
6 дней остается менее 20% информации».

3.
Закон Зейгарник Блюмы Вульфовны
(1900-1988) заключается в том, что материал,
связанный с незавершенными делами,
человек запоминает намного лучше, чем
материал, связанный с завершенными
делами.

Внимание и его разные формы | Автор: Ануша Лихала

Основная идея внимания состоит в том, чтобы сосредоточить внимание на наиболее важных частях входной последовательности для каждого выхода.
Обеспечивая прямой путь к входам, внимание также помогает облегчить проблему исчезающего градиента.

Предположим, у вас есть последовательный декодер, но помимо вывода предыдущей ячейки и скрытого состояния, вы также передаете вектор контекста c .

Где c — взвешенная сумма скрытых состояний кодировщика.

Здесь αᵢⱼ — количество внимания, которое выход i -й должен уделять входу j -го, а hⱼ — состояние кодировщика для входа j -го.

αᵢⱼ вычисляется путем взятия softmax над оценками внимания, обозначенными e, входов относительно выхода i -го.

, где

Здесь f — это модель выравнивания, которая оценивает, насколько хорошо совпадают входные данные в позиции j и выход в позиции i , а sᵢ₋₁ — это скрытое состояние из предыдущего временного шага.

Модель выравнивания может быть аппроксимирована небольшой нейронной сетью, а затем вся модель может быть оптимизирована с использованием любого метода оптимизации градиента, такого как градиентный спуск.

Графическая иллюстрация механизма внимания (Источник)

Вектор контекста cᵢ также может использоваться для вычисления выходных данных декодера yᵢ .

Приложение: машинный перевод

Внимание было впервые предложено Bahdanau et al. [1] для нейронного машинного перевода. Этот механизм особенно полезен для машинного перевода, поскольку наиболее подходящие для вывода слова часто встречаются в аналогичных позициях во входной последовательности.

(Источник)

В приведенной выше матрице показаны наиболее подходящие входные слова для каждого переведенного выходного слова.
Такое распределение внимания также помогает обеспечить определенную степень интерпретируемости модели.

Учитывая запрос q и набор пар ключ-значение (K, V) , внимание можно обобщить для вычисления взвешенной суммы значений, зависящих от запроса и соответствующих ключей.
Запрос определяет, на каких значениях следует сосредоточиться; мы можем сказать, что запрос «учитывает» значения.

В предыдущем вычислении запрос был предыдущим скрытым состоянием sᵢ₋₁ , в то время как набор скрытых состояний кодировщика h₀ до hₙ представлял как ключи, так и значения.

Модель центровки, в свою очередь, может быть вычислена различными способами.

.

Краткое введение в модели внимания | от Abhishek Singh

Типы моделей внимания:

1. Глобальное и локальное внимание (local-m, local-p)
2. Жесткое и мягкое внимание
3. Самовнимание

Модель глобального внимания

Это та же модель внимания, что описана выше. Входные данные из каждого исходного состояния (кодировщика) и состояний декодера до текущего состояния учитываются при вычислении выходных данных. Ниже представлена ​​диаграмма модели глобального внимания.

Источник- (Луонг и др., 2015)

Как видно из рисунка, (a), веса выравнивания или веса внимания вычисляются с использованием каждого шага кодера и (h) декодера предыдущего шага. Затем с использованием (a) вектор контекста вычисляется путем взятия произведения глобальных весов и выравнивания на каждом этапе кодера. Затем он подается в ячейку RNN, чтобы найти выход декодера.

Модель локального внимания

Она отличается от модели глобального внимания тем, что в модели Локальное внимание только несколько позиций от источника (кодировщика) используются для расчета весов выравнивания (a ). Ниже приведена диаграмма модели «Местное внимание».

Источник- (Луонг и др., 2015)

На него можно ссылаться по картинке, сначала находится позиция с одинарным выравниванием (p) , затем окно слов из исходного (кодировочного) уровня вместе с ( h) используется для вычисления весов выравнивания и вектора контекста.

Local Attention- Это два типа: Монотонное выравнивание и Предиктивное выравнивание. При монотонном выравнивании мы просто устанавливаем положение (p) как «t», тогда как при прогнозирующем выравнивании положение (p) вместо того, чтобы просто принимать его как «t», оно прогнозируется прогнозной моделью. .

Жесткое и мягкое внимание

Мягкое внимание почти то же самое, что и модель глобального внимания.

Разница между моделями жесткого и локального внимания состоит в том, что локальная модель почти различается в каждой точке, тогда как жесткое внимание — нет. Местное внимание — это смесь жесткого и мягкого внимания. Ссылка на дальнейшее изучение дана в конце.

Самовнимание Модель

Связь разных позиций одной и той же входной последовательности. Теоретически самовнимание может принимать любые функции оценки, указанные выше, но просто заменяет целевую последовательность той же входной последовательностью.

Трансформаторная сеть

Трансформаторная сеть полностью построена на механизмах самовнимания без использования повторяющейся сетевой архитектуры. Трансформатор изготовлен с использованием многоголовых самовнимающих моделей.

Источник — Все, что вам нужно — это внимание. Слой кодировщика

состоит из двух подуровней, один из которых является многоголовым вниманием, а следующий — нейронной сетью с прямой связью. Декодер состоит из трех подуровней и двух многоголовых сетей внимания, которые затем передаются в сеть прямой связи.Сеть декодирования внимания принимает входные данные с выхода кодировщика и выходные данные с предыдущего уровня декодера.

Ссылки

1. Внимание? Внимание!
2. Эффективные подходы к нейронному машинному переводу
3. Coursera Attention
4. Руководство для новичков
5. Glue Benchmark Leaderboard
6. Attention on CNN

Citations

1. Neural Machine Translation путем совместного обучения

для согласования и перевода

2. подходы к нейронному машинному переводу.

Пожалуйста, прокомментируйте ниже, если что-то не так или мне нужно добавить что-то еще.

.

Внимание: последовательность 2 Модель последовательности с механизмом внимания | Рену Ханделвал

Подробное объяснение механизма внимания в модели последовательности 2, предложенной Богданау и Луонгом

В этой статье вы узнаете:

• Почему нам нужны механизмы внимания для моделей последовательности 2?
• Как работает механизм внимания Бахдануа?
• Как работает механизм внимания Луонга?
• Что такое внимание на местном и глобальном уровнях?
• Ключевые различия между механизмом внимания Bahdanau и Luong

Предварительные требования:

Рекуррентные нейронные сети (RNN), такие как LSTM и GRU

Seq2Seq — нейронный машинный перевод

Что такое внимание и почему нам нужны механизмы внимания для модель последовательности 2?

Рассмотрим два сценария, первый сценарий, когда вы читаете статью, относящуюся к текущим новостям.Второй сценарий, когда вы готовитесь к тесту. Одинаков ли уровень внимания в обеих ситуациях?

Вы будете читать более внимательно при подготовке к тесту, чем новостная статья. Во время подготовки к тесту вы будете учиться, уделяя больше внимания ключевым словам, которые помогут вам запомнить простую или сложную концепцию. То же самое относится к любой задаче глубокого обучения, когда мы хотим сосредоточиться на конкретной области интересов.

В моделях от последовательности к последовательности (Seq2Seq) используется архитектура кодер-декодер.

Несколько вариантов использования seq2seq

• Нейронный машинный перевод (NMT),
• Подписи к изображениям,
• Чат-боты
• Резюмирование абстрактного текста и т. Д.

Модель Seq2Seq сопоставляет исходную последовательность целевой последовательности. Исходная последовательность в случае нейронного машинного перевода может быть английской, а целевая — хинди.

Передаем кодировщику исходное предложение на английском языке; кодер кодирует полную информацию исходной последовательности в один действительный вектор, также известный как вектор контекста .Этот вектор контекста затем передается в декодер для создания выходной последовательности на целевом языке, таком как хинди. Вектор контекста отвечает за обобщение всей входной последовательности в один вектор.

Что, если входное предложение длинное, может ли один вектор из кодировщика содержать всю необходимую информацию для предоставления декодеру?

Можно ли при предсказании целевого слова сосредоточиться на нескольких релевантных словах в предложении, а не на одном векторе, содержащем информацию обо всем предложении?

Механизмы внимания помогают решить проблему.

Основная идея механизма внимания состоит в том, чтобы избежать попыток изучить единое векторное представление для каждого предложения, вместо этого он обращает внимание на определенные входные векторы входной последовательности на основе весов внимания.

На каждом этапе декодирования декодер будет проинформирован о том, сколько «внимания» необходимо уделить каждому входному слову, с использованием набора из весов внимания . Эти веса внимания предоставляют контекстную информацию декодеру для перевода

Bahdanau et al.предложил механизм внимания, который учится согласовывать и переводить вместе . Он также известен как Аддитивное внимание, поскольку он выполняет линейную комбинацию состояний кодера и состояний декодера.

давайте разберемся с механизмом внимания, предложенным Bahdanau

• Все скрытые состояния кодировщика (вперед и назад) и декодера используются для генерации вектора контекста, в отличие от того, как только последнее скрытое состояние кодировщика используется в seq2seq без внимание.
• Механизм внимания выравнивает входные и выходные последовательности с оценкой выравнивания, параметризованной сетью прямой связи. Это помогает обратить внимание на наиболее актуальную информацию в исходной последовательности.
• Модель предсказывает целевое слово на основе векторов контекста, связанных с исходной позицией и ранее сгенерированными целевыми словами.

Bahdanau et al. механизм внимания

Модель Seq2Seq с механизмом внимания состоит из кодера, декодера и уровня внимания.

Слой внимания состоит из

• Слой выравнивания
• Веса внимания
• Вектор контекста

Оценка выравнивания

Оценка выравнивания отображает, насколько хорошо вводятся данные вокруг позиции « j» и вывод в позиции « i» совпадение. Оценка основана на скрытом состоянии предыдущего декодера, s₍ᵢ₋₁₎ непосредственно перед предсказанием целевого слова и скрытом состоянии, hⱼ входного предложения

Декодер решает, какую часть исходного предложения ему необходимо обратите внимание, вместо того, чтобы кодер кодировал всю информацию исходного предложения в вектор фиксированной длины.

Вектор выравнивания, который имеет ту же длину, что и исходная последовательность, и вычисляется на каждом временном шаге декодера

В нашем примере для прогнозирования второго целевого слова तेज़ी мы сгенерируем высокий балл для входного слова быстро

Веса внимания

Мы, , применяем функцию активации softmax к оценкам выравнивания, чтобы получить веса внимания .

Функция активации Softmax получит вероятности, сумма которых будет равна 1. Это поможет представить вес влияния для каждой входной последовательности. Чем выше вес внимания входной последовательности, тем выше будет ее влияние на предсказание целевого слова.

В нашем примере мы видим более высокое значение веса внимания для входного слова быстро для предсказания целевого слова तेज़ी

Вектор контекста

Используется вектор контекста для вычисления окончательного вывода декодера. Контекстный вектор 𝒸ᵢ — это взвешенная сумма весов внимания и скрытых состояний кодировщика (h₁, h₂,…, hₜₓ), которая отображается во входное предложение.

Предсказание целевого слова

Для прогнозирования целевого слова декодер использует

• Вектор контекста (𝒸ᵢ),
• Выходные данные декодера с предыдущего временного шага (y ᵢ₋₁ ) и
• Предыдущий скрытое состояние декодера ( сᵢ₋₁)

Скрытое состояние декодера на временном шаге i

Внимание Луонга также обозначается как Мультипликативное внимание . Он сокращает состояния кодировщика и декодера до оценок внимания простым умножением матриц. Простое матричное умножение делает более быстрым и компактным.

Луонг предложил два типа механизма внимания, основанные на том, где сосредоточено внимание в исходной последовательности

1. Глобальное внимание , где внимание сосредоточено на всех позициях источника
2. Локальное внимание , где внимание уделяется только небольшому подмножество исходных позиций на целевое слово

Общность между глобальным и локальным вниманием

• На каждом временном шаге t, на этапе декодирования, оба подхода, глобальное и локальное внимание, сначала принимают скрытое состояние hₜ на верхний слой наложения LSTM в качестве входа.
• Цель обоих подходов — получить вектор контекста 𝒸ₜ для сбора соответствующей информации на стороне источника, чтобы помочь предсказать текущее целевое слово yₜ
• Векторы внимания подаются в качестве входных данных для следующих временных шагов для информирования модели о прошлых решениях по согласованию.

Глобальные и локальные модели внимания различаются по способу получения вектора контекста 𝒸ₜ

Прежде чем мы обсудим глобальное и локальное внимание, давайте разберемся с соглашениями, используемыми механизмом внимания Луонга в любой момент времени t

• 𝒸ₜ: context вектор
• aₜ: вектор выравнивания
• hₜ: текущее целевое скрытое состояние
• hₛ: текущее скрытое состояние источника
• y pred: прогнозируемое текущее целевое слово
• h ˜ₜ: Векторы внимания

Глобальный источник внимания: эффективные подходы к Нейронный машинный перевод на основе внимания

• Глобальная модель внимания учитывает все скрытые состояния кодировщика при вычислении вектора контекста 𝒸ₜ.
• Вектор выравнивания переменной длины aₜ , равный размеру количества временных шагов в исходной последовательности, получается путем сравнения текущего целевого скрытого состояния h ₜ с каждым скрытым состоянием источника hₛ
• Оценка выравнивания называется функцией на основе содержимого, для которой мы рассматриваем три различных альтернативы

• Вектор глобального контекста 𝒸ₜ вычисляется как средневзвешенное значение в соответствии с вектором выравнивания aₜ по всему источнику скрытые состояния hₛ

Что происходит, когда исходная последовательность представляет собой большой абзац или большой документ?

Поскольку модель глобального внимания учитывает все слова исходной последовательности для прогнозирования целевых слов, становится вычислительно затратным и может быть сложно переводить более длинные предложения

Мы можем решить этот недостаток модели глобального внимания, используя локальное внимание

Локальное внимание Источник: Эффективные подходы к нейронному машинному переводу на основе внимания

• Локальное внимание фокусируется только на небольшом подмножестве исходных позиций на целевые слова, в отличие от всей исходной последовательности, как в глобальном внимании
• В вычислительном отношении дешевле, чем глобальное внимание
• Модель локального внимания сначала генерирует выровненную позицию Pₜ для каждого целевого слова в момент времени t.
• Вектор контекста 𝒸ₜ выводится как средневзвешенное значение по набору скрытых состояний источника в выбранном окне
• Выровненная позиция может быть выбрана монотонно или с прогнозированием

Bahdanau соединение прямого и обратного скрытых состояний в двунаправленном кодировщике. Внимание Luong использует скрытое состояние на верхнем уровне как в кодере, так и в декодировании. r

Вычисление внимания в механизмах внимания Bahdanau и Luong

Bahdanau et al.использует объединение прямого и обратного скрытых состояний в двунаправленном кодировщике и предыдущих скрытых состояний цели в своем однонаправленном декодере без суммирования

Loung et al. внимание использует скрытые состояния на верхних слоях LSTM как в кодере, так и в декодере

Механизм внимания Луонга использует скрытое состояние текущего декодера для вычисления вектора выравнивания, тогда как Bahdanau использует вывод предыдущего временного шага

Функции выравнивания

Bahdanau использует только модель согласования оценок, тогда как Луонг использует модели оценок точек, общих и согласованных оценок

Зная механизм внимания, теперь вы можете создавать мощные глубокие алгоритмы НЛП.

Ссылки:

Перевод нейронных машин путем совместного обучения согласованию и переводу Дмитрий Богданов

Эффективные подходы к нейронному машинному переводу на основе внимания: Минь-Тханг Луонг Хиеу Фам Кристофер Д. Мэннинг

.