长短期记忆（英語：Long Short-Term Memory，LSTM）是一种时间循环神经网络（RNN），论文首次发表于1997年。由于独特的设计结构，LSTM适合于处理和预测时间序列中间隔和延迟非常长的重要事件。 LSTM的表现通常比时间循环神经网络及隐马尔科夫模型（HMM）更好，比如用在不分段...

晰、稳定，再经精细复述可转入长期记忆中加以保持。因此，复述是使短期记忆的信息转入长期记忆的关键。 相关概念工作记忆 对比长期记忆和中期記憶 映象记忆 視覺短期記憶 前额叶皮质中的注意力与记忆 电影《Memento》 电影《初恋50次》 电影《未知死亡》 亨利·莫萊森 《火星上的人类学家（英语：An Anthropologist...

内隐记忆:一种无法在正常意识中表现出来,但通过一些手段可以测量的记忆。对内隐记忆的研究是20世纪90年代的研究热点。 长时记忆的信息提取形式有回忆和再认两种。加工的深度对记忆的效果有很大的影响。 此外，短期記憶主要由聲碼所構成，而長期記憶以意碼為主要。 对于遗忘的原因有以下几种说法： 衰退说：认为记忆痕迹如果不巩固强化会随着时间推移变浅至消失。...

梯度消失问题（Vanishing gradient problem）是一种机器学习中的难题，出現在以梯度下降法和反向传播训练人工神經網路的時候。在每次訓練的迭代中，神经网路权重的更新值与误差函数的偏導數成比例，然而在某些情况下，梯度值会几乎消失，使得权重无法得到有效更新，甚至神經網路可能完全无法继续...

小脑，主要负责程序性记忆，这种记忆主要靠后天的重复，以及制約 (古典制約、操作制約) 相關之記憶。 纹状体，是前脑的一个复杂结构，是形成制約的基础。 大脑皮层，负责感觉记忆以及感觉间的关联记忆。 杏仁核，负责情绪记忆。 海馬迴，負責工作記憶和長期記憶。 填充 从一无所知到建立新的关联...

样一次只处理一个单词，这种架构允许更多的并行计算，并以此减少训练时间。 Transformer于2017年由谷歌大脑的一个团队推出，现已逐步取代长短期记忆（LSTM）等RNN模型成为了NLP问题的首选模型。并行化优势允许其在更大的数据集上进行训练。这也促成了BERT、GPT等预训练模型的发展。 这些系统使用了维基百科、Common...

在视覺研究中，视觉短期记忆 （VSTM）是三大記憶系統之一，其餘系統還包括圖像記憶和长期記憶 。視覺短期記憶是一种短期记忆 ，但仅限于视觉领域内的資訊。 術語「視覺短期記憶」指的是在长时间内非永久性地儲存视觉資訊的記憶。视觉空间画板是關於視覺短期記憶的子元件，巴德利在其工作记忆理论模型中提出此概念。圖像记忆...

圖像記憶是视觉感觉记忆寄存器，負責儲存快速衰减的视觉資訊，也是视觉记忆系统的元件之一，其它元件还包括视觉短期记忆（VSTM）和长期记忆（LTM）。 圖像記憶是極短（小於1秒）、預分類（pre-categorical）、高容量的記憶儲存， 在短时间内提供完整连贯的视知觉表徵，從而促成视觉短期记忆...

这一设计使得拥有几十上百层的深度学习模型可以更易于训练，增加模型深度时还能保持甚至提高准确度。所谓的“残差连接”即“直连跳过”，这一概念也被应用于1997年的长短期记忆模型LSTM、 Transformer模型（比如BERT和GPT系列，ChatGPT等）、AlphaGo Zero、AlphaStar（英语：AlphaStar...

艾宾浩斯遗忘曲线——记忆过程记忆的保持在时间上是不同的，有短期记忆和长期记忆两种。平时的记忆的过程是：输入的信息在经过人的注意过程的学习后，便成为了人的短期的记忆，再经过进一步强化后成为长期记忆。长期记忆的保持时间有长有短，如果不经过及时的复习，这些记住过的东西就会遗忘，而经过了及时的复习，长期记忆...

陳述性記憶（英語：Declarative memory，又名述說記憶、宣告記憶），有時也被稱為外顯記憶（Explicit memory），是人類長時記憶形式的一種。它指的是能夠明確想起某個事件或事實的一種記憶。跟它相對的，是程序記憶，或是內隱記憶，那是屬於無意識，不能被表述的記憶形式。 陳述性記憶分成兩種：語意記憶（semantic...

在IDSIA，格雷夫斯通過一種稱為連接主義時間分類（英语：Connectionist temporal classification）（CTC）的新方法訓練長短期記憶神經網路。這種方法在某些應用中的表現優於傳統的語音識別模型。2009年，他的CTC訓練的LSTM是第一個贏得模式識別比賽的循環神經網路，並贏得連...

動物脑中的重要部分，其名字来源于这个部位的弯曲形状貌似海马。靈長類的海馬體位於內側顳葉，擁有海馬角及齒狀回等構造。哺乳动物都有两个海马体，分别位于左右大脑半球。它是组成大脑边缘系统的一部分，位於大腦皮質下方，担当着关于短期记忆、長期記憶，以及空间定位的作用。海马体中的位置细胞与内嗅皮层中的网格细胞...

内隐记忆（implicit memory），例如程序記憶（procedural memory），是一种长期记忆的形式。它是指關於技術、過程、或「如何做」的記憶。記憶有時候會被貯存在程序記憶（procedural memory）中，當一個人做了某一特定身體動作時，便觸發了這個記憶。...

記憶痕跡是印在物理物質中的一個認知訊息單位。在理論上，記憶以回應外部刺激，透過生物物理或生物化學變化而儲存在大腦或其他生物組織中。如何證明記憶痕跡在神經學定義上的存在及展示其確切機制和位置，一直是數十年來持續研究的焦點。 根據德國生物學家理查德·塞蒙（Richard...

另一种方法是赛普·霍克赖特和于尔根·施密德胡伯提出的長短期記憶神經網路（LSTM）。2009年，在ICDAR 2009举办的连笔手写识别竞赛中，在没有任何先验知识的情况下，深度多维长短期记忆神经网络取得了其中三场比赛的胜利。 斯文·贝克提出了在训练时只依赖梯度符号的神经...

情節記憶（英語：Episodic memory）是「自傳式」的主觀記憶，這種記憶可能是人類獨有的，能與過去的特定 時間、地點 、連結的情感，以及其他相關聯的知識連繫起來，是個可以被明確指出的記憶 ，一個發生在過去特定時間和地點的個人經歷集合。例如，如果一個人記得他或她的6歲生日派對，這就是一個情節記憶...

Amnesia）。逆行性失憶症的患者失去了回憶及追溯既往資訊的能力。此疾病的嚴重程度因病例而有所差異，有些逆行性失憶症的患者僅失去一部分的記憶，有些則可能失去幾十年的記憶；順行性失憶症則是指短期記憶無法轉變為長期記憶的現象，此類患者的記憶無法維持。這兩類失憶症可能同時存在於同一患者的身上。 臨床研究顯示，失憶症通常與內側顳葉、間腦和海馬...

回声记忆（英語：echoic memory）是听觉資訊（声音）的特定感觉记忆暫存器。人们在前一刻感知到的声音感觉记忆即為回声记忆的形式。 總體而言，回声记忆比圖像記憶 （视觉记忆）的儲存时间稍长，聽覺刺激須先由耳朵依序接收，才得以被處理和理解。舉例來說，广播收聽与杂志阅读就非常不同，人們只能在给定...

1997年，施密德胡伯和塞普·霍赫赖特（英语：Sepp Hochreiter）发表了关于一种循环神经网络类型的论文，他们称之为长短期记忆网络（LSTM）。2015年，LSTM被Google用于智能手机中新的语音识别实现。Google也在智能助手Allo和Google翻译中使用了L...

Apache MXNet是一个极简、灵活、可扩展的深度学习框架，支持深度学习模型，包括卷积神经网络（CNN）和长短期记忆网络（LSTM）。 MXNet分布于动态云基础架构上，使用分布式参数服务器（基于卡内基·梅隆大学、百度和Google），并且可以使用多GPU或多CPU实现近乎线性的扩展。...

視覺記憶（Visual memory）是感知處理以及其對應神經表示的收錄（英语：Encoding (memory)）、貯存（英语：Storage (memory)）及回忆之間的關係。視覺記憶的時間範圍很廣，短到眼睛的移動，長到數年之後，可以用視覺協助在一個以前造訪過的地方進行導引。視覺記憶是一種記憶，保存一些視覺經驗中的一些特徵。...

NTM 将神经网络的模糊模式匹配功能与可编程计算机的算法能力相结合。 NTM 有一个与外部记忆资源耦合的神经网络控制器，并通过注意力机制与之交互。内存交互是端到端可微的，使得可以使用梯度下降法来优化它们。具有长短期记忆(LSTM) 网络控制器的 NTM可以仅从示例中推断出简单的算法，例如复制、排序和联想回忆。...

1956年，米勒最早对短期记忆能力进行了定量研究——“神奇的数字：7±2”。他注意到年轻人的记忆广度大约为7个单位（阿拉伯数字、字母、单词或其他单位），称为组块。后来的研究显示广度与组块的类别有关，例如阿拉伯数字为7个，字母为6个，单词为5个，而较长词汇的记忆广度低于较短词汇的记忆广度。通常，口头内容的记忆...

肌肉記憶是内隐记忆的一种，它指的是人在一段時間內重复做出一個動作后，大腦就會記住這一動作，就能導致人能在無意識或不用多想的情況下就能做出這一動作。许多日常活动中都有肌肉记忆的身影，例如骑自行车、驾驶机动车、玩球類運動、游泳、键盘打字、输入密码、演奏乐器、打扑克、表演武术和跳舞等。...

別模型）。這些深度生成模型是第一個不僅輸出影像的類別標籤而且輸出整個影像的模型。 2017年，Transformer網路使生成式模型相較於較舊的長短期記憶 (Long-Short Term Memory) 模型有了進步，從而在2018年推出了第一個基于转换器的生成式预训练模型...

ows、macOS和Linux，并已有第三方支持移动平台。 北京理工大學教授罗森林和兩名学生王帅鹏、潘丽敏，于2019年3月25日申请名為「基于长短期记忆网络的V2ray流量识别方法」的专利。2019年10月25日，该专利的法律状态修改为“发明专利申请公布后的撤回”。...

这个病例证明了从描述性记忆中分离程序性记忆的困难，并从另一个侧面说明顺行性遗忘症的复杂。 苹果公司创始人斯蒂夫·沃兹尼亚克在一次飞机失事后一段时间内曾患上顺行性遗忘症。 从上面的讨论得知，顺行性遗忘症患者会有各式症状。陈述性记忆可以再分为情节性和语义性记忆。情节性记忆是帶有時空線索關於個人經驗的記憶，而语义性记忆...

在1960年代，對短期記憶的興趣增加。在1960年代之前，對短期記憶及其快速記憶喪失的研究非常少。勞伊德和瑪格麗特·彼得森觀察到，當人們被給予一小串單詞或字母，然後分心並忙於另一項任務幾秒鐘後，他們對該串單詞的記憶會大幅下降。 阿特金森和西弗林（1973）創建了短期記憶模型，這成為研究短期記憶的流行模型。 在記憶...

皮質醇可削弱免疫系統的活動，妨礙T細胞的繁殖。 骨骼代謝 皮質醇降低骨骼的形成，長遠可導致骨質疏鬆症。 記憶 皮質醇與腎上腺素對產生短期情緒記憶有重要作用，有關機制被認為可能幫助記憶日後要逃避的事物。不過，長時期過多皮質醇會損害海馬體，影響學習能力。 其他作用 提高血壓；缺乏皮質醇會導致大範圍的血管舒張。...

过程，从而缩短训练时间并支持更大规模模型。 论文为Transformer架构引入了以下机制： 采用缩放点积注意力及自注意力机制取代循环神经网络或长短期记忆网络（依赖递归结构），显著提升性能。论文将缩放点积注意力定义为： A t t e n t i o n ( Q , K , V ) := s o f...