罕見(jiàn)激活多巴胺反應(yīng)。 A圖：均勻分布的獎(jiǎng)勵(lì)（左邊）與正態(tài)分布獎(jiǎng)勵(lì)（右邊）。 B圖：多巴胺神經(jīng)元對(duì)平均分布的獎(jiǎng)勵(lì)（綠色）和正態(tài)分布獎(jiǎng)勵(lì)（洋紅色）產(chǎn)生的反應(yīng)。圖片來(lái)源：Rothenhoefer等

以往的研究不斷強(qiáng)調(diào)多巴胺神經(jīng)元在獎(jiǎng)勵(lì)學(xué)習(xí)中的關(guān)鍵作用。獎(jiǎng)勵(lì)學(xué)習(xí)指的是，人類和其他動(dòng)物完成特定動(dòng)作或提供某個(gè)問(wèn)題正確、預(yù)期的答案后得到獎(jiǎng)勵(lì)，從而獲得不同信息、技能或習(xí)慣的過(guò)程。

如果個(gè)體獲得的獎(jiǎng)勵(lì)比預(yù)期更好，多巴胺神經(jīng)元就會(huì)被激活。與此相反，如果獲得的獎(jiǎng)勵(lì)比預(yù)期的差，多巴胺神經(jīng)元就會(huì)被抑制。這種特別的活動(dòng)模式類似于已知的“獎(jiǎng)勵(lì)預(yù)測(cè)誤差”，它本質(zhì)上是實(shí)際獲得的獎(jiǎng)勵(lì)與預(yù)測(cè)之間的差異。

匹茲堡大學(xué)（University of Pittsburgh）的研究人員最近完成了一項(xiàng)關(guān)于獎(jiǎng)勵(lì)頻率與獎(jiǎng)勵(lì)預(yù)測(cè)誤差如何影響多巴胺信號(hào)的研究。他們發(fā)表在《自然·神經(jīng)科學(xué)》（Nature Neuroscience）的論文為與多巴胺相關(guān)的獎(jiǎng)勵(lì)學(xué)習(xí)的神經(jīng)基礎(chǔ)提供了全新的、有價(jià)值的視角。

參與研究的研究人員之一William R. Stauffe博士說(shuō)：“獎(jiǎng)勵(lì)預(yù)測(cè)誤差對(duì)動(dòng)物學(xué)習(xí)和機(jī)器學(xué)習(xí)來(lái)說(shuō)很重要。然而，在經(jīng)典的動(dòng)物學(xué)習(xí)和機(jī)器學(xué)習(xí)理論中，方程式中‘預(yù)測(cè)獎(jiǎng)勵(lì)’部分僅僅就是以往結(jié)果的平均值。盡管這些預(yù)測(cè)都很有用，但預(yù)測(cè)平均值和可以反應(yīng)不確定性的更加復(fù)雜的統(tǒng)計(jì)值才更有用處。”

2005年劍橋大學(xué)神經(jīng)科學(xué)教授、Wellcome主要研究員、Stauffer的博士后導(dǎo)師Wolfram Schultz的研究啟發(fā)了該研究的研究人員。2005年的研究指出，基于Schultz和同事設(shè)定的最大與最小結(jié)果的標(biāo)準(zhǔn)差范圍，多巴胺反應(yīng)的獎(jiǎng)勵(lì)預(yù)測(cè)誤差能夠正態(tài)化。

Stauffer說(shuō)：“研究是突破性的，因?yàn)樗砻魃窠?jīng)預(yù)測(cè)的過(guò)程實(shí)際上反映了不確定性。然而，有幾種不同的方式能夠調(diào)節(jié)不確定性，而我猜測(cè)它們?cè)谛睦韺W(xué)意義上不是等同的?！?/p>

Schultz與同事在研究中應(yīng)用的范圍調(diào)節(jié)（為了改變標(biāo)準(zhǔn)差）使得每個(gè)可能的獎(jiǎng)勵(lì)具有相同的預(yù)測(cè)可能。

Stauffer說(shuō)：“我們好奇的是，如果設(shè)定固定的極值，但改變范圍內(nèi)的概率分布，那么多巴胺神經(jīng)元會(huì)怎么反應(yīng)。相應(yīng)的，我們研究的主題是，弄清楚多巴胺神經(jīng)元是否對(duì)概率分布的形狀具有敏感性?！?/p>

中腦冠狀面標(biāo)記染色的多巴胺神經(jīng)元。這是研究人員記錄信號(hào)的大腦區(qū)域。 （圖片來(lái)源：Rothenhoefer等）

實(shí)驗(yàn)中，Stauffer與同事使用了兩種不同的視覺(jué)提示，預(yù)測(cè)來(lái)自兩種不同“獎(jiǎng)勵(lì)概率分布”的獎(jiǎng)勵(lì)情況。兩種獎(jiǎng)勵(lì)的實(shí)際分布包含三種類型的獎(jiǎng)勵(lì)，名為小滴、中滴、大滴的果汁。

其中一種獎(jiǎng)勵(lì)的概率分布類似正態(tài)分布，多數(shù)情況均出現(xiàn)中間值（比如，中滴果汁），而極少數(shù)情況下出現(xiàn)小滴和大滴的果汁。另一方面，第二種獎(jiǎng)勵(lì)的概率分布，遵循“均勻分布”，小滴、中滴和大滴的果汁出現(xiàn)概率相等（比如，出現(xiàn)次數(shù)相同）。

Stauffer和同事讓猴子觀察到不同概率分布相關(guān)的視覺(jué)提示，并使用電極記錄了猴子的多巴胺神經(jīng)元反應(yīng)。他們還記錄到猴子實(shí)際接受概率分布獎(jiǎng)勵(lì)時(shí)的多巴胺神經(jīng)元反應(yīng)。

值得注意的是，研究人員觀察到，給予低頻率獎(jiǎng)勵(lì)（即罕見(jiàn)獎(jiǎng)勵(lì)）能增強(qiáng)猴子大腦的多巴胺反應(yīng)。相比之下，相同分量但出現(xiàn)頻率更高的獎(jiǎng)勵(lì)激起的多巴胺反應(yīng)更弱。

Stauffer說(shuō)：“我們觀察到的現(xiàn)象提示，預(yù)測(cè)性的神經(jīng)元信號(hào)反應(yīng)了預(yù)測(cè)值附近的不確定性程度，而不僅限于預(yù)測(cè)值本身。這還意味著大腦主要獎(jiǎng)勵(lì)學(xué)習(xí)系統(tǒng)中的一種功能是預(yù)測(cè)不確定性，并且有可能教會(huì)大腦下部結(jié)構(gòu)預(yù)測(cè)不確定性。很少有其他的神經(jīng)系統(tǒng)擁有這樣直接的證據(jù)來(lái)證實(shí)天然的神經(jīng)元反應(yīng)算法的存在，這些迷人的結(jié)果提示一種新的神經(jīng)算法?！?/p>

研究團(tuán)隊(duì)做出的研究強(qiáng)調(diào)了獎(jiǎng)勵(lì)頻率對(duì)獎(jiǎng)勵(lì)學(xué)習(xí)時(shí)多巴胺神經(jīng)元反應(yīng)的影響。這些成果將會(huì)啟迪進(jìn)一步的研究，或許能顯著提升當(dāng)前對(duì)獎(jiǎng)勵(lì)學(xué)習(xí)的神經(jīng)機(jī)制的理解。

最終，研究人員想要探索對(duì)概率的看法如何幫助在模棱兩可（當(dāng)結(jié)果概率未知）的情況下做出選擇。在這些特定的抉擇情形下，人類總的來(lái)說(shuō)是基于自身對(duì)獎(jiǎng)勵(lì)概率分布的認(rèn)識(shí)，被迫做出決策。

Stauffer說(shuō)：“這項(xiàng)研究只是理解大腦如何編碼來(lái)理解主觀概率分布，以及這些認(rèn)識(shí)以何種形式出現(xiàn)的第一步。通過(guò)手頭已有的結(jié)果，我們能回過(guò)頭去研究大腦的選擇。不過(guò)，我估計(jì)，這些結(jié)果將會(huì)有更加廣泛的應(yīng)用，對(duì)生物學(xué)的和人工的智能學(xué)習(xí)系統(tǒng)具有重要意義?！?/p>

圖片來(lái)源：Pixabay

作者：Ingrid Fadelli

翻譯：陳振翀

審校：張哲

引進(jìn)來(lái)源：Medical Xpress


關(guān)注【深圳科普】微信公眾號(hào)，在對(duì)話框：
回復(fù)【最新活動(dòng)】，了解近期科普活動(dòng)
回復(fù)【科普行】，了解最新深圳科普行活動(dòng)
回復(fù)【研學(xué)營(yíng)】，了解最新科普研學(xué)營(yíng)
回復(fù)【科普課堂】，了解最新科普課堂
回復(fù)【科普書(shū)籍】，了解最新科普書(shū)籍
回復(fù)【團(tuán)體定制】，了解最新團(tuán)體定制活動(dòng)
回復(fù)【科普基地】，了解深圳科普基地詳情
回復(fù)【觀鳥(niǎo)知識(shí)】，學(xué)習(xí)觀鳥(niǎo)相關(guān)科普知識(shí)
回復(fù)【博物學(xué)院】，了解更多博物學(xué)院活動(dòng)詳情
?