摘 要 : 考慮到強(qiáng)化學(xué)習(xí)帶來的驚艷運(yùn)控效果、靈活調(diào)整的訓(xùn)練框架和策略網(wǎng)絡(luò)結(jié)構(gòu)、以及仿真-訓(xùn)練-部署工具鏈的成 熟，對于腿足機(jī)器人的運(yùn)控是否可以All in DRL深度強(qiáng)化學(xué)習(xí)？基于模型的運(yùn)動控制是否還有深入研究的必要呢？ 這些問題已經(jīng)盤亙在筆者頭腦里多時，為此本文希望從現(xiàn)有強(qiáng)化學(xué)習(xí)范式下的訓(xùn)練部署框架分析，給出自己的思 考和見解，以做拋磚引玉之論。

文/李磊

在前文中，重點(diǎn)分析了腿足機(jī)器人的運(yùn)動特點(diǎn)，以及 對腿足機(jī)器人運(yùn)動控制性能的具體需求，從控制系統(tǒng)的角 度進(jìn)行理解，這種范式下的訓(xùn)練，得到的策略網(wǎng)絡(luò)本質(zhì)上 是一種利用海量離線數(shù)據(jù)學(xué)習(xí)到的“靜態(tài)”、“非線性”、 “最優(yōu)”、“狀態(tài)反饋”控制率，考慮到強(qiáng)化學(xué)習(xí)帶來的驚 艷運(yùn)控效果、靈活調(diào)整的訓(xùn)練框架和策略網(wǎng)絡(luò)結(jié)構(gòu)、以及 仿真-訓(xùn)練-部署工具鏈的成熟，對于腿足機(jī)器人的運(yùn)控是否 可以All in DRL（即：深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning，DRL）？基于模型的運(yùn)動控制是否還有深入研究 的必要呢？
注：近年來，隨著相關(guān)算法、仿真平臺、訓(xùn)練框 架、硬件和工具鏈的成熟，深度強(qiáng)化學(xué)習(xí)DRL（Deep Reinforcement learning）控制方法在無人機(jī)、腿足機(jī)器 人（四足、雙足、人形等）、自動駕駛等機(jī)器人運(yùn)動控制 領(lǐng)域展露頭角，取得了令人印象深刻的控制效果，體現(xiàn)出 了優(yōu)越的魯棒性和泛化能力。對于這些典型的欠驅(qū)動系統(tǒng) （Underactuated System），強(qiáng)化學(xué)習(xí)端到端（End-to- End）的控制方案正在取代基于模型的控制中（規(guī)劃-跟蹤控 制-狀態(tài)估計(jì)）分層、模塊化控制方案，成為學(xué)術(shù)界和工業(yè) 界追逐的潮流。
1 當(dāng)前學(xué)習(xí)范式下運(yùn)控性能特點(diǎn)
當(dāng)前學(xué)習(xí)范式訓(xùn)練得到的策略實(shí)際部署在機(jī)器人上 時相當(dāng)于采用了一張巨大的查詢表格，只需少量的推理運(yùn) 算計(jì)算量（查找表格）輸出控制值，其控制頻率可輕易達(dá) 50~100Hz，這比涉及到復(fù)雜非線性約束優(yōu)化的MPC優(yōu)秀得 多。加上，相關(guān)工具鏈的成熟和開源方案，大幅降低了應(yīng)用 “門檻”，得到的靜態(tài)非線性最優(yōu)狀態(tài)反饋控制率，使得采 用強(qiáng)化學(xué)習(xí)進(jìn)行腿足機(jī)器人運(yùn)動控制體現(xiàn)出以下性能特點(diǎn)：
（1）復(fù)雜手動獎勵工程，預(yù)期行為生成難
當(dāng)前學(xué)習(xí)范式的訓(xùn)練過程只是在無"意識"地通過策略迭 代的方式最大化累積回報，策略收斂時，僅僅表明智能體利 用特定策略梯度算法取得了當(dāng)前仿真交互數(shù)據(jù)集意義下的最 優(yōu)，并不對應(yīng)著物理世界下的預(yù)期行為。腿足機(jī)器人可能會 學(xué)到快速拖地行走的"偷懶"行為，盡管這種行為對應(yīng)著預(yù)設(shè) 獎勵函數(shù)意義下的最優(yōu)，但并沒有體現(xiàn)出特定步態(tài)、步態(tài)頻 率、正常抬腿-擺動-落地等類似于其仿生對象自然/柔順的行 為；仿真交互數(shù)據(jù)受到初始狀態(tài)分布（如腿足機(jī)器人的初始 構(gòu)型狀態(tài)）/探索-利用平衡影響，導(dǎo)致其離預(yù)期行為數(shù)據(jù)偏 離較遠(yuǎn)。
為生成預(yù)期行為，人們在任務(wù)獎勵函數(shù)項(xiàng)時通常會加 入各類諸如抬腿高度要合適、機(jī)身姿態(tài)要平穩(wěn)、關(guān)節(jié)力矩/ 速度/轉(zhuǎn)動范圍不能超出限制、關(guān)節(jié)動作不要太劇烈、能量 盡可能的小等，獎勵項(xiàng)往往會達(dá)到數(shù)十項(xiàng)之多，一些獎勵項(xiàng) 還相互矛盾。如何手動調(diào)節(jié)這些項(xiàng)的權(quán)重，以達(dá)到各項(xiàng)獎勵 項(xiàng)之間的平衡，最終生成給定的預(yù)期行為實(shí)在是一項(xiàng)繁雜的 工作，一般稱作獎勵工程。對于不同的大小/重量/構(gòu)型的機(jī) 器人，實(shí)現(xiàn)這些獎勵項(xiàng)的難易程度不同，所需要的權(quán)重大小 也不同，對于不同類型的機(jī)器人，需要重新進(jìn)行一遍獎勵工 程，重新進(jìn)行訓(xùn)練以生成類似的行為。
盡管獎勵工程能夠使得當(dāng)前學(xué)習(xí)范式訓(xùn)練收斂時生產(chǎn) 相對合理的行為，但如何引導(dǎo)、調(diào)控這種行為（如不同步 態(tài)/頻率、不同行為）仍然是一個問題。當(dāng)前學(xué)習(xí)范式訓(xùn) 練完成-學(xué)習(xí)完成的特性使得必須在仿真訓(xùn)練過程中，將這 種預(yù)期行為（不同步態(tài)、爬樓梯等）編碼進(jìn)指令里，作為 Reference，然后在訓(xùn)練過程中遍歷相關(guān)行為指令，實(shí)際運(yùn) 行時需要手動切換這些指令，以使得機(jī)器人產(chǎn)生對應(yīng)的動 作。這種手動指令切換產(chǎn)生不同運(yùn)動模式的方式是目前主流 方法，包括一些看似炸裂的市場宣傳視頻，當(dāng)前學(xué)習(xí)范式并 沒有達(dá)到人們期望的自主，仍需要在仿真交互數(shù)據(jù)中編碼-遍歷-手動切換/上層訓(xùn)練一個策略進(jìn)行切換。在不同地形、 不同速度下的運(yùn)動行為形態(tài)自主切換還依賴于對相關(guān)機(jī)制的 研究，如能量、步態(tài)穩(wěn)定性理論等，然后將相關(guān)機(jī)制嵌入到 獎勵函數(shù)中去，對控制對象本身動力學(xué)特性的理解仍然起著 基礎(chǔ)作用。
為了腿足機(jī)器人能夠生產(chǎn)類似于物理世界人們預(yù)期的 行為，需要在訓(xùn)練框架/過程中引入更多相關(guān)的數(shù)據(jù)，包括: 使用動捕系統(tǒng)獲得的仿生對象真實(shí)數(shù)據(jù)；使用基于模型的運(yùn) 控算法規(guī)劃生產(chǎn)的數(shù)據(jù)；對相關(guān)物理量施加真實(shí)（硬）約束 等，即使用約束強(qiáng)化學(xué)習(xí)或者類似約束強(qiáng)化學(xué)習(xí)等方法，生 成更符合真實(shí)物理行為的數(shù)據(jù)；使用任務(wù)空間動作指令（如 抬腿高度、步態(tài)頻率等）等動作空間參數(shù)訓(xùn)練生成策略等。 隨著預(yù)期動作要求越來越高，訓(xùn)練框架/策略網(wǎng)絡(luò)結(jié)構(gòu)將會 融合以上各個設(shè)計(jì)元素。
（2）受到擾動時的高剛度行為：無意識地在任何時候 最大化獎勵函數(shù)
Our key insight is stiff responses to perturbations are due to an agent's incentive to maximize task rewards at all times, even as perturbations are being applied.
- Deep complaint control, ICRA
（3）小范圍內(nèi)的魯棒性
盡管人們可以利用參數(shù)隨機(jī)化（Domain Randomization） 等訓(xùn)練技巧，使得策略不過分保守的前提下，獲得參數(shù)在小 范圍變化時的魯棒策略（如質(zhì)量在正負(fù)2kg內(nèi)變化），然而 這種所謂的魯棒性/自適應(yīng)性是有限的，以不顯著改變狀態(tài) 轉(zhuǎn)移特性為上限（如質(zhì)量變化與機(jī)身質(zhì)量相近），如果超過 這一上限，強(qiáng)化學(xué)習(xí)本身沒有單獨(dú)的機(jī)制處理這一點(diǎn)（如估 計(jì)-補(bǔ)償機(jī)制或者參數(shù)辨識-自適應(yīng)機(jī)制）。
（4）無前饋機(jī)制
當(dāng)前學(xué)習(xí)范式得到的策略屬于狀態(tài)反饋控制策略，即 當(dāng)外界干擾引起的變化導(dǎo)致狀態(tài)發(fā)生改變時（不能改變過 大），才會影響到策略輸出，對于能夠估計(jì)/觀測到的干 擾，沒有前饋機(jī)制。
（5）無安全機(jī)制
將任務(wù)獎勵同約束處理一同引入到獎勵函數(shù)， 不僅使得 獎勵函數(shù)項(xiàng)增多（可達(dá)數(shù)十項(xiàng)），而且無法保證在任何情況 下得到的策略都能滿足這些約束（因?yàn)椴呗允亲畲蠡歇?勵項(xiàng)的和），策略可能會生成不安全的行為。

2 結(jié)論
通過上述分析，回到最開始的問題，盡管DRL深度強(qiáng)化 學(xué)習(xí)具有著巨大的應(yīng)用潛力，然而當(dāng)前學(xué)習(xí)范式的原理和性 能特點(diǎn)，決定了在應(yīng)用時仍然需要根據(jù)性能要求和場景進(jìn)行 有針對性的開發(fā)，選擇合適的訓(xùn)練框架和策略結(jié)構(gòu)。當(dāng)前學(xué) 習(xí)范式的DRL只是提供了一種解決問題的思路，這種思路解 決問題的原理仍然存在一定的局限性（見上述分析），對于 實(shí)際應(yīng)用來說，了解這種思路的局限性和性能邊界，選擇合 適的技術(shù)方案，并結(jié)合基于模型的控制方法相關(guān)思路進(jìn)行完 善，是一種應(yīng)該采取的態(tài)度。（待續(xù)）