【摘要】埃塞航和獅航墜機的原因都是智能化系統的功能失效，自動駕駛汽車事故反應了目前機器學習技術存在的局限性。在我們推行智能制造、人工智能、工業互聯網等新技術時，要考慮技術失敗可能導致的人為災難。應同步研究功能安全技術和標準，保證新技術在安全的框架內發展。
埃塞航飛機起飛僅僅6分鐘后就墜毀，而類似空難則是近5個月前的獅航JT601，飛機起飛12分鐘墜毀。由此引發了波音737MAX8的全球停飛。
一、這是兩起功能安全事故
波音的墜落，是人工智能戰勝人類的災難性事件，也是智能化系統功能失效的典型案例。
波音737MAX8是波音成熟度最高的機型，燃料消耗是同類機型的30%，但發動機更改導致飛機機頭容易抬高。因此，它使用了一個機動特性增強（MCAS）系統，在飛機迎角過大時系統會自動下調機頭以進入它設定的安全狀態。但實際上，MCAS是波音公司在737MAX8飛機里埋的炸彈[1]。
獅航空難事故調查已有結論，其直接原因是機頭左側攻角傳感器故障，使MCAS錯誤地連續進入自殺式俯沖，一共26次，而悲劇的獅航飛行員則努力奮斗拉了33次機頭[1]，試圖拯救飛機。但最終人工操作沒能成功糾偏。
埃塞航空難事故調查還在法國進行，但從已經披露的信息可以判斷，飛機在起飛后，連續出現了爬升和下降兩種飛行姿態，飛行員稱無法控制飛機，最后導致墜毀。
這兩起事故都是智能化系統功能錯誤導致的飛機失控，屬功能安全事故。
二、什么是功能安全
功能安全是一門安全工程學科，專門研究復雜控制系統的功能失效避免。它的基礎標準是2000年發布的IEC61508。近20年來，針對各領域的安全相關系統，已經發展出一個標準族群。
它主要從3個方向展開研究：
1、預期功能安全
預期功能安全是系統性失效的一部分，它要求全面識別受控設備中的所有危險，并把風險控制在可容忍范圍之內。在這個前提下建立安全相關系統的所有功能，并用全生命周期管理來保證系統執行這些功能的可靠性。
當受控設備中包含了智能化系統時，這個要求就極具挑戰。這是我們目前面臨的新問題。
2．硬件隨機性失效避免
組成安全相關系統的硬件系統必須具有足夠的可靠性、足夠的容錯能力和診斷覆蓋率。
3．系統性失效避免
要避免所有可能導致系統性失效的錯誤和故障，如軟件功能安全、環境適應性、檢測到故障時的系統行為等。
功能安全標準規定了各種原則、方法，是多個行業多年經驗的總結，對于提高復雜控制系統與保護系統執行功能的可靠性，具有十分重要的指導意義。
三、MCAS存在多個功能安全問題
埃塞航和獅航墜機事故原因都聚焦在波音737MAX8飛機的MCAS上。MCAS是一個安全相關系統，從功能安全視角看，它存在多個問題。
1．設計缺陷[1]
a）發動機更改使飛機容易在大迎角飛行時失速，波音公司沒有改動所有問題的根源，只是加裝了MCAS系統，違背了本質安全原則。
b）MCAS系統的危險評估定級有誤（定為有害等級而不是災難級）。這說明設計者對MCAS失效可能造成的后果嚴重性估計不足，因此，對這個系統的軟硬件都沒有配置足夠的魯棒性。
c）系統容錯能力不足。即使是有害等級，MCAS系統僅采集左側傳感器數據作為啟動條件也是不符合要求的，它沒有采取雙攻角傳感器交叉檢測的傳統做法。獅航飛機是左側攻角傳感器故障就導致死亡俯沖。
d）對安全關鍵部件（如攻角傳感器）的故障，沒有診斷和報警。
e）出現死亡俯沖時，沒有明顯提示警告機組人員。
f）波音公司的培訓資料從未提及該項功能，也沒有任何特別的培訓課程。
2．獅航飛機的維護和操作問題
a）機務人員沒有及時發現攻角傳感器問題。獅航飛機空難前帶著這個故障飛行了4次之多，事故前一天還出現過機頭持續下壓的危險狀況，直到飛行員關閉MCAS才安全降落[2]。
b）獅航的維修工作及程序未能解決涉事客機的問題，而客機關鍵零件（攻角傳感器）的安裝及校準紀錄不完整[3]。
c）飛行人員存在操作錯誤[3]。
3．監管問題[4]
a）波音737MAX8在美聯邦航空管理局（FAA）進行新飛機的安全批準時，為了加快進度，把該機型MCAS系統的安全評估交給了波音，并要求自身的工程師們加快檢查進度。這極大降低了監管的力度和有效性。這違反了功能安全標準的規定：“對于失效后會導致嚴重后果的安全相關系統，必須由獨立的第三方評估后給出合格與否的結論”。
b）波音提交的報告數據與實際不符。
c）評估報告未發現MCAS的諸多設計缺陷。
d）評估未要求飛行手冊上標注MCAS，也沒有要求特別的培訓。這違反了功能安全標準對安全手冊的要求。
功能安全標準要求采用全生命周期來管理安全相關系統，設計者有責任設計高安全完整性等級的安全相關系統，維護者有責任維護安全相關系統，監管者有責任獨立評估安全相關系統的功能安全性能。但如果在設計上存在本質缺陷，那么靠維護是不能提高安全相關系統執行功能的可靠性。設計者要考慮到維護者和使用者的能力限制。
獅航事故發生后，印尼獅航和波音公司各執一詞，波音公司沒有緊急停飛737MAX飛機，也沒有任何召回行為，反而對印尼獅航的賠償要求百般推諉，間接導致了埃塞航的空難。這一次，中國率先對埃塞航墜機作出反映，果斷停飛該機型。波音公司應該感謝中國。
想到獅航飛行員努力奮斗拉了33次機頭而失敗墜機，聽到埃塞航飛行員驚恐地報告無法控制飛機的聲音，所有人都會心疼不已。人們不禁要問，在智能化時代，各國都在大力發展人工智能技術，我們未來面臨的到底是福還是禍？
四、在新技術條件下，復雜系統面臨各種安全挑戰
在智能制造、人工智能時代，復雜的智能化系統面臨各種安全挑戰：
1．“你不知道自己不知道什么”
從智能制造到人工智能、從5G到工業互聯網，新的熱點層出不窮，新的技術不斷更新換代，智能化系統越來越復雜。互聯互通、信息集成，要將系統所有邊界情況一網打盡是天方夜譚。這種情況下，無論是設計者還是監管部門都嚴重缺乏經驗，都面臨“你不知道自己不知道什么”的困境。
2．監管缺失
我們批評波音自己對自己的系統進行評估，實際上，對于類似MCAS這樣的系統，監管部門的理解和評測能力很可能不足，也沒有相應的標準。對復雜的智能化系統進行功能安全評測一直是業內難題。
3．智能化系統與人的關系
在智能化系統控制著的飛機上、自動駕駛汽車上、現代化的工廠里，人的錯誤可能是導致事故的重要原因。比如2009年6月1日法航447墜落事件中，空速管結冰導致飛行控制系統進入故障模式，副駕駛持續拉桿的錯誤動作導致飛機失速墜落。在波音這架飛機上，駕駛員與MCAS一直在搶奪控制權，最終駕駛員失敗了。在危機時刻，該聽誰的？這需要針對每個功能進行認真研究。
4．機器學習技術的不確定性影響安全[5]
機器學習具有“黑箱”特質（不確定性），面對相同情況時可能會產生不同結果。數據采集和學習系統的不完善，也可能導致無意的偏差和數據失真問題。
以自動駕駛汽車為例：自動駕駛技術通常包含一些類型的機器學習技術，特別是在目標探測和分類等任務中。而一旦有個不小心，機器學習訓練就有可能引發系統錯誤。一臺自動駕駛汽車的人工智能系統利用前置攝像頭采集的視頻數據當作“學習資料”，然而這輛車在學習一陣后，卻徑直沖向了路上穿熒光綠色背心的建筑工人。原因是這輛車的教學數據庫并沒有包含熒光綠色背心的數據，所以機器根本分辨不出來穿背心的工人是人類。
五、各領域由于系統失控導致的功能安全事故案例
1．自動駕駛汽車事故
近年來，采用了機器學習技術的自動駕駛汽車是熱點，但各地出現的車毀人亡事故又在不斷地給這個熱點潑冷水。
2017年5月17日，美國加州一名特斯拉Model S 車主在開啟了自動駕駛狀態下撞上前方轉彎的卡車，不幸身亡。原因是由于卡車涂裝為純白色，在強烈反光下，特斯拉車載攝像頭未能將這輛車從天空背景中識別出來。
2018年3月，優步（UBER）自動駕駛汽車撞死一名推著自行車穿過馬路的49歲行人。原因是交通狀況的突然變化超過了車載智能駕駛系統的計算、響應速度。面對突如其來的狀況，智能駕駛系統未能及時作出反應來避免事故的發生。
2．其它設備故障導致系統失控的功能安全事故
由于設備故障，導致系統失控，最終發生嚴重事故，比如：
2013年3月15日，央視315晚會曝光大眾汽車變速箱機電單元（DSG）存在問題。由于DSG電子故障，車輛動力輸出中斷，可致汽車在行駛過程中突然失速。這已經導致了多起重大事故。
2007年4月18日，遼寧鐵嶺鋼鐵廠，脫落鋼水包口直對著工人開會的小屋，很多鋼水灌入小屋，32位工人死亡。事故直接原因是：接觸器銹蝕斷開，導致鋼包控制系統功能失效。
2005年3月23日，BP公司在美國德州的煉油廠在開車過程中發生了多起爆炸事故，造成15人死亡，170多人受傷。事故直接原因是：液位計失靈，導致高液位報警失效，缺少高液位判斷功能。
六、在我們推行智能化與人工智能技術時，必須同步研究功能安全
研究智能化與人工智能時代的功能安全技術，制定相應標準，為智能制造與人工智能保駕護航。
面對更新換代的新技術和“層出不窮”的熱點，我們必須理解風險埋藏在哪里，能夠識別出那些未知且不安全的部分，然后將它們的風險控制在可容忍范圍之內。對它們進行區分，拿出化解風險的方案并對其進行驗證。需要制定標準規范行業行為，比如，制定安全標準以規范數據采集和學習系統的開發行為，以減少人工智能系統無意的偏差和數據失真問題。
七、結束語
埃塞航和獅航空難是巨大的悲劇，所有新技術失敗導致的事故都是人為的災難?？吹竭@些災難，不禁對智能化和人工智能等新技術心存敬畏。希望我們能深入研究功能安全技術，用標準和法規來保障新技術在安全的框架內發展。而任何一項新技術，也只有在解決了安全問題之后，才能真正為用戶所接受。
參考文獻
感謝舍弗勒公司薛劍波先生提供的汽車領域事故案例和ISO21448預期功能安全的相關資料。
[1]大水來，獅航空難：26次死亡俯沖和33次絕望拯救的背后故事[EB/OL]（2019-03-19）（2019-03-19）https://news.online.sh.cn/news/gb/content/2019-03/19/content_9232111.htm
[2]張仲麟，獅航空難調查報告發布，鍋歸誰？【EB/OL】（2018-12-02）（2019-03-19）https://user.guancha.cn/main/content?id=58538
[3]香港東網，波音回應獅航空難初步調查報告：客機安全 操作及維修不當【EB/OL】 （2018-11-28）（2019-03-19）
https://news.163.com/18/1129/10/E1P82PRU0001899N.html
[4]新華社轉西雅圖時報，美媒：737MAX飛行控制系統的安全評估存在嚴重缺陷【EB/OL】（2019-03-18）（2019-03-19）
http://www.sohu.com/a/302127002_260616
[5]雷鋒網，揭秘 ISO 21448，它是自動駕駛行業的新風向標？【EB/OL】（2019-03-11）（2019-03-19）http://www.kejilie.com/leiphone/article/vmQzMn.html
作者簡介：
史學玲， 1982年畢業于浙江大學。機械工業儀器儀表綜合技術經濟研究所副總工程師、功能安全中心主任。國家安全生產專家組成員，國際權威機構認證的功能安全專家。SAC/TC124/SC10系統及功能安全標準化技術委員會副主任委員，全國機械安全標準化技術委員會委員，全國電氣安全標準化技術委員會委員，全國電工電子產品可靠性與維修性標準化技術委員會委員。
