自動駕駛攻破的難點在哪里? 這個問題可以分解成兩個維度：
縱向維度：L0→L1→L2→L3→L4→L5，哪一步是最難/最關鍵的?
橫向維度：自動駕駛技術范式的三大方面：感知(眼耳鼻) 、決策(大腦)、執行(神經、肌肉、四肢)，哪一方面是最難/最關鍵的?
在非自動駕駛的情況下：
感知：駕駛員的眼耳鼻等各個傳感器，在接收著外界的信息，承擔著感知的功能;
決策：駕駛員的大腦根據感知的信息，決定進行加減速、轉向等操作，承擔著決策的功能;
執行：駕駛員的神經、四肢，以油門剎車與方向盤作為人車交互的兩大媒介，與整個汽車系統一起承擔著執行的功能。
什么是自動駕駛?
就是全部或部分地替代駕駛員的感知、決策與執行功能，而替代的程度，就決定了自動駕駛的等級。
目前，普通公認的自動駕駛等級標準是SAE J3016，最新版本是2016年9月。
英文+術語對閱讀來說可能不太友好，我來用通俗的語言翻譯一下：
L0- 無自動輔助功能
L1- 轉向或者加減速實現一條，駕駛員要時刻關注駕駛過程
L2- 轉向和加減速都實現，駕駛員要時刻關注駕駛過程
L3- 不需要駕駛員監督，但在出問題時需要駕駛員介入
L4- 不需要駕駛員監督，但仍然有一定局限，在出問題時能夠自動靠邊
L5- 全自動駕駛，只要在地球上有地圖的地方，全部都能自動駕駛
(L6)- 展望一下，在火星上也能開?
是不是還不太友好?我再用“粗俗”的語言來翻譯一下：
L0 – 駕駛員同學：你來開，我不參與。
L1&L2 – 駕駛員同學：我能感知到周圍環境，也有一定的決策能力，所以我可以幫你踩油門剎車或幫你打方向盤(L1)，甚至這倆活我都幫你做了(L2)。但是，我開歸我開，這屬于幫忙，你得盯著，因為丑話說在前面：出了緊急情況我也不一定能辨識出來，所以我也一概不負責。
L3 – 駕駛員同學：我幫你開，你不用盯，我都能辨識，能處理的也就幫你處理了;我辨識不出來的，我的責任，你或你的家人可以找我來索賠;但是，我辨識出來的緊急情況超出我的處理能力/倫理道德權限的時候，就會提醒你開，我提醒之后，責任就是你的了，我不負責。
L4 – 駕駛員同學：我辨識，我開，你該干嘛就干嘛去，放心，我不會打擾你的;如果實在出了狀況，我至少是幫你停路邊，保你一條小命。
L5 – 駕駛員同學：這個車，就是我開，沒你什么事;說難聽點，就你這水平實在是不配開車，讓你開就是危害公共安全，如果說我是專業九段，你最多是業余二段;你非要開?對不起，方向盤與油門我已經卸了，你想開也沒法開。如果你犯了開車癮了，出門右拐200米的旅行社，有內蒙古呼倫貝爾草原三日游，特色項目可以騎馬與開車二選一。
L0→L1：
汽車從僅有執行的功能，進化成具備感知與決策的能力，這是從0到1的過程，當然很重要，而這已經人類目前已經走過的歷史了，不是當下最關鍵的了。把自動駕駛比喻成一個人的話，這是嬰兒從呱呱落地到認識這個世界、學會語言的過程。
L1→L2：
只是縱向控制和橫向控制的區別，相當于我做了一個功能再去做另外一個功能，這個難度并不大。當然，涉及到量產就要考慮到系統工程，汽車還要考慮成本，要做的工作還是不少的。這是高中生學文、學理，還是文理兼修的區別。
現在能達到L2的車型已經挺多了，各大品牌的中高端車型，例如JEEP自由光、沃爾沃等等，當然也包括大名鼎鼎的Tesla。正因為L2沒那么稀奇了，所以才有動力要搞出L2.5這樣的概念。
L2→L3：
敲黑板了，這是一個質變的階躍點，也是一個有很多貓膩的點。L2與L3關鍵就在于：自動駕駛是否有足夠的自信，來確保自己的感知與決策能力是與人類相當的、至少是滿足法律要求的、做出承諾不會使企業倒閉的。假如一輛車的整個生命周期，會遇到10000次危險情況，L2會聲稱自己可以辨識出9900個、9990個、9999個，但就是不敢承諾可以到100%——否則就是L3了。這是學霸與學神的區別：學霸考了99分，學神考了100分，并不是因為學霸與學神差距不大：學霸考了99分說明實力只有99分，而學神考100分是因為滿分只有100分。
99%與100%之間的鴻溝是如此之大，難以跨越，使得不安分的公司開始搞點貓膩，L2.5啊、L2.X啊這些概念都出來了。我想說的是，只要未到L3，L2.9999都可以說是廠家自己在往自己臉上貼金，L2到L3的界限是非常明顯的，需要駕駛員時刻保持警惕的，就只能是L2。
所有L3以下的自動駕駛(例如特斯拉一直引以為傲的L2.5)一般是下面這個畫風，這位大叔手腳都很輕松，但是眼睛目視前方，神情有些緊張，不敢太過放松。在這種情況下，王者榮耀只能打快速戰斗，不能打排位，否則要么分分鐘掉到青銅，要么太專注了小命不保。這是真正的自動駕駛嗎?從個人感受來說，我不這么認為。所以我認為L2→L3是一個“從無到有”的過程。
而到了Level3，就是下面這種畫風。比如在L3的奧迪A8上，一家之主可以享受著自己帶家人出游的樂趣，同時還可以拿著筆記本完成一些簡單工作，可以同時享受帶著全家人出游的樂趣，同時還能處理工作事物。
目前來說，量產版發布L3的，只有全新奧迪A8，這輛車也是目前量產車所能達到自動駕駛的最高水平。但是L3所存在的問題是，如果一旦系統出現無法hold的情況，需要駕駛員接管，所以在開車時只能進行一些簡單的工作，比如處理個流水郵件，給知乎上的妹子點個贊之類，是沒問題的。但深入思考某個投資問題，或者打王者榮耀要沖最強王者，那還是不太現實的。
L3→L4：
L4和L3的區別在于，L3在系統出問題時需要人接管，而L4可以自己handle所有特殊情況。換句話說，從烏鎮到上海倆小時，L3的自動駕駛可能中間10分鐘需要駕駛員接管，而其他時候可以忙一些工作上的事情或者休息，即使不接管也沒事，最多給你抗議一下停到路邊。也就是說，L2到L3解決的是“從無到有”的問題，而L3到L4是“從不全面到全面的問題”
到了L4，就變成了下面這種畫風。這張圖曾經作為百度的“罪證”而被廣泛流傳，李彥宏一個人坐在副駕駛打電話，百度無人車在五環上實線變道(看來他們還沒有開發出交通規則識別功能)。在這個級別，駕駛員無需關注任何駕駛工況，車輛可以自行控制。
L4→L5：
那么從L4到L5又有哪些變化呢?還是以引子中的烏鎮—上海中環某地為例。這一路，申嘉湖最開闊，路況好沒有車;G60車比較多，但靈活變道的話，還是可以開得比較順暢;而滬閔高架就比較擁堵了，尤其是幾個出口入口的地方，動不動有插隊現象(Level5的插隊水平可能比駕駛員還強，也許會有：360汽車，超強插隊能力的汽車-_-!);到了中環，又是車多但基本暢通的情況。對于一個不認真開車的老司機來說，申嘉湖很簡單，中環G60還湊合，滬閔高架比較難，可見這是一個評判司機好壞的標準。對于自動駕駛來說，路況的復雜程度也是考量自動駕駛深度的一個很重要維度。對于自動駕駛來說，路況的復雜程度也是考量自動駕駛深度的一個很重要維度。比如去固定的地方接人，通過固定的路徑。
如果說L2是學霸，L3是學神;那么L4就是大師，能識別出所有危急情況，而且知道自己以及行業內的能力邊界——哪些事情是目前能力還做不到的，或者是因為法律、倫理道德因素自己不適合做的(譬如是撞死一個人還是撞傷五個人的抉擇)，交給駕駛員;
而L5就是愛因斯坦+Alpha Go，已經是駕駛領域的神，在面臨危急情況的時候，會
做出一些莫名其妙的舉動，就像圍棋中Alpha Go走出的人類無法理解的神來之筆，但就是完成了人類完成不了的動作，避免了事故;甚至平時去夾塞，都比人夾得好。如果一個人能成長為大師，L2→L3是最難的，相當于是模擬考試徘徊在985與211之間的高中生，沖擊一下想考上清華北大，而全新奧迪A8率先實現了量產Level3，相當于是高二競賽提前錄取了，占據了先機。如果是沿著現有的理論框架走到L5，L2→L3和L4→L5是最重要的。也不排除，為了達到L5，要突破現有的Level體系才能實現。
總之：L2→L3：真正意義自動駕駛的“從無到有”;L3→L4：從“不全面到全面”;L4→L5：從“不完美到完美”。筆者認為，L4→L5的意義大于L1→L2與L3→L4，但小于L2→L3。
一方面，這不是題主所問的重點，另一方面，我在之前的回答中也有所簡述：因此，橫向維度的討論就不在此展開，只簡要寫寫其中一個點：從技術范式來看，自動駕駛主攻的是感知與決策，執行不就是油門剎車與方向盤兩個輸入信號嗎，為什么也會成為一個難點、甚至成為傳統車企狙擊互聯網車企的護城河呢?
原因在于：在L0→L5的過程中，由于自動駕駛的加入，系統變得越來越復雜，而且大部分是與安全強相關。這就要求系統的安全性提出了更高的要求，如果僅通過提高可靠性的方法來實現，則成本會急劇增高，這時候就需要通過功能安全(function safety)的方式，在成本可控的情況下來保障安全性。
與自動駕駛等級相似，功能安全也分ASIL A→D 4個等級，有論文甚至提出由于自動駕駛太危險了，出了事兒不僅自己完蛋，周圍人也完蛋，建議給自動駕駛功能新出一個ASIL E等級。這是什么概念? 要知道，目前還沒有任何一家汽車公司可以達到ASIL D的水平(2015年的信息)，那達到ASIL E是何其難?
也就是說，自動駕駛雖然重點在感知與決策，但由于強安全性與高系統復雜度，使得執行控制也成了一個技術難點，而這一點是傳統車企的優勢。正因為如此，全新奧迪A8成了第一個達到量產L3水平的車型，也就不足為奇了。
