#就地避難在家鍛鍊寫作能力
軟體工程師系統設計面試準備指南
當你有了幾年的工作經驗以後,在找工作時一定會遇到系統設計的面試,有鑒於大部分的面試心得都是針對演算法以及資料結構的程式面試 (包括我之前寫的美國軟體工程師求職心得),對於系統設計的準備資源還真的不多,本篇要來剖析系統設計面試,介紹面試的流程、正確的心態以及準備的方向,讓大家再也不怕系統設計面試!
Medium 好讀版:https://medium.com/jktech/%E8%BB%9F%E9%AB%94%E5%B7%A5%E7%A8%8B%E5%B8%AB%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E6%BA%96%E5%82%99%E6%8C%87%E5%8D%97-acf6ab1f502f?source=friends_link&sk=ca40acf60b749cb1b32c17a868b0c1a3
#為什麼系統設計很重要?
在程式面試表現優異,可以讓你順利拿到 Offer;但是系統設計會決定你加入公司的職等!這也就是為什麼有些人有十年經驗只能拿到 Mid-Level (L4) 的 Offer,而有些人只有五年經驗卻可以拿到資深工程師以上 (L5+) 的 Offer。
另外,如果你是面試 Staff 或是 Principal 級別以上的話,除了系統設計以外,有些公司還會有 Technical Leadership 的面試,來判斷你是否有能力可以跟不同的部門合作、解決問題的不確定性、帶領資淺的人然後推動並且完成一個跨部門的大型技術專案。
簡單來說,系統設計用來判斷你是 L4 或是 L5+,Technical Leadership 面試用來判斷是 L5 或是 L6+。
#為什麼系統設計很難準備?
大多數應徵者在準備的時候會過度偏重於程式面試,原因也不難理解,程式問題的定義很清楚,有給定的輸入以及預期的輸出,就算你真的想不出來,LeetCode 上的討論區也有參考答案;這種有考古題可以參考的面試,對於台灣教育出來的人來說相對好準備,隨著你解的問題多了,你也會更有信心,不知不覺甚至還會刷上癮了呢!但系統設計卻非如此。
系統設計面試的問題描述通常很模糊 (這是刻意的),沒有給定的輸入與輸出,比較沒有既定規則可以遵循,然後也沒有一個標準答案,針對不同系統你需要提出不同的解法然後分析優缺點,一樣的問題,面試官也會針對你過去經驗往不同的方向問,有些問題你工作上沒有碰過還真的回答不出來,這也就是為什麼很多人看到系統面試就怕了。
#到底要怎麼準備?
首先我們要先建立一個觀念:沒有任何一個人可以知道所有的技術細節
不管你的面試官有多少年經驗,不管他們再怎麼資深,在變化快速的軟體產業,沒有人可以知道所有事情,一定有你知道而他們沒聽過的事情!
請把系統設計當成分享你過去所學的面試,這個面試的目的在於展示你對於軟體架構能力的廣度跟深度,你必須可以給出大方向的架構,知道有哪些元件 (廣度),同時針對你熟悉的領域深入探討更多細節 (深度),並且提出幾個解決方案,分析優缺點,並且針對系統需求選擇合適的解法。
大方承認自己對某些領域的細節不熟,也是完全沒問題的,只要讓面試官了解你知道這個東西,如果要深入了解的話你知道有哪些方向要努力,這樣就夠了,因為在大型的軟體專案裡,一定是高度分工的,不會有人同時精通手機端、前端、後端、Infra 以及嵌入式或是硬體的。
講到這裡,相信你也知道如果真的要準備是準備不完的,這些知識是透過平常工作以及閱讀技術文章長期累積的成果,比較沒辦法臨時抱佛腳。
#具體來說會問什麼問題
舉例來說,一個系統設計的問題會像是這樣:如何設計 Facebook?
這類問題的描述通常會很大而且模糊,面試官不預期而且你也不可能在 45 分鐘內就設計出這些公司花了好幾年這麼多人力設計出來的產品,所以第一步要做的事情是確認需求:是要設計動態牆、Messenger、廣告系統還是推薦系統?流量跟資料量為多少?需要支援全球的使用者嗎?
確認完需求以後,會針對最重要的幾個使用場景設計你的 Data model 以及 API,接著畫出大的系統架構圖,大致上會包含客戶端 (手機版/桌面版)、Load Balancer (Reverse Proxy)、App Servers 以及資料庫,接著可以針對細節下去討論,這邊開始就很自由了。
如果你是專精在資料庫,可以討論要用什麼資料庫以及資料要怎麼存可以讓特定使用場景的讀取以及寫入效能比較好,要怎麼做資料庫的 Replication 跟 Sharding 來服務更多的使用者?
如果講到快取,哪些地方可以加快取呢 (瀏覽器前端, CDN, App Server, 資料庫)?具體來說寫入快取有哪些方式以及優缺點 (write-through, write-around, write-back)?什麼時候要失效?要讓哪些資料失效?
如果聊到微服務器架構跟 Service Mesh,不同的服務怎麼跟其他的服務溝通? control plane 要怎麼更新 data plane 的設定?如果 control plane 掛了怎麼辦?要怎麼做 service discovery? 哪一種 Load Balancing 策略比較好 (round robin, random, least connection, ring hash, or maglev)?有些服務掛了影響到整個系統怎麼辦?什麼時候需要 circuit breaker ?
如果你是手機開發者,怎麼實現離線瀏覽?手機要有資料庫嗎?要怎麼以及多常跟伺服器同步?API 要怎麼設計?如何實現 Infinite Loading?剛 Po 文以後要怎麼樣在自己手機上馬上看到?
這些問題真的列舉不完,總之看到這裡你會了解為什麼我說這個面試是沒有範圍而且也準備不完的,重點應該放在跟面試官的討論,展現你在技術方面的廣度跟深度,讓面試結束的時候能夠有一個你們兩個人都同意的設計!
#準備材料
系統設計的資源比較分散,以下是我篩選過後覺得有用的資料,按照素材的類型作分類,也歡迎大家留言補充!
#入門影片
針對完全沒有概念的新手,我建議可以先從哈佛的 CS75 Lecture 9 Scalability 開始,裡面講到的很多基礎觀念都相當重要,值得一再複習,這些概念先有了以後再閱讀其他的材料會比較有感覺:
如果你看完這篇文章後還想再多了解系統面試的形式,也可以看一個前 Facebook 工程師分享的影片:
Distributed Systems in One Lesson 也很推,裡面提到不少業界在使用的設計模式:
有一個需要付費的資源是 SystemsExpert,每個影片會講解一個系統設計重要的概念,我個人覺得內容有點淺所以沒有買,但是整理地還算不錯,如果你看完他們免費的影片有興趣還是可以參考一下。
#閱讀文章
影片是一個讓你很好理解大方向概念的方式,但是如果你要深入理解背後的原理還有怎麼運作的細節,還是得透過大量以及深度的閱讀來吸收呀!
system design primer 整理了很多系統設計的資源,資料量很夠, 個人的建議是先快速過一遍,不要細讀,先知道總共有哪些元件,大概是做什麼用的就好,接著針對有興趣的部分在深入研究,建立自己的知識庫。
Grokking the System Design Interview 也是很多人推薦的材料,主要是針對系統設計的問題提供範例解答,他們的答案可以當作一個參考,但面試的時候不要完全照著回答,還是得看跟面試官討論的結果來進行,但這個是需要付費的,有興趣可以用我的推薦碼註冊購買。
如果你不想花錢或是不確定 Grokking 的文章你喜不喜歡,有一個類似的網站 Crack the System Design Interview 整理得也還不錯。
#書籍
唸書是一個有系統性學習的方法,如果你只想選一本書來看,就選這本大家都推的系統設計聖經 — Designing Data-Intensive Applications,簡稱 DDIA,這本書適合的對象是想要長期準備系統設計或是分散式系統的人,裡面舉的例子都是實際上業界遇到的問題,不會有以前讀教科書那種工作又用不到的感覺;但也因為是書,花了一些篇幅在講解背景知識,包含以前的系統是怎麼設計的以及如何演進到現在,對短期要準備面試的人效率會有點低,所以不適合有時間壓力的人。
這本書我目前讀了一半,最大的收獲是它解釋了很多為什麼現代的系統要做這樣的設計,我們針對不同的系統要求可以有哪些解法,這些解法各有什麼優缺點,總之分散式系統就是我們解決了一個問題,但又會產生更多要考量的點,一切都是 trade-off。
但這本書也不是沒有缺點的,首先我覺得是本書的英文沒有很好讀,我常常一段看了好幾遍才知道他想表達的重點是什麼,而且,有些很重要的觀念常常藏在一段文字裡用一句話帶過,但是不太重要的觀念卻使用 Bullet Point 表達;另外這本書話常常講一半,一些觀念提到了一點卻說我們後面再聊,也因為這樣,我在考慮要不要幫大家整理每一個章節的重點,翻成中文分享給大家,有興趣的朋友麻煩拍手留言告訴我!
除此之外,Google 的 SRE Books 內容也很實在,但是每一個章節的內容是獨立的,建議大家選擇想研究的章節跳著看就好。
最後,Distributed systems for fun and profit 的內容也很好,以分散式系統的理論為主,比較沒那麼針對系統設計面試。
#還想閱讀更多嗎?
我知道光是上面的資源就已經讀不完了,但是行有餘力的話,平時也可以多看看各大公司的技術部落格或是訂閱技術週刊如 TechBridge (台灣) 、HackerNews 以及 InfoQ 等等。
此外,參考別人的經驗也是很好的方式,最近剛好幾個朋友剛找完工作,他們分享的矽谷找資深工程師工作心得分享以及2020 上半年軟工找工經驗分享也都很值得看!
最後,在工作上使用到的技術,除了會用以外,最好也要花時間去研讀技術文件,了解他們設計的考量以及支援的場景,大部分這類型針對開發者的文件寫得會比較深入,所以也是相當好的學習素材;我自己過去一年因為工作上需要整合 Envoy 到我們公司的 Traffic Infrastructure,從他們的文件中學到很多 Service Mesh 跟微服務器的重要概念,學習的深度都是其他資源無法提供的。
#總結
這篇文章我們整理了很豐富的系統設計資源,希望大家不要被這滿滿的資訊量嚇跑。
請記得,我們永遠有各種方法在短期內針對面試做準備,提升面試的表現,但這都只是一時的,沒辦法讓你一夕之間就成為專家;如果想要追求長期的持續成長,那麼沒有捷徑 — 就是養成每天學習以及閱讀的習慣,一開始真的很難看到效果,但是當你持續一週、一個月甚至是一年以後,你會明顯感受到自己的成長,這些投入的時間都是騙不了人的。
如果這篇文章對你有幫助,請拍手留言加訂閱,並且分享給更多有需要的人知道!
材料系面試問題 在 民意論壇:聯合報。世界日報。udn tv Facebook 的最讚貼文
我的未來 非他辭職可補救
鄭紹成/大學教師(台北市)
今年學測數學滿級分人數創新高,恐導致超篩。本報資料照片
大學學測放榜,前晚先用Line告知在補習班的女兒,數學滿級分偏多、大考中心主任辭職負責消息,女兒只回了一句:「我的未來不是他辭職可以補救!」
對於一個不滿意去年入學成績決心重考,又再一次遇到數學沒有辨識度的嚴重出題錯誤,女兒只有一句話的回覆可見其感慨。
科舉時代掄才,主考官員主試出錯,削職為民、發配邊疆、廷杖砍頭多有;現在考題由大考中心把關,考題經過五階段審測,居然還會出現如此嚴重疏漏,難以想像。去年數學科目滿級分已經破紀錄,今年又成長一倍,一次的錯誤已經不可容許,二次的誇張錯誤,我回給女兒一句「錯誤的決策比貪汙更可怕。」
五年級生的我常用自己高三休學在家自修考上國立大學的過去,鼓勵雙胞胎女兒,只要努力一定會考上理想科系。她們回我:「那是以前啦!現在努力讀書也不一定如此,申請入學已經把指考的名額都快搶光了。」
誠然,少子化讓入學申請成為大學搶學生的首要和第一管道,此所以近年來各大學都大幅提升申請入學名額,更高額備取名額到令人咋舌地步(去年交通大學材料系正取廿二、備取一七一;長庚大學醫學系正取五十六、備取二三九)。前段班的學校合格申請者均表現優異,為免遺珠之憾故高額備取。但如果大費周章,讓學生和家長準備資料、南北奔波,大學教授又要費時費力審查資料、面試,到最後讓考生幾乎統統有獎,只是產生「進入先後」名單,是否是社會資源的變相浪費?
多元入學管道確實讓學生多了繁星、申請入學、指考等不同的升學方式,但這也造成學生入學素質不一,前此也有國立大學因為學測入學學生數學能力與念完高三之指考入學學生有差,另開加強班之情事;今年台灣大學醫學系也有第二階段筆試,不啻是否認學測的篩選功能。又如果通過學測申請到大學入學之學生,不需要有高三下的學習就能勝任,那教育部何不直接縮短高中就學時間?
身為家長也是大學老師,深切體會不是每一個學生都有優渥家庭背景,可以打造出適合入學申請的亮麗書面審查資料;當國立大學學生大都來自社經地位較高家庭(二○一六年研究資料,台大將近一半的學生是來自台北市、新北市,其中大安區又占最多數有六點八九%),現在的大學入學方式已經讓台灣未來的階級分立只會更加明顯,而不會模糊消弭。
面對少子化,大學競相爭取先有學生、落袋為安,申請入學幾乎成為主流,再加上這兩年出現之出題辨識度問題,主事者若不能先有通盤和長遠性改革和規畫,台灣動盪不安不會是因為政治因素,而是教育的星星之火開始燎原,貧富更不均、階級更對立。
「我的未來不是他辭職可以補救!」但台灣年輕人的未來,則是要靠主事者來創造和挽救。
材料系面試問題 在 國立清華大學National Tsing Hua University Facebook 的最讚貼文
愛,馬不停蹄 清華國際志工團再出發
國立清華大學於2007年率各大專院校之先,成立國際志工團隊,今年4個清華國際志工團共約50人將分別前往肯亞、坦尚尼亞、馬來西亞和貝里斯。
在非洲肯亞的初等教育學校裡,平均250名學生只能共用1台電腦,儘管政府大力推動資訊與通信科技教育,卻因貧富差距與區域差異,使偏鄉學校仍缺乏資訊資源。今年有11位志工飛往肯亞,為當地學生建立電腦教室。
肯亞團長,材料系大二的彭偉皓曾在學長姐拍攝的影片中,看到肯亞孩子以Swahili語(肯亞官方語言之一)哼唱臺灣歌手張懸作品「寶貝」因而深受感動,促使他加入國際志工團。他說,不同於其他學校的國際志工團,清華國際志工團從企劃、活動經費、公益募款、機票等全部都必須靠學生自己的力量來處理,許多團員為了社會服務同時拓展視野,努力打工以及爭取獎學金,最終能夠成行大家都很興奮。
4團之中擁有最長出團歷史的是坦尚尼亞團,今年是第九年。最初由學生直接以人力扛著20台電腦到當地,今年則以海運送160台電腦到坦尚尼亞,並將與清華的姊妹校瑪麗安大學 (Marian University) 合辦營隊。每一年出團的成員都會回訪先前曾服務的據點,確認先前的服務是否確實造成影響,另一方面,他們細心觀察探索其他的問題與需求,做成子計畫,讓他們的志工服務更能確實滿足當地的需要。
去年的坦尚尼亞團員,服務科學所學生宋易豪舉例,他們曾發現有個地方連像樣的教室都沒有,也沒有電,更遑論安裝電腦上課,於是他們募課桌椅,建置太陽能系統,將教室配置好才能進一步推動資訊教育。
馬來西亞志工團今年是第五度前往霹靂州實兆遠進行為期一個月的社區營造及文史典藏服務。一個月的文史服務能帶來什麼影響?化工系大二的呂紹安說,文字的力量在於能夠突破時間及空間的限制,讓不同時空的人們都能夠看到屬於這個時間的實兆遠的點滴故事。
馬來西亞團的另一個工作是協助當地華人認識自身文化歷史,聽來有些弔詭,為何是遠從臺灣來的學生來協助當地人認識自身文化?團長,化工系大二的林國軒解釋,馬來西亞主要由馬來人、華人、印度人組成,以馬來人最多,因此當地的歷史是以馬來人的角度書寫,所以保存當地華人文化是他們的目標。
去年馬來西亞團在志工服務之外同時拍攝了三支紀錄片,今年的目標是拍攝五支紀錄片,以影像為媒介將現今的馬來西亞華人社區保存下來。
除了遠赴非洲及東南亞的團隊,還有前往中美洲的貝里斯團,在提供當地偏鄉孩童基礎電腦課程之外,他們更為當地貧困孩子籌募獎學金。去年參加貝里斯團的生命科學系大三林慧綺說,他們獎學金是分期支付學生高中學費,讓他安心讀完高中,去年募到4份獎學金並約有30人來爭取。審查過程包含書審、面試及家訪。團員從未想過的是,決定將獎學金發給誰竟然非常困難,因為他們發現,這份獎學金很可能影響到這些貧困孩子的一生,然而獎學金有限,決選過程益發艱難。
今年貝里斯團繼續籌募獎學金,但目前僅募到兩份,團長,生科系大四黃健倫說,他們會繼續努力直到出發前。
https://www.youtube.com/watch?v=-iQpEE21vhk&feature=youtu.be