尋常的周五傍晚,台積電新竹一座晶圓廠內,設備安裝人員正趕著要在下班前完成一臺新機臺的安裝。儘管晶圓廠幾乎全年天天24小時日夜趕工,但周末上線新系統是慣例,可以盡量降低對周間營運的影響風險,也比較不會直接衝擊股市。這不是台積工程團隊第一次安裝新機臺,早就制訂了一套標準的安裝作業SOP,甚至在各地廠區已經按SOP安裝過數萬臺新機臺。
台積電是全球半導體代工龍頭,今年光是上半年營收就高達4,813億多元,單季平均2,400多億元,原本預估第三季營收還會再持續提高,達到2,600億元之高。尤其7奈米先進製程晶圓廠正快馬加鞭趕工中,為的就是生產蘋果今年主力產品新款iPhone的核心零件A12處理器。
但是,沒人想得到,8月3日傍晚這一次新機臺的安裝卻出狀況,安裝人員一個小動作的疏忽,竟然造成了台積電全臺產線大當機,營收損失預估更是高達52億元天價,創下臺灣有史以來損失金額最高的資安事件,遠遠超過去年遭駭盜轉18億元的遠銀事件,全球媒體和分析師們,更擔心大當機延遲了新款iPhone的出貨時程而高度關注。
一篇BBS文章,披露台積產線大當機事件
台積電大當機事件最早曝光是在8月4日凌晨,臺灣最大BBS社群「有沒有台積電大當機的八卦」的貼文引起了眾人關注,不少台積網友留言,回報各地廠區產線當機情況,也有網友反應,3日晚上台積還突然關閉了門禁系統,禁止人員離開晶圓廠,為得就是要徹底大清查。
這篇貼文討論越演越烈,甚至蔓延到其他更多討論區,如Tech_Job版也開始揭露更多晶圓廠中毒當機消息,也有人留言台積電緊急召回數百人回廠搶修。
台積電中毒事故很快引起媒體關注,電視臺更是以跑馬燈新聞披露,引起更多網友紛紛揭露自己看到的情況,包括台積電位於竹科的晶圓12廠、中科的晶圓15場以及南科的14廠,都傳出產線當機事件,等於是台積電全臺主要晶圓廠都淪陷,關鍵的7奈米製程產線更是首當其衝發生事故。
到了早上,不只臺灣媒體紛紛報導台積電產線中毒大當機事件,連國外媒體也開始關注,外媒尤其擔心,蘋果秋季最重要的新款iPhone出貨時程,會不會因此而受影響,台積電晶圓廠的事故,不只影響台積電而已,甚至可能衝擊到近來登上全球第一家兆元企業的蘋果,年度最重要的新產品布局,也會影響全球iOS生態系市場局勢。
台積電過去向來是資安模範生,層層管制、嚴格把關的種種資安措施更為人津津樂道,甚至視為業界最高標準之一,不只任何一支USB都不能入廠,就連全球科技大廠執行長來臺參觀台積電廠房時,都得在門口櫃臺繳出手機,筆電貼上封條,沒有例外。如此嚴密防護的台積電,竟然也會中毒,甚至是全臺廠房都出事!這個消息震驚了各界。病毒如何進入感染,也成了各界熱議的話題,USB感染或外部駭客攻擊是外界推測出事的兩種可能原因。
8月4日凌晨,披露了台積電產線大當機的消息,不少網友也留言回報多起產線當機事件,快速引起媒體高度關注,甚至成了國際新聞。
台積電隔日證實,當機事件源於機臺中毒,而非駭客入侵
8月4日中午,台積電首度出面回應,證實了機臺中毒的消息,但否認是外部駭客入侵。稍晚,約3點半前後,台積資深副總經理暨財務長何麗梅也具名在公開觀測站網站上正式發布重大訊息公告,證實8月3日傍晚部分機臺遭受病毒感染,而非外傳的駭客攻擊,也透露,台積電已經控制病毒的感染範圍,並且找到了解決中毒問題的方案,開始修復機臺,讓受影響的機臺恢復生產。在8月4日已有部分工程恢復正常,台積並預告其餘工廠將在一天內恢復正常。
但是,儘管台積電很快地證實了中毒消息,但沒有進一步說明病毒入侵方式,以及實際受病毒感染的影響範圍,尤其是否如網友披露的災情遍及北、中、南各地晶圓廠。這個短短不到120字的公告說明,仍舊引發了各界更多疑慮和討論,尤其新款iPhone處理器出貨的7奈米製程產線是否受創,這次事件對台積電又會造成多大的影響,依然狀況不明。
事件發生第三天,8月5日,雖然是星期日,但台積產線中毒事件的討論越演越烈。到了下午3點前後,這是台積電第一次公告所預告的24小時復原期限,台積電還沒出面說明,僅透露傍晚會以新聞稿說明。直到4點46分,台積財務長再次於公開觀測站上發布第二次公告,這次公告揭露的就是眾人最好奇的其中一項資訊,病毒感染事件的影響。
台積電在公告中,進一步揭露病毒影響範圍以臺灣廠區為主,各廠影響程度不一,從8月3日傍晚中毒事件發生後,到8月5日下午2點為止,受影響的機臺已經有80%恢復正常,也就是在原訂預告的24小時復原承諾期限,只復原了8成,其餘2成,還要等到8月6日才能恢復正常運作。
初次預估營收衝擊將高達78億元
這次病毒事件也造成台積晶圓出貨延遲,以及相關成本的增加。台積預估會對第三季的營收影響約3%,對毛利率的影響也有1%。換句話說,以台積先前公布的第三季營收預估約2,600億元,這次罕見的產線中毒事件,將會造成台積電第三季營收短少約78億元之多,打破了臺灣歷年資安事件影響金額的紀錄。
產線中斷最大的影響是出貨延遲,台積預估可以延後到第四季時全數補回。但因延遲交貨也會拖累到顧客產品時程,台積電透露已經向顧客說明,重新協商晶圓交貨時程,並承諾會在未來幾天向顧客說明細節。
另外對於中毒原因,台積也首度坦承是人為操作疏忽,因為新機臺安裝軟體過程沒有按照SOP而釀災,再加上新機臺連上公司內部電腦網路而導致病毒擴散。台積在中毒後也同步清查內部資料的完整性和機密資料,所幸,這部分都沒有受到影響,沒有遺失或損失這些資料。
一個疏失,造成78億元的鉅額損失和延遲交貨,成了新話題。為何會造成這麼大的損失?台積電沒有細講,但也更證實了多數廠房和產線受創停工的消息。另一個引起IT圈討論的是,為何病毒可以跨地理區擴散?儘管台積還沒證實。但當時已傳出引起事故的病毒是WannaCry勒索軟體,但就算是勒索軟體,一般企業不同地理區的,多半會各自有獨立的內部網路,彼此透過防火牆隔離控管。但是台積這次中毒事件,在短短一個晚上,就快速蔓延到三地,再加上新聞稿提及,病毒透過「內部電腦網路」感染到其他廠區。這個速度和滲透「內部電腦網路」的威力,更讓人驚訝,也很像是有人操控層層破解多道防護來入侵的APT手法。第二次公告,儘管讓外界對中毒事件的影響,有了初步瞭解,但因影響金額的巨大,再加上對於向來以資安嚴密著稱的台積電,內網防護如此容易瓦解,而讓外界依舊費解。再加上,8月6日是事件發生後的第一個股市交易日,鉅額損失和後續修復情況未明,這個事件依舊引起更多傳聞和揣測。
依照政府規定,若企業重大事件影響超過3億元或股價20%,除了發布公告外,還得出面召開說明。證券交易所原本在事件發生第二天也只是要求,台積電要發布公告說明,也引起部分人推測,損失金額可能沒有達到3億元,因此沒有召開重大訊息說明會的必要。
但在星期天的預估影響金額一曝光,果不其然,星期一股市一開盤,台積電股價就下滑,儘管最終跌幅不到1%,但證券交易所也要求台積電必須召開公開說明會,公開回應外界的提問,來消弭各種傳聞後續可能引起的股市動盪。
總裁帶頭親上火線,召開公開說明會釋疑
台積電也在8月6日在臺灣證券交易所召開重大訊息說明記者會,來解釋事件經過和最新處理狀態,由台積電總裁魏哲家親自上陣說明,連同多位高層主管列席,包括:資深副總經理暨財務長杜麗梅、企業訊息處資深處長孫又文,資訊技術資深處長陳文耀(IT主管),以及負責這次資安事件處理的技術系統整合處處長吳俊宏。
魏哲家在說明會一開場說明,所有狀況已經在8月6日下午全部排除,台積電所有產線百分之百全速上線生產的狀態,並且強調公司主要的電腦系統,包括生產製造資料庫以及客戶資料,都不受到此次病毒影響。
在這次事件當中,受影響的機臺、自動搬運系統與電腦感染的病毒,是源自於去年5月肆虐全球的勒索軟體WannaCry的一個變種,因為台積電這些設備所用的作業系統是Windows 7,儘管微軟早已提供了相應的安全修補程式,但是台積電通常得經過審慎評估,才能進行安裝,目前這些電腦都沒有安裝更新。所以,才讓病毒能夠乘虛而入的機會。
台積電晶圓廠之所以爆發大規模的病毒感染有兩個關鍵,台積電總裁魏哲家坦言,原本新機臺上線的程序,是必須先通過防毒軟體的檢測,才能連上網路,但此次的疏失是,安裝人員先將機臺連上網路,再開始進行防毒處理。但當時準備上線的這一部新機臺,本身內有病毒,在未經網路隔離及防毒系統處理的人為疏忽下,就連接到台積電的生產網路當中,再加上為了達到最佳的生產效率,該公司臺灣所有廠區的生產網路全部連結在一起,才會因為一臺病毒感染,就造成竹科、中科、南科廠區的相關設備受到大規模感染,導致如此嚴重的後果。而境外廠區,如南京晶圓廠,因台積電臺灣廠區與海外廠區之間設有防火牆,因而阻斷了病毒的境外感染,沒有影響到國外廠區。
去年5月爆發全球大流行的WannaCry病毒,短短2天內,就襲擊全球150多國,攻擊數十萬臺電腦受到攻擊,從英國、美國、德國、俄羅斯到亞洲的中國、韓國、日本、泰國、臺灣都傳出災情。
例如韓國一家連鎖電影院旗下50家間戲院都被WannaCry入侵,而日本JPCERT則統計去年當時有6百家日本企業,超過2千臺電腦遭攻擊,而中國災情更是嚴重,根據中國防毒軟體公司奇虎360統計,中國起碼有3萬個機構遭WannaCry攻擊,包含政府機構、大學、醫院及自動提款機都遭殃。臺灣至少有10所學校共59臺電腦被攻擊,臺電公司也有116臺行政電腦被攻擊,甚至有醫院的行動護理車也中標。
WannaCry之所以能快速感染全世界的關鍵是,它利用了微軟作業系統的SMBv1/SMBv2(Server Message Block)漏洞,並且採用了遭駭客組織公開的美國國安局(NSA)攻擊工具EternalBlue(永恆之藍),因而可以主動感染其他具有SMB漏洞的Windows電腦。一旦WannaCry入侵電腦後,就會開始掃描同一個網路上的其他電腦,只要發現沒有修補SMB漏洞的電腦,就以EternalBlue攻擊程式主動入侵該電腦,一旦滲透成功後,WannaCry勒索軟體就會在受害電腦自動執行,一方面將受害電腦的檔案逐一加密,另一方面則繼續入侵其他有SMB漏洞的電腦。
雖然台積電遭遇的是WannaCry變種病毒,據台積電資訊技術資深處長陳文耀補充,這款WannaCry變種病毒,沒有加密機制,而是會造成系統發生了當機或是重複開機等症狀。但是這款WannaCry變種病毒仍是一個能夠自動發動攻擊和感染的電腦蠕蟲。這也是為何,台積電新機臺一連上網路,就會造成大規模感染的關鍵。
根據臺灣賽門鐵克首席技術顧問張士龍估計,新機臺一開機完,WannaCry變種病毒就開始自動感染擴散,只要沒有阻斷445埠的通訊,幾個小時,病毒就能快速擴散到其他縣市的廠區。台積電在資安事件發生後快速向多家資安廠商尋求解決方案,賽門鐵克也是其中之一,因此,張士龍對實際狀況有更多的了解。
在復原作業上,魏哲家說,在製程較為先進的廠區當中,因為系統架構更複雜,受影響的層面較大,因而恢復的速度也越慢。所以在星期天下午復原的比例先達到80%,而到了8月6日下午,則已回到全線生產的狀況。台積電也因此啟動了緊急應變程序,加強與客戶之間的溝通。
一般處理上,WannaCry病毒只能採取系統重灌的作法,才能徹底排除隱憂。半導體公司在新機臺進駐時,多半都會先建立一份機臺系統檔案的原始映像檔,作為日後系統復原之用。而進入生產階段時的機臺,會儲存了不同訂單的生產配方資料,甚至還有根據產線特定而調校過的配方參數,企業也多半會每個月備份一次到多次,依不同公司備份習慣而定,因此,台積電只需重新安裝機臺系統,並從內部備份系統中,將原有備份的機臺生產配方和參數資料回復,多數可恢復生產。日常充分的備份工作,是遭遇WannaCry病毒攻擊時,能快速復原的關鍵。
因為中毒事件預估衝擊營收高達數十億元,台積電8月6日在臺灣證券交易所召開重大訊息說明記者會,解釋事件經過和最新處理狀態,台積電總裁魏哲家親自上陣,連同IT、資安、財務等主管對外說明。
主要衝擊是交貨延遲問題
雖然,這次大規模感染的病毒是WannaCry變種,但魏哲家強調當中並不涉及惡意軟體的綁架、駭客攻擊,也跟USB裝置中毒無關,病毒是原本就藏在新機臺中,也非安裝人員私自夾帶入廠,並非來自公司外部或內部的攻擊,純屬疏忽,同時,他也表明,公司現有資料的完整性與機密資訊的保存,均不受到影響。後續處理上,魏哲家表示,目前要優先解決的是延遲交貨問題,預計第四季全數補回,並對顧客說明事件處理細節。
一般半導體晶圓製程上,是採一層層疊加的方式來製作晶片上的電路,平均一層得花上1天,技術優良的廠可以縮短到一層0.8天,一般24奈米晶圓上需要40~50層作業,就得花上30~40天,只要製作中斷了,就得幾乎得從頭開始,這也是為何產線無預警中斷,對晶圓廠影響甚鉅的緣故,若是更複雜的7奈米先進製程,需要80~85層,就至少得花上連續不中斷的60天作業。
台積電這次造成產線大當機,最大影響不只是製作到半途的晶圓,若無法使用得報廢,而且得從頭開始製作,若是已經接近完工的晶圓,等於60天的工作一夕作廢,得重頭再來。這也是為何魏哲家強調,目前首要工作是解決延遲交貨的問題,而且得在第四季,花上一整季來想辦法補齊。
預估營收損失從78億元降低到52億元,但仍是破紀錄災損
而在損失預估上,原本8月5日公告中揭露的預估損失高達78億元,但在星期一這場公開說明會上,魏哲家表示,經過更準確的評估後,預估損失將從對第三季營收影響3%,降低到只有2%。換句話說,損失預估值將降低到52億元。而造成營收損失的原因主要來自報廢晶圓、晶圓或物料重新調度的成本,追加的原物料等。而交貨延遲的問題,魏哲家透露,目前受影響顧客不會向台積電要求賠償,只是得盡快解決。他預估,第四季可以補回所有這次事件造成的延遲交貨。
一位曾在南科擔任半導體廠長的業界資深主管透露,產線中斷的影響,得經過一定程序的檢測和判斷才能得知。產線機臺系統上會有報廢損失的預估,可以知道第一時間生產中斷可能的損失,但可能有些晶圓作業可以重來,例如晶圓正在加溫到300度的過程,但還未達300度,只需重新加溫就可繼續使用,或者正處於天車移動中的晶圓,若無限時完成下一步處理的必要,這類運輸過程的晶圓也多半可再繼續使用。經過檢測或判斷,可以知道哪些晶圓還能回收,或只需少數重工就能續用。因此,可以更精準地估算損失。
儘管損失從78億元降低到52億元,仍舊創下臺灣資安史的紀錄。魏哲家承諾,不會再讓同樣的事情發生。台積電將盡快開發新機臺安裝自動檢測機制,搭配原有的人工檢查作業,重軌並行。另外,台積電也正在開發連網防呆機制,未來新機臺安裝部署時,會導入防呆的機制,只有完成雙重檢查的設備,才由系統授權連上生產內部網路,以排除人為疏失。落實系統自動化檢查,排除所有的人為因素,這些設備若未施行任何的防範措施,就不允許其上網,並且會建立機臺之間的防火牆。長期措施上,台積電資訊技術資深處長陳文耀也表示,會持續與資安單位合作,來強化相關資安系統。而因為全臺各晶圓廠都串連在一個生產網路上,每一臺機臺Windows 7系統的更新和修補工作也成了台積電未來的重要工作之一。魏哲家表示,將尋找適當時機全面更新。
台積電全臺產線中毒大當機事件,經過4天風波,暫時告一段落,但誠如魏哲家在公開記者會中語重心長的坦白:「裝過幾萬架機臺,台積電第一次發生這種事情,我們才發現,人類不可能不犯錯。」就連全球半導體龍頭,臺灣業界的資安資安生,都會犯錯。這一個看似無害的違反SOP小疏忽,最後竟導致52億元的預估營收損失,不只對台積電而言是一次慘重的教訓,也是臺灣全部企業的一堂資安震撼教育。