關於AI面試的假神準
.
我們實驗室透過產學合作與鳯凰互動以及震旦雲合力開發的AI面試系統,最近在工商/經濟/數位時代/天下雜誌Cheers/經理人/能力雜誌等媒體陸續報導,當然就開始引起許多質疑的聲音,這幾乎是所有產品創新與實驗都會面臨的挑戰。其中有一點,就是我們的AI面試模型,是否有"過度擬合"的問題,而造成"假神準"。我的答案是,”不排除這個可能性”。
.
所謂過度擬合 (Overfitting),簡單說就是在機器學習或統計相關的過程中,把原本不相關的兩件事在大量數據中,建立出假性相關的結果,當我們把這個訓練好的預測模型用到下一批不同數據中,就會失準。例如,我們想預測什麼樣的學生適合當HR,找了一批當HR的履歷來分析並訓練AI模型,結果這批HR大多都來自北部,就會得到住在北部的學生比較適合當HR的假相關。
.
要降低過度擬合的可能,在技術上有一些方式,例如進行更多不同樣本的交叉驗證、去掉不相關的特徵值(例如: 來自北中南東)、在模型訓練過程中進行批歸一化 (Batch Normalization)與正則化(Dropout)。但以上都是只是表面的技術層次,更重要的是模型背後有沒有理論基礎,也就是變項與變項之間的關係詮釋。
.
表情除了反應情緒,可否反應一個人在特定情境下的行為傾向或社交印象,背後有透鏡模型(Lens Model)、 信號理論(Signaling Theory)的支持,結合電腦視覺與深度學習,形成另一支性格運算(Personality Computing)的跨域理論。筆者之前也發文分享,現代社會心理學家,已發現表情其實不盡然反應情緒,而是行為傾向或社交技巧,這背後的理論叫行為生態論 (Behavioral ecology view of facial displays, BECV)。缺乏理論的數據分析或機器學習的結果,有可能會誤導真實性。但缺乏實證數據的理論,終究只是個假設。理論與實證數據缺一不可,我們才能有較高的信心來”參考”這些數據結果與理論。
.
過去研究人類表情的大宗師是心理學教授Paul Ekman,他結合電腦視覺技術,捕捉人類肉眼難以察覺的微表情 - 學術界定義是五分之一秒以下,突然呈現的面部肌肉變化。早期是用臉部68個移動點(不含額頭),現在有些學者會抓到86點到120個點以上不定(含額頭),而這些微表情大都是由人類下意識情緒所觸動,最常被用來測謊,因為微表情反應當事人”可能”在說謊的情緒,且不易被當事人控制或破解。但這終究是間接的關係,就跟心跳測謊儀一樣,它測出來的是緊張,而緊張不一定等於說謊。即便如此,運用電腦視覺的AI,推估一個人是否在說謊的正確”機率”,雖然不是絕對答案,但仍比人類肉眼判斷還高。這解釋縱然Paul Ekman的基本情緒論一直備受挑戰,在學界也仍無共識,但這類技術仍被廣泛應用的原因。
.
屆至今日,我們都相信眼見為憑,也相信面試除了透過結構式面談問出應徵者過去的行為外,也能在過程中,讓面試官根據回答之外的非口語信息”判斷”一個人的性格或溝通技巧,起碼可以篩選掉一些”看起來”或”感覺”怪怪的人。但你問面試官,他們也說不出個所以然。重點是,許多相關研究發現,這類面談答案以外的弦外之音,常常被人類面試官誤判。倘若有一個工具,它的性格/溝通技巧是經過當事人自己、主管、同事、下屬、甚至客戶,以科學檢驗過的量表或工具在適當的實驗環境下進行測評,運用AI發現與當事人在真實面試中的微表情出現某種相關性,且這個模型再去測試另一批不同的應徵者也能得到不錯的預測結果,或者同一個人經過一段時間再進行一次測試,也能得到相似的結果。我們也只能說,這只是一種一致性與且正確機率較高的測評參考工具,在深度學習黑盒子下,也沒有辦法解釋什麼樣的微表情會有什麼的性格或行為傾向,這個技術仍在發展中,不代表真實答案。
.
那什麼是真實答案? 或許連當事人自己都不一定知道。 但運用在人力甄選中,雇主可能更在意的是當事人在職場環境中展現出的行為以及利害關係人對當事人的評價,至於當事人內心世界在想什麼? 或真實的他/她是什麼樣的人?使用者大多不是太在意!
.
https://www.ithome.com.tw/news/143000
.
AI面試是一個仍在發展中的技術,除了微表情,接下來我們會結合聲律、音質、上半身肢體動作,研究與測試這個測評工具對於性格、印象管理(包括自我包裝/欺騙/隱瞞)的信效度,以及應徵者在不同AI面試介面下的不同行為反應。關於我們的相關研究,除了專利技術外,都公開發表在SCI的期刊中,歡迎大家指教,讓這個工具可以更客觀更準確地被大眾使用:
.
https://doi.org/10.1007/s11554-021-01071-5
https://doi.org/10.1186/s13673-020-0208-3
https://doi.org/10.1109/ACCESS.2019.2902863
找教授面談問題 在 IC 之音 FM97.5 Facebook 的最佳貼文
初六開始上班,想必今天是許多上班族的夢魘。但也有些人正蓄勢待發準備換工作!過完春節,新的一年轉換跑道找新工作;或是與主管談升職、加薪等等,這時候都是一個很好的時機。
但要應徵工作面試、開會提案報告的時候,有什麼不同的談話技巧呢?聽眾是一個人、或是一群人,表達的方式又該有哪些注意的地方呢?劉必榮教授提到說話的節奏要配合對方很重要!對方問的時候要回答到重點 ; 沒問到的問題就不要講。還有更多的面談技巧在本集《談判無所不在》中,歡迎收聽!
【本節目由Porite台灣保來得贊助播出】
#IC之音 #談判無所不在 #劉必榮 #換工作 #面談 #換工作 #初六 #開工
找教授面談問題 在 自轉星球 Facebook 的最讚貼文
《放下人設,人生別急著找答案》推薦序──我那位獨特,充滿學習熱忱的大叔留學生/格林・葛斯納(紐約聖約翰大學運動管理研究所前系主任)
我與黃俊隆初識在二○一七年夏日某天。當時,他帶著學習的高度渴望,來到聖約翰大學運動管理研究所就讀。但依據我們系所的規定,他必須先完成英文精進課程、足以證明他的英文能力夠好,才能修運動管理系上的課程。
某天,當他的名字出現在我的行事曆上,附隨著我的祕書琳達標註的「想要選修運動管理課程」,我當時翻了翻白眼,心想:「又來了!」我明白為何學生都想要儘早就讀研究所課程──其實很簡單,都覺得越早開始,他們能越早畢業。
但是,如同那些多數首次旅居國外的華裔學生,在他們充份適應旅美生活之前,他們根本不該在毫無合理充份準備、英文能力不足的情況下,去面對課程帶來的痛苦掙扎。於是,我鐵了心,決定和俊隆見面時直接老實不客氣的告訴他,在進入研究所就讀之前,至少要先念完一學期的英文課程。
後來,我們進行了一場非常正面、讓我也獲益良多的討論。我依據標準官方的說詞,告訴他我們系上的規定。不過,他所展現的某些特質,促使我開始思考:也許,我應該打破慣例,做出我鮮少會做的決定,也就是:給他一個機會。
其實他的英文表達能力還可以,而且似乎很常用「中英辭典」。聽他娓娓道來,我察覺到他不同於其他我所認識的華裔留學生,他渴望學習的態度也和許多美國學生不一樣。面談過程中,他多次打斷我,要我解釋我所說的字──什麼意思、該如何運用等等。然後,盡職地在他隨身攜帶的本子上做筆記(當然是用中文)。
每一年來到聖約翰大學就讀的華裔留學生,沒有上百個,也有數十個。但我很少見過有接近四十歲的(更別說年過四十),亦鮮少有華裔留學生會主動來找我,試圖說服我讓他們提早進入系所就讀。俊隆似乎對於我的論點,事先準備好了他的答案,也就是──他的熱情。他在一個陌生的國度,和一個幾分鐘前才認識的人面前說話,卻帶著一定程度的自信與成熟──許多此刻坐在我辦公室的研究生都缺乏的特質。
最終,我決定允許他選修秋季學期的「運動管理入門」課。我盡我所能地勸告他可能得面臨的問題:有許多報告得寫、要上台做許多提案,相較於本國同學,對英文非母語的學生來說會處於很不利的情況。但這些對他而言似乎都無關緊要──他將會堅持下去,並且成功,沒有任何事可以阻止他。
毫無懸念地,他在那堂課拿到了A的成績。該堂課教授是大衛・海倫,在台灣待過多年,他是我們系上最嚴厲的教授之一。我不僅確信海倫教授不可能為俊隆放水,同時深信只要俊隆和海倫教授一起學習夠久、夠努力,一定對他的英文寫作與會話進步有很大幫助,也只有海倫教授能夠以他的方式,提供俊隆需要增強的自信。
在二○一九年五月畢業前,俊隆拿到了3.92的平均成績(滿分為四分),僅僅只有兩科拿到A-,其餘全A(93分以上)。 我當時根本不知道,他會是一位有足夠能力應付我們系所課程,同時還能成為班上畢業成績最佳的學生之一。
當俊隆邀請我為他的書寫序,作為答謝我當時對他的支持時,我感到非常榮幸。不過,教授所能夠做的也僅如此──學生們自己必須有想要成功的決心與企圖。我只是提供一點指引、鼓勵之類微不足道的事,協助他們完成碩士學位。
俊隆是個非常獨特的人,他的書,證明了他的不凡。