Anupam Datta原為美國「電腦科學」排名第一的卡內基美隆大學電機/資訊教授,自2014年起開始關注因為訓練資料而導致AI模型產生偏差(bias)的問題;他於2015年和博士班研究生Shayak Sen共同發表了一篇關於線上廣告中存在著普遍性的「性別偏差」論文,後來發現業界缺乏能力也無意願解決關於模型偏差的問題,故兩人開始致力於AI模型「可解釋性」研究。自2018年起兩人和矽谷創投家William Uppington於加州紅木城合作創立「AI Lens」公司,2019改名為「TruEra」。
「TruEra」核心能力在企業等級AI可解釋性平台「AI.Q」,利用此平台可提供AI模型開發生命週期的完整解決方案-
開發階段進行模型品質分析(如正確性、穩定性、信賴度、公平性)及可用模型的比較及選擇
使用階段進行監測並了解模型品質及資料飄移(Drift)狀態
軟體確校及治理工作(如模型文件儲存、可稽核性、可重現性)
方便與企業內外夥伴分享及合作,也支援整合多種機器學習模型發展技術;除一般常見Scikit-Learn、TensorFlow外,也支援如DataRobot或H2O.ai等新興自動機器學習平台
本如黑盒子的AI到底在哪些情境下會需要具備「可解釋性」,一直是熱門議題;走在可解釋性技術尖端的「TruEra」對此議題見解獨到,值得國內廠商未來在發展檢測技術/工具包時參考市場商機所在。「TruEra」創辦人從實務經驗中了解,可從「社會/經濟影響後果高低」與「自動化程度/人員介入高低」兩個維度來分析各種AI應用是否需要做到「可解釋性」-
1.最先需可解釋性的是如銀行、保險、健康醫療及其他特許行業,具體應用如信用風險評估決策、保單決策等;為確保金融消費者權益不因演算法模型不公受損,或是醫療消費者因診斷模型誤判而犧牲健康,AI要能解釋輸入與輸出間的關係(如圖二中紅圈者)。另關於應聘履歷選擇、離職預測等人資應用,由於使用的資料本身就可能存在歷史偏差(如薪資性別差異),且需由人來做最終判斷,在社會方面造成影響也較高,亦是極需AI做到可解釋性的一重點領域(如圖二中綠圈者)。
2.再來需要可解釋性的是普遍採用機器學習在高經濟性賭注的應用,如資產管理、演算法交易、能源投資、藥物開發等,要說服企業的管理階層依AI模型建議進行重大經濟決策,能清楚陳述出中間的邏輯很重要(如圖二中藍圈者)。
3.第三是人類行為決策及商業流程相關者,具體應用如詐欺偵測、需求預測、線上廣告、商品促銷、行銷、潛在顧客評分等(如圖二中黑圈者);其中較少見的是如「預測性維護」這樣的製造業應用,因仍需說服維修工程人員依AI模型建議來執行,故「可解釋性」在此情境也很重要。
4.廣泛來說在任何「人」、「機」兩者須配合,但會因「人」質疑「機」而影響協作績效者,都必須要靠「可解釋性」來說服「人」。譬如可長期打敗大盤表現的理財機器人(Robo-Advisor),即使有歷史上的常勝紀錄,在無法解釋輸入與輸出間關係的狀況下,很難說服一般自然人投資戶依其建議進行各種投資決策,不論投資金額大小。又例如在智慧製造想進行特定製程最佳化時,在重要特徵選擇方面,模型判定結果可能難說服具多年經驗的製程工程人員;再加上若此製程成本較高,則能否提出「可解釋性」此時便扮演著應用能否落地的關鍵角色。
「AI可解釋性」簡單來說即針對模型或使用對象說明中間推導的邏輯因果,目前尚處在應用早期;以本文提到的新創「TruEra」為例,至少有Quantitative Input Influence與Influence-Directed Explanations兩種發展不久的核心技術。在國家層級,我們也見到大國如美國從早期DARPA計畫中,慢慢規劃出國家層級的策略。未來全球各國對「可解釋性」的市場需求與技術發展,可視為追隨AI應用的快速成長獨立市場,也必會看到更多新創出現在此。
圖/網路照片
2022/01/07 16:44:45
AIdea 人工智慧共創平台