北極星指標設計:讓商業直覺與機器學習雙劍合璧 — LinkedIn 的資料科學案例

by 好豪

想要驅動產品成長,你的數據指標必須好解釋、並且能引導下一步行動

現在這個大數據時代,人人都期望 Data-Driven — 用數據驅動企業成長,數據驅動決策的基本前提是看「正確」的數據—明確衡量產品價值、又能引導行動。該怎麼找到正確的數據與用法呢?這是本篇案例要分享的議題。

企業不斷尋求能夠引導產品決策和推動成長的「北極星指標」,它就像是指引方向的燈塔,為團隊指明通往成功的道路。然而,僅僅依靠商業直覺來找北極星可能反而害你誤入歧途,而太過依賴機器學習看數據、也會被複雜模型給迷惑,我們不該只偏袒某一方,這篇業界案例選擇「我全都要!」,LinkedIn 資料科學團隊的「Data + Intuition」論文介紹了一種有效設計北極星指標的分析框架,能結合機器學習和商業直覺來找出「正確數據」。

LinkedIn 的 Data + Intuition 分析框架大大改進了 LinkedIn「技能肯定」功能的使用者體驗,讓用戶滿意度在短短半年間直線提升了 5%!看完這則資料科學筆記你就會知道好的分析框架可以如何帶來高效決策,以下文章將為你白話介紹 LinkedIn 論文中的 Data + Intuition 數據分析框架,內容包括:

  • 複習什麼是北極星指標、衡量與開發指標會遇到的挑戰
  • 詳細講解 Data + Intuition 分析方法論
  • 新指標如何驅動產品進步
  • 使用此框架的潛在風險
經由數據導向決策,使五星好評快速上升的「技能肯定」功能
(製圖:好豪;圖片來源:Ken Moss 的 LinkedIn 頁面;圖表引用:Data + Intuition 論文

這篇文章不會有統計公式,更強調數據專業如何與團隊中各領域專家的知識溝通整合,所以我認為這篇論文適合任何需要數據導向決策的人閱讀,學習 LinkedIn 如何結合機器學習加上產品專家的經驗,成功重新定義北極星指標,促使產品策略往用戶在乎的高品質前進。

註記:

  • 雖然本篇文章有點長,但筆者並不建議跳著閱讀,我相信了解商業問題的脈絡跟知道其解決方案同等重要,因此建議從頭開始閱讀
  • LinkedIn 是屬於專業人士的社群平台,中文名稱為領英,若你沒有使用過,可以姑且想成 104 求職網與 CakeResume 履歷平台的綜合版
  • 本文源自於筆者在《Data + Intuition: A Hybrid Approach to Developing Product North Star Metrics》這篇論文所學,以下寫到的「Data + Intuition」關鍵字,指的都是此論文

什麼是北極星指標

北極星指標(North Star Metric)是對商業行為或系統的度量(Metric)
這項度量需要可量化、並且要能反映出顧客體驗或滿意程度。

北極星指標是代表企業或產品整體成功的關鍵指標,選擇正確的北極星指標將可以引導產品團隊朝著商業目標努力。舉例而言,音樂串流軟體 Spotify 或 Apple Music 可能會以使用者的「總聆聽時間」當作北極星。

雖然我們也常用 KPI 來衡量企業的成功,例如營收,但 KPI 只是結果、無法提示團隊改進的過程。我們希望可以賺更多錢,但只死盯著營收 KPI 數字下滑,看不出來該怎麼做;相較之下,如果 Spotify 把總聆聽時間當作北極星,產品設計者可以以此指標為源頭發想:「總聆聽時間不夠高的話,我們就嘗試增加用戶每天打開 APP 聽歌的次數,為手機設計新歌通知的提醒功能或許是個可行方案」。北極星指標不只衡量成功,還能引導出下一步行動方案。

(更詳細的北極星指標思考框架、以及企業成功案例,請參考筆者好豪的文章:把「賺錢」從口號化為行動的北極星指標

LinkedIn 的「技能肯定」以及它的北極星

本文的 LinkedIn 案例專注探討「技能肯定」(Endorsements)功能,還有如何設計北極星指標來衡量高品質的技能肯定。你在 LinkedIn 網站可以呈現出自己的線上履歷,履歷中其中一個欄位讓你填寫你擁有的技能。履歷內容完全是自由填寫、大多沒有經過驗證,筆者甚至可以隨意寫上我擅長書法(這絕對不是真的)。為了讓技能更有價值,而有了 LinkedIn 的技能肯定功能:使用者可以「肯定」其他人的技能,如果你的技能受到他人肯定,線上履歷的技能欄位就會反映出受到肯定的次數、以及是誰肯定。

有人背書與認可、大家就更能夠相信你擁有這項技能。以下圖為例,Ken 自稱擁有「Big Data」技能,而此技能的確受到 10 位 eBay 工作過的同事肯定,是科技業專家都認可的大數據技能,夠可信了吧!

技能肯定 Endorsements 功能截圖
(圖片來源:Ken Moss 的 LinkedIn 頁面

實際操作技能肯定的時候,只要按個按鈕就能完成肯定,因此這些肯定存在可信度問題。想像一下,路人小明希望自己的線上履歷亮麗,因此隨意找了 12 個日文課認識的同學,請他們每個人都按個按鈕認可小明的寫程式技能,把技能的肯定數字浮濫地衝高(即使他們不了解小明的真實寫程式能力);又或者,小明去其他領英上的線上履歷到處亂給技能肯定,期待對方看到後也會來回報給自己按肯定。總之,技能肯定可能亂給,不是每個給出的技能肯定都一樣有價值。

因為這項可信度問題,LinkedIn 團隊的目標是為此功能設計出可以衡量使用者對肯定信任程度的北極星指標,技能肯定不是數量越多越好,每個肯定的品質也非常重要,原文將技能肯定功能的北極星指標稱為「高品質肯定」(Quality Endorsements)。

LinkedIn 選擇使用 APP 內部問卷調查來計算這項北極星指標,調查方式是在有人給出技能肯定時,詢問收到肯定的使用者以下兩個問題:

  1. 給你肯定的這位 LinkedIn 會員,有多熟悉你的這項技能?(1~5 分)
    • 如果對方不熟我的技能,那他就算給我肯定也不會可信
  2. 這位 LinkedIn 會員給你的肯定,對你提升這項技能的名聲有幫助嗎?(1~5 分)
    • 很現實地,一位 OpenAI 資料科學家跟一位來自某個十人團隊新創公司的數據分析師,兩者給出的技能肯定份量並不會相同

這個北極星為何是好指標?問卷衡量是好方法嗎?以下接著探討。


設計北極星指標會遇到的困境

這個小節將探討兩個關鍵提問:

  • 為什麼 LinkedIn 選擇衡量高品質當作北極星?
  • 在 APP 內部用問卷來算出此指標是長久可行的方法嗎?

以下將列出設計北極星指標過程會遇到的多項困境,理解這些非常貼近實務的問題,就能理解 LinkedIn 提出 Data + Intuition 論文絕不只是紙上談兵。

計數指標:好算,但是多不代表好!

有很多產品在發想北極星指標時,會直接使用計數指標。

計數指標 (Count metrics) 衡量的是原始數量,例如使用者執行動作的次數或網站獲得的流量。(相傳)Facebook 臉書是以每月活躍用戶(MAU)為北極星指標,MAU 這種單純數人頭的計數指標很好計算,有很多人只以容易追蹤為理由就把 DAU 或 MAU 當成產品核心目標。然而,僅僅是原始活動計數或人數,不一定能轉化為使用者體驗的品質或商業目標。我們登入 Facebook 後,MAU 會增加,但不代表我們登入後有在 Facebook APP 達到我們期望的社交功能。

LinkedIn 的技能肯定功能亦然,就如同上個小節所述,產品團隊跟使用者都漸漸發現,技能肯定的數量不是單純的「越多越好」,並不能直接把技能肯定的總使用次數當作北極星指標,而需要發想跟使用者體驗商業目標都能連結的指標。因此團隊想出,必須以高品質為北極星。

「直接」衡量北極星指標,絲毫不簡單

「想」出好指標只是其中一步,如何衡量與計算會是下一個挑戰。

LinkedIn 的產品團隊經過討論,認為北極星指標必須反映技能肯定功能可信有幫助之後,考慮了幾種衡量方法:

  • 分析技能肯定是否讓各公司人才招募人員對該求職者更有興趣?
    • 雖然這可以用 Log 資料探勘,然而技能肯定只是招募考量的其中一小部分,難以獨立看出該功能影響力
  • 分析收到技能肯定的會員,後續是持續公開該技能?還是隱藏?
    • 實際上隱藏技能肯定的會員太少,不適合用來衡量
  • 焦點團體(Focus Group):找一群技能肯定的用戶來訪談他們的使用經驗
    • 此方法適合建立商業直覺,但容易陷入 選擇偏誤

經過這些考量後,LinkedIn 最後採用的是 APP 內部問卷調查,如同上個小節介紹的,簡短問卷包含可信度與對名聲是否有幫助的兩個問題,按兩個按鈕就能完成。

LinkedIn 在原文中提到:問卷調查是最直接衡量「高品質肯定」北極星指標的方式,收到 APP 內問卷的使用者就是收到技能肯定的當事人,他們當然最了解給予肯定的對方是什麼背景、以及對方為什麼會給予肯定,更重要的是,收到肯定的用戶自己知道這項技能肯定會對瀏覽自己履歷的其他人帶來什麼觀感,這正是「高品質肯定」想衡量的第一手資料!

APP 內部問卷,按兩下按鈕就能完成
(圖片來源:Data + Intuition 論文

APP 內部問卷衡量出的北極星指標很理想,問題是成本很高!要求填問卷終究是會降低使用者體驗,要是每個用戶都發問卷,大概會引發民怨。團隊也需要長期且即時地追蹤北極星指標,天天發這種問卷回饋請求,更會煩死使用者。

因此,LinkedIn 解決此成本問題的方案是開發 代理指標(Proxy Metric),意思是與核心指標高度相關、但取得成本相對較低的指標。Data + Intuition 框架的核心想法正是用機器學習結合領域知識來找出與北極星指標高度相關的代理指標,代理指標必須符合:

  1. 證明出與「高品質肯定」北極星指標高度相關
  2. 好解釋,能夠引導下一步行動

文章至此,我們稍微摘要:技能肯定的目標是高品質,以 APP 內部問卷衡量北極星指標能夠精準、但不是長期可行,因此需要開發代理指標來替代問卷調查,並且代理指標必須跟北極星指標一樣準確、有效。

那麼,代理指標該怎麼開發呢?

只靠商業直覺,指標不夠全面

我們來換位思考,想像上述問卷的第二題:什麼樣的人給我技能肯定,會讓我覺得幫助超大、毫不猶豫地給問卷第二題 5 星滿分?

我來猜,如果是來自大公司的主管級人物給我技能肯定,會是超強力背書 (˚∀˚)

照這個邏輯,「高品質肯定」的代理指標會是「大公司主管的肯定數量」,使用者收到越多大公司主管的認可,會覺得技能肯定更可信、有幫助,資料儀表板將持續監測此代理指標、替代原本用問卷才能衡量的北極星指標。這就是單純用商業直覺開發代理指標的流程。

《快思慢想》提到:直覺是過去經驗累積的結晶,商業直覺—或者稱為產品設計經驗、領域知識、商業嗅覺、生意頭腦—來自公司團隊各界好手的成功經歷。透過商業直覺來開發代理指標,具有速度快成本低的優勢,老江湖們憑著對目標客戶與產品市場的理解,可以快速列出一系列可能影響產品成功的因素;專家的商業直覺也可以幫助我們跳脫現有數據的限制,從不同的角度看待問題。

但是,「只」靠商業直覺來開發代理指標具有不夠全面的缺點。首先,商業直覺是主觀的,容易受到個人經驗與偏見影響,例如不同的產品經理可能會有不同的直覺,每個人會想出很不同的代理指標、無法達成共識;直覺也不可能面面俱到,可能存在用戶非常重視的使用體驗、卻沒被專家注意到的。

(註:原文用詞是 Product Intuition,中文直翻是產品直覺,這則筆記基於我的個人偏好寫成商業直覺 😛 )

全靠機器學習,指標沒人能懂

在業界打滾過的資料科學家,多少都耳聞過這樣的代理指標框架:

  1. 團隊想改進核心指標 Y
  2. 發想出變數 X1、X2、X3、…、X100 等等潛在代理指標
  3. 透過機器模型,用 X1 ~ X100 預測 Y
  4. 第 3 步證明出 X 與 Y 高度相關,表示只要想出方案提高 X1 ~ X100,就能提升核心指標 Y 了

即使乍看之下這個框架十分合理,先撇除證明 因果關係 的問題,像這樣僅僅依靠機器學習模型開發指標可能難以理解,並且難以據此採取行動

儘管機器學習模型可以準確且靈敏地辨識其他指標與北極星指標之間的關聯性,但它們通常是難以理解的「黑盒子」。例如,在隨機森林或是 XGBoost 這種 集成學習 的決策樹中,模型內部每次分類都基於數百個決策樹的輸出,不可能解釋為什麼某個指標比另一個更好。

由於黑盒子般的複雜性,沒辦法用「只基於機器學習模型」開發出的代理指標來提出能夠引導行動的產品決策,畢竟,數據連說都說不清的話,當然不知道下一步該做什麼啊!產品團隊需要清楚了解指標的運作機制,以便找出改進產品的方法;如果指標不直觀且難以解釋,產品團隊將難以根據指標的結果採取有意義的行動。

我們需要開發代理指標來取代高成本問卷調查,只靠商業直覺來想代理指標不夠精確與全面,機器學習精準但複雜的模型對發想新方案沒幫助,LinkedIn 的框架因此應運而生:用商業直覺加上機器學習開發代理指標,雙方的優點我全都要

(圖片來源:梗圖倉庫

Data + Intuition 數據分析框架介紹

LinkedIn 的 Data + Intuition 指標定義框架(Metric Definition Framework)提供了一種系統性的方法,透過結合機器學習和商業直覺,為產品開發出有效的北極星指標。包含五大步驟:

  1. 蒐集真實北極星的標記資料
  2. 尋找潛在與北極星有關聯的特徵
  3. 機器學習辨識最重要特徵
  4. 根據最重要特徵提出 2 ~ 3 個準確且直觀的指標
  5. 商業直覺選出最終北極星指標定義

1. 蒐集真實北極星的標記資料

第一步是要蒐集資料來衡量最「真實」的北極星指標,此步驟需要蒐集標記資料
(Labeled data,是為應變數 Y)以訓練機器學習模型。標記資料可以來自行為紀錄 Log、問卷調查、群眾外包、或質性用戶研究等等,如何選擇最能代表北極星的數據源取決於產品的具體情況。

本案例的具體情況已在前面的困境小節提過,經過種種考量,LinkedIn 認為 APP 內部問卷調查取得的,是最佳的「高品質肯定」標記資料來源。即使成本很高,還是要為了開發代理指標進行一部分調查,LinkedIn 團隊在此案例只隨機抽樣少數用戶,發了 18 天的問卷、蒐集約 3 萬筆標記資料,盡量避免讓用戶覺得調查惱人。

理想情況下,透過這個框架開發出的代理指標若足夠有效、足以代表北極星,未來就能不斷減少這樣的高成本問卷調查。

2. 尋找潛在與北極星有關聯的特徵

與產品專家討論、集思廣益,列出所有可能與想要衡量的成功指標相關的信號,也就是尋找機器學習模型的特徵(自變數 X)。此階段的目標是盡可能廣泛,因為並非全部信號都會包含在最終的指標定義中。例如,與「高品質肯定」可能關聯的信號包括肯定者的個人資歷、肯定者與被肯定者之間的關係、以及肯定與被肯定者背景資料的相關性(是否同學校畢業等等)。

這一步是商業直覺參與的第一步,大家七嘴八舌、意見不一也沒關係,跨部門共同參與本身就已經是這個框架帶來的 好處

3. 機器學習辨識最重要特徵

第三步是 特徵選擇(Feature Selection)。

並非所有發想出的信號都與真實北極星指標同樣高度相關、不是每個特徵都同等重要,機器學習將用來辨識信號重要程度,縮小信號的範圍、幫我們抓出重點。

此步驟是訓練機器學習模型來預測標記資料,並根據預測能力選擇最重要的信號。由於 LinkedIn 的方法論非常強調可解釋性,模型對預測能力的解讀直觀好懂也很重要,LinkedIn 選的兩個模型 GBM(Gradient Boosting Machines)與邏輯迴歸都為了提高可解釋性而刻意調整:

這個步驟反映出將商業直覺以數據輔佐的重要性,產品專家透過他們的經驗可以快速想出一大堆假設指標,但沒人知道哪個才是真正重要的、哪個是真的使用者在乎的,用數據與機器學習呈現出特徵重要性後,大家看證據說話,容易凝聚共識。

4. 根據最重要特徵提出幾個準確且直觀的候選指標

機器學習對信號的見解需要轉化為實際的北極星指標定義

原本的信號可能多達幾十個,上一步的機器學習去掉不重要特徵、減少信號的數量(但還是很多),在這一步,要找出符合商業直覺的 3 ~ 5 個特徵當作代理指標、結合成北極星,產品團隊負責考慮如何以有意義的方式「組合」最重要的信號。

上一步的機器學習模型用了全部可能的特徵,現在要為了可解釋性,只選 3 ~ 5 個特徵,模型準確度(此案例是 Precision 與 Recall)不就會下降了嗎?因此,商業直覺的意見與數據分析結果必須迭代討論,具體作法如下:

  1. 團隊成員以商業直覺,從多個最重要特徵選出 3 ~ 5 個特徵,當作北極星代理指標「組合」
  2. 以第一步遴選出的那 3 ~ 5 個特徵,組合出「規則」,並檢查 Precision 與 Recall 準確度
    • ABC 三個信號構成的指標組合,能產生像是 若 A = TRUE 且 B = TRUE 且 C > 15,則視為高品質肯定 這樣的規則
    • 這個規則預測出使用者是否認為該技能肯定有幫助,再與問卷得出的實際標注資料(標準答案)比對,即可算出 Precision 與 Recall
  3. 反覆 1 與 2 步驟,累積多個指標組合與其模型準確度數據
原本機器學習建模有幾十個特徵
最後 LinkedIn 團隊成員選出的指標組合只包含 5 個特徵
(圖片來源:Data + Intuition 論文

LinkedIn 案例中,採納了很多質性用戶研究(UX)的領域知識,舉例而言,訪談使用者後得知給予技能肯定者自己的職涯名聲會大大影響該技能肯定的觀感,機器學習模型的特徵選擇得以證明這個商業直覺,跟給予肯定者的資歷背景相關、且特徵重要性的確很高的信號,將被選入指標組合。

簡言之,我們會用更少的信號產生出多個候選的「規則主導」模式(Rule-based model),信號少代表好理解、規則也會很好解釋。而多個規則主導與原本的純機器學習模型之間,需要比較 Precision 與 Recall 優劣,定義出新規則若是精確度遜色太多,當然也不能採用。

5. 用商業直覺選出最終北極星指標定義

經過第 1 ~ 4 步後,我們手上有多個「指標組合」當作候選人,最終需要選出唯一一組當作北極星指標的代理。

也因為前幾步的層層篩選與討論,這些候選指標組合都是足夠準確、符合商業直覺、好解釋並足以引導行動方案,因此最終該選哪一組,只要經過團隊溝通協調後、人為選擇即可。

現在透過這個最終指標組合,LinkedIn 不用再發問卷,也得以衡量出能反映技能肯定品質的北極星指標,更重要的是,定義出這個指標組合之後,具體影響了產品決策

新的北極星指標,產品的新方向

辛苦定義出北極星指標,不是只為了創另一個數據儀表板乾瞪眼而已,而是為了能引導產品走向更正確的方向。Data + Intuition 分析框架定義出的北極星對 LinkedIn 的技能肯定功能產生巨大的影響力。

重塑產品目標

在採用「高品質肯定」指標之前,技能肯定功能曾經把目光聚焦在「技能肯定總數」,產品增長目標設定為肯定數量越多越好。雖然前面討論過計數指標的缺點,但不代表它不能當作北極星指標。

LinkedIn 在剛推出技能肯定產品的時候,吸引更多會員來使用的的確確是當時最重要的任務,唯有大多數人都知道技能肯定功能的存在與意義,此功能才能發揮價值。

當初用計數指標當作北極星,也影響了產品目標與設計理念。一開始 LinkedIn 技能在介面上會呈現技能肯定數量、技能名稱、以及給予肯定者的縮圖,這種介面設計正是受到當時的北極星指標影響,更強調數量、而不是給予肯定的背後脈絡,像是很難看出是否為相關領域專家給予肯定。

技能肯定以前的 UI 介面,強調數量、而不是給予肯定者的背景
(圖片來源:Data + Intuition 論文

技能肯定功能上線一段時間後,大家也開始懷疑其他會員的技能肯定是在「衝數量」,加上介面難以辨明雜訊以及有力肯定之間的差別,技能肯定功能的可信度下滑。

LinkedIn 重新定義出「高品質肯定」北極星指標最重要的收穫,是重塑產品目標、回到重視使用者體驗的正確軌道,為產品再次提升價值。

發想新的產品設計

新的「高品質肯定」北極星指標不只讓內部團隊更相信指標、聚焦於目標,同時也幫助產品團隊產生提升使用者信任度的新設計。

LinkedIn 團隊想要改掉過往只重視肯定數量的舊介面,問題是新介面該呈現什麼、才能讓大家更認可技能肯定的價值呢?Data + Intuition 分析框架得到的指標組合可以提供解答。團隊從指標組合得知,給予技能肯定者若本身熟悉該技能,更傾向被認為是優質的肯定,依據這項洞見,產品設計者在介面上開始強調給予肯定者也是該領域專家,讓瀏覽線上履歷的其他人可以快速看到這項亮點。

技能肯定的改版後介面,更強調給予肯定者的背景資訊
(製圖:好豪;圖片來源:Data + Intuition 論文

重新設計介面、幫助使用者建立技能肯定的可信度之後,技能肯定功能收到相當正面的回饋,LinkedIn 再次用相同兩個問題做抽樣問卷,調查使用者對技能肯定的觀感,發現平台會員們對技能肯定功能的五星好評在半年左右時間就提升了 5%,一星的負評同時也下降了 1%,是相當有效率的產品改進!


LinkedIn 資料科學家沒強調的是 …

筆者好豪每隔一段時間就會複習這篇 LinkedIn 分析案例,每次重讀都有不同收穫,我也累積了一些心得,是原文中沒有強調、但是實務工作中很可能會體驗到的要點。

分析框架實現了「溝通」價值

如果你稍有一點數據分析經驗,想必曾遇過:你埋頭努力後,提案指標或數據的使用方法、甚至是提出洞見,聽眾卻不願意採納、或者只消極地說「聽不懂」?

若能讓團隊內的各方專家都密集參與指標開發的過程,便能大大提升團隊積極採用新指標的意願!

首先,指標的設計源自於成員意見,所以不會有人說「不懂」。Data + Intuition 框架中,特徵的發想仰賴專家的領域知識,指標如何組合、以及最終該選哪個組合也都來自所有成員的討論,不再有黑盒子模型、也不會有錯綜復雜的特徵工程,好解釋又符合商業直覺的北極星指標當然容易受到採納。

其次是 IKEA 效應,你親手參與開發的指標、你會對它莫名地有信心。業界真正的資料科學實戰,工作內容絕大部分是「溝通」,在此案例的分析框架中,溝通不只是為了得到最敏銳的商業直覺、開發出精準的指標,更是為了讓未來將要使用這些指標的同事(Stakeholders)參與深度討論,強化交流、不斷溝通指標開發的過程與邏輯脈絡,以期望最終開發出的指標受到團隊信任與採納(Buy-in)。

需要持續迭代

此功能剛推出之時,計數指標曾經是正確且實用的北極星,但隨著此功能成熟,大家都樂於使用技能肯定後,開始出現了亂給肯定這種浮濫使用問題,領英團隊才因此開始思考如何改進北極星指標。

此案例開發出「高品質肯定」作為更符合需求的北極星,會不會未來某一天,這個「高品質肯定」也變得過時、不符合用戶期望、不再是值得追尋的北極星指標?

我相信,北極星指標是需要定期檢驗與迭代改進的,目標市場的特質可能改變、產品也存在 生命週期 演進,北極星指標理應也該要隨之改變。Data + Intuition 分析框架值得每隔一段時間再次執行,用以反省我們的目標是否反映用戶在乎的價值、以及我們正在看的代理指標是否依然與北極星高度相關。

定義新指標的潛在風險:指標濫用

一項指標一旦變成了目標,它將不再是個好指標。
古德哈特定律

分析資料常見的一種指標濫用方式是「玩弄」指標(”Game” the metric)。也就是在某個指標被當成成功指標之後,以對使用者體驗不見得有益的手段嘗試提升指標表現。

舉例來說,LinkedIn 的案例發現高階主管給出的技能肯定,更被傾向認為是有幫助的肯定。如果我看了這個洞見之後,設計一個通知功能,鼓勵所有平台上的高階主管每天隨機給其他會員任何技能肯定,這麼做的話,高階主管給出技能肯定數量(代理指標)會提升,北極星指標也確實會提升。但實質上,對使用者而言可能沒有意義,假如比爾蓋茲被逼著給我一個書法技能的肯定,但比爾蓋茲不認識我、我也真的不會書法,這個技能肯定依然超沒用啊!

… 我寫字真ㄉ醜 _(:3 」∠ )_

如何避免指標的玩弄與濫用,一直是代理指標開發與運用的核心問題之一,要避免或解決此問題,因果推論 是關鍵,但這則筆記礙於篇幅、就未來再聊了。


結語

LinkedIn 轉向「高品質肯定」北極星指標,以及其新產品策略的成功,證明了數據驅動的產品開發需要不斷追求更貼近使用者體驗的指標。即使發想出了理想的北極星指標,還需要用同時精確好解釋的模型來衡量,才能真正引導下一步行動方案、帶領產品與團隊成長。LinkedIn 的 Data + Intuition 分析框架提供了定義北極星指標的方法,結合機器學習商業直覺淬煉出能夠真正捕捉產品價值、反映使用者體驗的指標。

這則業界案例的分析框架,對資料科學家而言是必備的基本功,此案例的商業目標著眼技能肯定功能的品質,要是把商業目標換成「營收」,是不是就變成你日常數據分析會遇到的問題?這個思考框架是不是馬上可以套用在我們業界工作中的許多環節了?正因為這篇案例可以泛化成很多分析專案會遇到的狀況,我相信這篇值得一讀再讀。

如果你讀了這篇還不過癮、還想看其他資料科學案例分析,我已經幫你整理好:各大科技巨頭的資料科學部落格,推薦你從他們的歷史經驗挖寶,學習更多來自強者們突破困境的思考流程

Data + Intuition 原文目前是學術資料庫才能取得,文章最後特此感謝台大物理的劉博士,幫我取得此論文、給我再次複習這篇文章的機會。


我認為比起學 Python、Tableau、或 Google Analytics 等等分析工具,資料科學的「思維」才是更值得長期投資心力學習的,畢竟用工具的專家可能會被 AI 取代,但用資料創造產品成長的數據思維才真正無價,這也是為什麼我會這般主動學習北極星指標的業界應用案例。

如果想要有系統地補充這些知識,Hahow 上資深資料科學前輩 大鼻 開設的《產品數據分析》課程是最好的學習資源,除了本文提及的北極星指標,這門線上課程內容包含整個指標體系的建立,並且用個案教學如何從獲利模式發想數據策略與商業實驗,課程幾乎涵蓋了所有常遇見的數據指標問題,如果你想有效率地累積資料分析知識,這門課 十分值得學習。


這篇文章有幫助到你的話,歡迎追蹤好豪的 Facebook 粉絲專頁 或者 Threads 帳號,未來我會持續分享我實踐與學習資料科學的心得;也推薦你點選下方按鈕,把此文章分享給對數據分析有興趣的朋友們。

推薦閱讀