數(shù)據(jù)挖掘工具：誰(shuí)最適合CRM

2007/09/29

1. 沒(méi)有最好的工具;更確切地說(shuō)，沒(méi)有適合所有人的最好的工具。


2. 最有用的工具，是那些能夠滿足你所需要的絕大多數(shù)數(shù)據(jù)挖掘任務(wù)的工具。

• 進(jìn)行數(shù)據(jù)評(píng)估，以判別出：


• 缺失值(空字符串、空格、空值)


• 孤立點(diǎn)


• 共線性評(píng)估(自變量之間的相關(guān)性)


• 給定變量多個(gè)編碼的出現(xiàn)頻率


• 合并多個(gè)數(shù)據(jù)集;


• 從不同輸入格式到通用分析格式的元數(shù)據(jù)(字段的名稱和類(lèi)型)映射;


• 將類(lèi)似變量的值變換為通用格式;


• 某些算法對(duì)輸入變量有特殊要求，需要將數(shù)值型變量變換為類(lèi)別型(通過(guò)數(shù)據(jù)分箱和分類(lèi))，或者將類(lèi)別型變換為數(shù)值型;


• 將變量值切分為多個(gè)字段，或?qū)⒍鄠�(gè)字段合并為一個(gè)字段;


• 從現(xiàn)有變量中派生新變量。大多數(shù)數(shù)據(jù)挖掘人員發(fā)現(xiàn)，有些最具有預(yù)測(cè)能力的變量，正是派生出來(lái)的變量。

1. 預(yù)測(cè)概率值按降序方式存儲(chǔ)為有序列表


2. 把這個(gè)有序列表劃分為10段(分組)


3. 計(jì)算每組中的實(shí)際命中數(shù)(actual hits，實(shí)際的響應(yīng)數(shù))


4. 計(jì)算每個(gè)分組的隨機(jī)期望值(random expectation)，該期望值等于實(shí)際響應(yīng)總數(shù)除以10。也就是說(shuō)，在每個(gè)分組中我們期望會(huì)有實(shí)際響應(yīng)總數(shù)的10%會(huì)響應(yīng)。 如果命中率超過(guò)了隨機(jī)期望值，就意味著模型為該分組帶來(lái)了提升





　表1： 提升表


譯者注：

Decile-分組序號(hào);Hits-命中數(shù)，即每組內(nèi)包含的實(shí)際響應(yīng)數(shù)，等于TP+FN;

TP-正確肯定;FN-錯(cuò)誤否定;TN-正確否定;FP-錯(cuò)誤肯定;

(TP和FN對(duì)應(yīng)于實(shí)際的響應(yīng)，TN和FP對(duì)應(yīng)于實(shí)際的非響應(yīng))

Random Hits-隨機(jī)命中數(shù)，即隨機(jī)期望值，等于SUM(TP+FN)/10;

% of Total-召回率，等于Hits/SUM(Hits)*100;

Cum % of Total-累積召回率，是% of Total的累積值。

一共劃分了10個(gè)分組，實(shí)際的總響應(yīng)數(shù)為SUM(Hits)=275，因此每組的隨機(jī)期望值為275/10=27.5。第一組的命中數(shù)為81，明顯超過(guò)了隨機(jī)期望值，其召回率=81/275=29.45%。第二組的命中數(shù)為43，也超過(guò)了隨機(jī)期望值，其召回率為43/275=15.64%，累積召回率等于第二組的召回率加上前面所有組(即第一組)的召回率，等于15.64%+29.45%=45.09%。

從上表中可以看出，該模型劃分肯定和否定的閾值應(yīng)該是在第二個(gè)分組中，這樣才出現(xiàn)了第一組都被預(yù)測(cè)為肯定，但其中有81個(gè)是正確的肯定(TP)，而735個(gè)是錯(cuò)誤的肯定(FP);第二組中則同時(shí)包含了TP、FN、TN和FP;從第三組之后則都被預(yù)測(cè)為否定(因?yàn)槲挥陂撝抵?，因此包含了FN和TN。

正確肯定(True-Positives，TP)： 實(shí)際的響應(yīng)中，被正確預(yù)測(cè)為響應(yīng)的個(gè)數(shù)

錯(cuò)誤否定(False-Negatives，F(xiàn)N)： 實(shí)際的響應(yīng)中，被錯(cuò)誤預(yù)測(cè)為非響應(yīng)的個(gè)數(shù)

正確否定(True-Negatives，TN)： 實(shí)際的非響應(yīng)中，被正確預(yù)測(cè)為非響應(yīng)的個(gè)數(shù)

錯(cuò)誤肯定(False-Positives，F(xiàn)P)： 實(shí)際的非響應(yīng)中，被錯(cuò)誤預(yù)測(cè)為響應(yīng)的個(gè)數(shù)

通過(guò)對(duì)提升表的分析可以看到，在第四個(gè)分段之后，增量提升(incremental lift，第8列中的”% of Total”)下降到隨機(jī)期望(每個(gè)分段為10%)之下，而前四個(gè)分段包含了超過(guò)70%的響應(yīng)。 從下面的增量提升曲線(圖1)中可以明顯看出增量提升和隨機(jī)期望的交叉點(diǎn)。




　圖1： 增量提升圖示例


在增量提升曲線中標(biāo)示了各個(gè)分段的命中數(shù)。 在圖1中可以看到，增量提升曲線在第4個(gè)分段后和隨機(jī)期望線(275個(gè)響應(yīng)的10%，即平均每個(gè)分段27.5個(gè)響應(yīng))交叉。 不管營(yíng)銷(xiāo)經(jīng)理怎么去看，上述的表格和圖形都可以把必要的信息傳遞給他們。 營(yíng)銷(xiāo)人員可以借助模型評(píng)估工具，來(lái)設(shè)定要給多少個(gè)客戶發(fā)郵件。 以表1為例，營(yíng)銷(xiāo)人員可以向前四個(gè)分段的客戶(占整個(gè)評(píng)分名單的40%)發(fā)郵件，并預(yù)期可以命中70%的潛在響應(yīng)客戶。

我們現(xiàn)在已經(jīng)了解該如何評(píng)估數(shù)據(jù)挖掘模型，接下來(lái)就可以深入分析和調(diào)整業(yè)務(wù)流程，借助模型的結(jié)果來(lái)提高企業(yè)的盈利。 業(yè)務(wù)流程包括：

1. 數(shù)據(jù)挖掘過(guò)程


2. 知識(shí)發(fā)現(xiàn)過(guò)程


3. 業(yè)務(wù)流程管理(BPM)軟件


4. 知識(shí)管理系統(tǒng)


5. 商業(yè)生態(tài)系統(tǒng)管理

數(shù)據(jù)挖掘過(guò)程

　　Eric King在“如何在數(shù)據(jù)挖掘上投資：避免預(yù)測(cè)型分析中昂貴的項(xiàng)目陷阱的框架”一文(發(fā)表于2005年10月的“DM Review”)中主張數(shù)據(jù)挖掘是一段旅程，而非終點(diǎn)。他把這段旅程定義為數(shù)據(jù)挖掘過(guò)程。 該過(guò)程包含如下要素：
　　
1. 一個(gè)發(fā)現(xiàn)過(guò)程


2. 具有靈活的框架


3. 按照清晰定義的策略進(jìn)行


4. 包含多個(gè)檢查點(diǎn)


5. 多次定期的評(píng)估


6. 允許在反饋環(huán)路中對(duì)函數(shù)進(jìn)行調(diào)整


7. 組織為疊代式的架構(gòu)

過(guò)程模型

　　很多數(shù)據(jù)挖掘工具的廠商都對(duì)這個(gè)過(guò)程進(jìn)行了簡(jiǎn)化，使之更加清晰。 SAS將數(shù)據(jù)挖掘過(guò)程劃分為五個(gè)階段： 抽樣(Sample)，解釋(Explain)，處理(Manipulate)，建模(Model)，評(píng)估(Assess)。 過(guò)去人們常用循環(huán)式的飲水器來(lái)比喻數(shù)據(jù)挖掘過(guò)程。 水(數(shù)據(jù))首先涌上第一層(分析階段)，形成漩渦(精煉和反饋)，等到聚積了足夠多“已經(jīng)處理過(guò)”的水之后，就溢出來(lái)流到下一個(gè)更低的層中。 不斷地進(jìn)行這種“處理”，直到水流到最低層。在那里它被抽回頂層，開(kāi)始新一輪的“處理”。 數(shù)據(jù)挖掘和這種層次式的疊代過(guò)程非常相像。 甚至在很多數(shù)據(jù)挖掘算法的內(nèi)部處理也是如此，比如神經(jīng)網(wǎng)絡(luò)算法，就是在數(shù)據(jù)集上多次運(yùn)行(epochs)，直至發(fā)現(xiàn)最優(yōu)解。 Insightful Miner已經(jīng)在其用戶界面中內(nèi)建了簡(jiǎn)單過(guò)程模型。 這種集成可以幫助用戶把必要的數(shù)據(jù)挖掘任務(wù)組織起來(lái)，讓任務(wù)能夠按照正確的順序來(lái)處理。

　　但使用飲水器來(lái)比喻數(shù)據(jù)挖掘過(guò)程還不算恰當(dāng)，因?yàn)樗鼪](méi)有反映出反饋環(huán)路，而反饋環(huán)路在數(shù)據(jù)挖掘過(guò)程中是很常見(jiàn)的。 例如，通過(guò)數(shù)據(jù)評(píng)估可以發(fā)現(xiàn)異常的數(shù)據(jù)，從而要求從源系統(tǒng)中抽取更多的數(shù)據(jù)。 或者，在建模之后，會(huì)發(fā)現(xiàn)需要更多的記錄才能反映總體的分布。

　　在CRISP過(guò)程模型中進(jìn)行了解決這個(gè)問(wèn)題的嘗試，該模型是由Daimler-Benz、ISL (Clementine的開(kāi)發(fā)者)和NCR共同制定的。 CRISP同時(shí)也被集成到Clementine挖掘工具(現(xiàn)在屬于SPSS公司)的設(shè)計(jì)中。 CRISP幾乎反映了完整的數(shù)據(jù)挖掘環(huán)境。



　　圖2： CRISP圖例

　　使用數(shù)據(jù)建模其實(shí)和做陶土模型或者大理石模型差不多。 藝術(shù)家首先從一大堆材料開(kāi)始著手，經(jīng)過(guò)許多次的加工和檢查，才誕生了最終的藝術(shù)品。很多人在建模過(guò)程中常常沒(méi)有充分理解建模的本質(zhì)，由此帶來(lái)了一系列問(wèn)題，使得建模變得很復(fù)雜。 Eric King發(fā)現(xiàn)數(shù)據(jù)挖掘是一個(gè)循環(huán)的過(guò)程(就象上圖中的CRISP流程圖)，而非線性的過(guò)程。 這種循環(huán)式的數(shù)據(jù)挖掘過(guò)程會(huì)讓您想起Wankel轉(zhuǎn)式汽車(chē)發(fā)動(dòng)機(jī)。 這種發(fā)動(dòng)機(jī)是一圈一圈旋轉(zhuǎn)的(而非上下運(yùn)動(dòng))，不斷輸出動(dòng)能來(lái)驅(qū)動(dòng)汽車(chē)。 與之相似，數(shù)據(jù)挖掘過(guò)程也是不斷循環(huán)，產(chǎn)生信息來(lái)幫助我們完成商業(yè)目標(biāo)。 信息就是推動(dòng)商業(yè)的“能量”。 在挖掘過(guò)程中會(huì)有很多對(duì)前一個(gè)階段的反饋(例如，在完成初步建模之后可能需要獲取更多的數(shù)據(jù))。

　　不過(guò)，在CRISP流程中還是遺漏了一個(gè)要素——那就是對(duì)數(shù)據(jù)倉(cāng)庫(kù)或源系統(tǒng)的反饋。 前一次CRM營(yíng)銷(xiāo)活動(dòng)的結(jié)果應(yīng)該導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)，為后續(xù)的建模提供指導(dǎo)，并能跟蹤營(yíng)銷(xiāo)活動(dòng)間的變化趨勢(shì)。 我在CRISP流程圖中加入了這些反饋，以紅線表示(見(jiàn)圖2)。

　　通過(guò)數(shù)據(jù)挖掘過(guò)程的結(jié)構(gòu)，我們可以得知數(shù)據(jù)挖掘工具必需能完成那些任務(wù)，但是工具常常會(huì)缺少對(duì)部分功能的支持。 當(dāng)產(chǎn)生了挖掘結(jié)果時(shí)，你會(huì)怎么使用這些結(jié)果呢? 此外，針對(duì)挖掘結(jié)果所采取的這些行動(dòng)又將如何影響后續(xù)的挖掘? 數(shù)據(jù)挖掘工具應(yīng)該具備的一些功能包括：

1. 將模型導(dǎo)出到多種數(shù)據(jù)庫(kù)結(jié)構(gòu)中


2. 模型的導(dǎo)出格式，適合于決策支持和商業(yè)行動(dòng)的應(yīng)用


3. 挖掘算法的輸出數(shù)據(jù)，可以為另外的算法所用


4. 能夠比較不同算法的結(jié)果

IT專(zhuān)家網(wǎng)