可以高效簡(jiǎn)潔自助處理數(shù)據(jù)的Smartbi

smartbi輕量級(jí)etl功能，它是可視化流程配置，簡(jiǎn)單易用，業(yè)務(wù)人員都能參與。無(wú)需單獨(dú)部署，能夠與smartbi無(wú)縫連接，允許將數(shù)據(jù)準(zhǔn)備的結(jié)果，以數(shù)據(jù)表方式直接提供給bi使用。它還采用分布式計(jì)算架構(gòu)，單節(jié)點(diǎn)支持多線(xiàn)程，能夠處理海量數(shù)量，提高數(shù)據(jù)處理的性能。
這塊強(qiáng)大數(shù)據(jù)處理功能不僅支持異構(gòu)數(shù)據(jù)，還內(nèi)置排序、去重、映射、行列合并、行列轉(zhuǎn)換聚合、去空值等等數(shù)據(jù)預(yù)處理功能，滿(mǎn)足客戶(hù)日常數(shù)據(jù)處理的需要。下面我們就舉例介紹幾種數(shù)據(jù)預(yù)處理功能。
過(guò)濾和映射
過(guò)濾和映射是指根據(jù)用戶(hù)需求，通過(guò)寫(xiě)sql語(yǔ)句(片段)的方式，對(duì)數(shù)據(jù)集中指定字段進(jìn)行條件篩選過(guò)濾。
如下圖，原先示例數(shù)據(jù)源的輸出結(jié)果有150條數(shù)據(jù)，對(duì)其進(jìn)行過(guò)濾與映射，設(shè)置過(guò)濾器的表達(dá)式：[species]='versicolor' ，即只輸出species為versicolor的數(shù)據(jù)。
我們通過(guò)可視化流程操作，拖拽過(guò)濾器映射對(duì)象，通過(guò)設(shè)置過(guò)濾器條件來(lái)實(shí)現(xiàn)
去除重復(fù)值
去除重復(fù)值是用于刪除數(shù)據(jù)集中的重復(fù)行（假如有兩行相同，保留其中一行）。也是數(shù)據(jù)處理中比較常見(jiàn)的要求。
如下示例，原先關(guān)系數(shù)據(jù)源的輸出結(jié)果有9條數(shù)據(jù)，對(duì)其進(jìn)行去除重復(fù)值，在選擇列彈框中選擇所有的列。
我們通過(guò)可視化流程操作，拖拽去除重復(fù)值對(duì)象，對(duì)其參數(shù)進(jìn)行選擇列設(shè)置來(lái)實(shí)現(xiàn)
空值處理
空值處理節(jié)點(diǎn)是將空值替換為均值、大頻數(shù)或者用戶(hù)自定義的值等，實(shí)現(xiàn)空值的填充或者過(guò)濾。空置處理的替換值包括大值、最小值、平均值、中位數(shù)、按空值百分比刪除列、出現(xiàn)頻率最多替換、指定值、過(guò)濾整行，用于滿(mǎn)足不同的用戶(hù)需求。
我們來(lái)看一個(gè)示例：我們將空值處理為該列出現(xiàn)頻率最多的值，例如number出現(xiàn)頻率最多的值為“4”，則空值經(jīng)過(guò)處理后變成“4”；count出現(xiàn)頻率最多的值為“100”，則空值經(jīng)過(guò)處理后變成“100”。
我們通過(guò)可視化操作拖拽空值處理對(duì)象對(duì)原先數(shù)據(jù)源進(jìn)行空值處理，設(shè)置如下圖，存在空值，對(duì)其進(jìn)行空值處理，選擇列：number、count ，空值處理為“出現(xiàn)頻率最多替換”。
行轉(zhuǎn)列/列轉(zhuǎn)行
行轉(zhuǎn)列是用于實(shí)現(xiàn)將數(shù)據(jù)結(jié)果的行轉(zhuǎn)換成列。列轉(zhuǎn)行是用于實(shí)現(xiàn)將數(shù)據(jù)結(jié)果的列轉(zhuǎn)換成行。
下面我們舉一個(gè)行轉(zhuǎn)列的例子。如下圖，原先數(shù)據(jù)集有4條數(shù)據(jù)，對(duì)其進(jìn)行行轉(zhuǎn)列。
我們通過(guò)可視化操作拖拽行轉(zhuǎn)列對(duì)象對(duì)原先數(shù)據(jù)源進(jìn)行空值處理，設(shè)置如下圖，設(shè)置選擇要透視的列為“科目”，請(qǐng)選擇值列為“分?jǐn)?shù)”，聚合方式為“大值”。
除了以上功能，smartbi數(shù)據(jù)預(yù)處理功能還有采樣、拆分、join、排序、合并列/合并行、增加序號(hào)列、聚合、派生列等，有興趣的小伙伴可以到我們wiki上學(xué)習(xí)使用哦！
使用這些預(yù)處理功能處理完成的數(shù)據(jù)，我們就可以輸出到目標(biāo)源中了。這樣不僅可以提高數(shù)據(jù)的質(zhì)量，也能讓數(shù)據(jù)更好地進(jìn)行數(shù)據(jù)分析和數(shù)據(jù)挖掘！