熊貓智能采集軟件 v3.5

熊貓智能采集軟件是由熊貓采集官方推出的一款功能強(qiáng)大，但又操作簡單的領(lǐng)先的采集器軟件。它采用熊貓精準(zhǔn)搜索引擎的解析內(nèi)核，實現(xiàn)對網(wǎng)頁內(nèi)容的仿瀏覽器解析，在此基礎(chǔ)上利用原創(chuàng)的技術(shù)實現(xiàn)對網(wǎng)頁框架內(nèi)容與核心內(nèi)容的分離、抽取，并實現(xiàn)相似頁面的有效比對、匹配。因此，用戶只需要指定一個參考頁面，熊貓采集軟件系統(tǒng)就可以據(jù)此來匹配類似的頁面，來實現(xiàn)用戶需要采集資料的批量采集。

在采集過程中，用戶不再需要使用非常專業(yè)的“正則表達(dá)式”技術(shù)，不要需要借助技術(shù)高手來編寫采集匹配規(guī)則。熊貓采集軟件系統(tǒng)會將參考頁面的內(nèi)容解析分解后，由用戶利用鼠標(biāo)點選需要采集的對象即可，系統(tǒng)據(jù)此就可以知道用戶需要采集的內(nèi)容?？傊?，瀏覽器可見的內(nèi)容都可以采集，有興趣的用戶不妨下載體驗！

如何用熊貓采集器實現(xiàn)網(wǎng)絡(luò)上企業(yè)名錄、客戶手機(jī)電話號碼的搜索采集

1、首先，打開軟件，點擊“客戶資料采集模板”標(biāo)簽?？梢钥吹街髁鞯碾娫捲淳W(wǎng)站，都已經(jīng)內(nèi)置在軟件中了，包括“從網(wǎng)頁搜索電話”（輸入關(guān)鍵詞，即可全網(wǎng)搜索相關(guān)電話）。官方會不停的追加新的電話源采集網(wǎng)站進(jìn)去。如果你有合適的網(wǎng)站，也可以推薦給熊貓。

電話采集模板

圖示1：客戶資料采集模板

2、點擊你需要采集對象網(wǎng)站的圖標(biāo)，即可打開新項目復(fù)制對話框。

新項目復(fù)制對話框

圖示2：新項目復(fù)制對話框

3、在打開的復(fù)制項目對話框中，首先選擇你需要采集的城市編碼，從下拉列表中直接選擇即可（如果下拉列表太長，難以找到?？梢灾苯釉谙吕斜砜蛑?，輸入你需要的城市名稱，即可快速定位該城市。）。

然后輸入你需要搜索的關(guān)鍵詞，多個關(guān)鍵詞之間可以用逗號分開即可。

再將當(dāng)前項目取個名字（在上述截圖左側(cè)的“項目名稱”輸入框中）。

然后點擊“確認(rèn)創(chuàng)建”按鈕，即可完成一個新的電話采集項目的配置。

是不是足夠簡單？——已經(jīng)簡單到無法再簡單了！

然后點擊“立即運(yùn)行”按鈕，即可關(guān)閉設(shè)置界面，直接進(jìn)入數(shù)據(jù)采集運(yùn)行。

最新獲取的結(jié)果數(shù)據(jù)，會在軟件主界面下方的列表中滾動展示：

最新獲取的結(jié)果數(shù)據(jù)

圖示3：最新獲取的結(jié)果數(shù)據(jù)

4、當(dāng)當(dāng)前項目的運(yùn)行進(jìn)度條全部完成，并且“項目當(dāng)前狀態(tài)：”出現(xiàn)“運(yùn)行已完成”字樣的時候，說明本次采集完成。

當(dāng)項目運(yùn)行結(jié)束后，即可選擇導(dǎo)出數(shù)據(jù)：軟件菜單：項目數(shù)據(jù)-導(dǎo)出數(shù)據(jù) 。（或者直接點擊軟件界面中間的“導(dǎo)出數(shù)據(jù)（當(dāng)前項目）”按鈕）

導(dǎo)出數(shù)據(jù)

圖示4：導(dǎo)出數(shù)據(jù)

5、默認(rèn)的導(dǎo)出數(shù)據(jù)設(shè)置，是只導(dǎo)出單一的電話號碼，并自動排除重復(fù)手機(jī)號。如果需要完整數(shù)據(jù)，請在彈出的對話框中，選擇“指定列輸出”。

導(dǎo)出數(shù)據(jù)的設(shè)置

圖示5：導(dǎo)出數(shù)據(jù)的設(shè)置

6、默認(rèn)的導(dǎo)出數(shù)據(jù)文件，會在項目專屬文件夾下，和當(dāng)前項目同名的文件。

默認(rèn)情況下，項目采集結(jié)果數(shù)據(jù)會存儲在項目專屬文件夾下的data.mdb文件中，為office.access軟件格式，用office.excel軟件也可以直接打開該data.mdb文件進(jìn)行查看、編輯。推薦使用access軟件打開該data.mdb文件進(jìn)行數(shù)據(jù)輸出。如果你的電腦中，沒有安裝Office或者access，可以使用“導(dǎo)出數(shù)據(jù)”功能導(dǎo)出為csv通用excel格式文件。

7、至此即可完成一個電話采集項目的設(shè)置、運(yùn)行、數(shù)據(jù)導(dǎo)出的全部流程。

注意同一個網(wǎng)站下，不宜同時運(yùn)行多個采集項目，因為這會給對方網(wǎng)站造成很大的訪問壓力，進(jìn)而可能會被封IP。軟件的內(nèi)置模板已經(jīng)對訪問壓力做了均衡設(shè)置，單一項目運(yùn)行的時候，一般不會被封IP的。但是同時運(yùn)行多個項目，則會超出均衡設(shè)置的范圍。

當(dāng)被封IP的時候，請打開“項目高級設(shè)置”-云計算-選擇“僅請求協(xié)助網(wǎng)頁的訪問”，進(jìn)行云采集，即可繞開對方網(wǎng)站的采集屏蔽。

項目的云采集請求的設(shè)置

圖示6：項目的云采集請求的設(shè)置

軟件特色

1、全方位的采集功能

采集的對象包括文字內(nèi)容、圖片、flash動畫視頻、下載文件等等各類網(wǎng)絡(luò)內(nèi)容。支持圖文混排對象的同時采集。支持結(jié)構(gòu)復(fù)雜的采集對象集合，支持復(fù)雜多數(shù)據(jù)庫表單，支持跨頁面內(nèi)容合并采集的能力。

2、面向?qū)ο蟛杉?，采集對象的?nèi)容可以是分散在多個頁面（模板頁面的深度嵌套訪問）熊貓采集是面向?qū)ο蟮?，一個采集對象可以擁有許多需要采集的子項屬性內(nèi)容。這些子項屬性的內(nèi)容允許分散在不同的頁面內(nèi)，這些頁面可以是需要通過若干次鏈接才能到達(dá)的頁面。

此處所謂“對象”，可以理解為“（需要采集的數(shù)據(jù)的）數(shù)據(jù)集合 ”的意思。這個數(shù)據(jù)集合的內(nèi)容和范圍由用戶根據(jù)實際需求自行決定，沒有特定的要求。也可以將該對象范疇囊括到“標(biāo)題列表頁面”，這屬于變通使用的方法，在此不多做贅述。靈活的使用面向?qū)ο蟮姆椒?，不僅可以實現(xiàn)很多復(fù)雜的采集需求，更可以使得采集設(shè)置過程更為簡單。

3、采集速度快

熊貓采集的采集速度是采集軟件中最快的（之一）。不使用落后低效的正則匹配技術(shù)。也不使用第三方內(nèi)置瀏覽器訪問的技術(shù)。使用自己研發(fā)的解析引擎，實現(xiàn)對網(wǎng)頁源碼的仿瀏覽器解析。分解網(wǎng)頁可視化內(nèi)容元素，在此基礎(chǔ)上進(jìn)行機(jī)器學(xué)習(xí)、批量采集匹配。經(jīng)實際測試，是傳統(tǒng)的正則匹配方式采集速度的2~5倍。是基于第三方內(nèi)置瀏覽器采集速度的10~20倍。

4、結(jié)果數(shù)據(jù)完整度高

實際采集過程中，由于目標(biāo)頁面存在豐富的內(nèi)容頁面板式的情況，此時就需要使用熊貓獨(dú)有的“多模板功能”，才能實現(xiàn)完整的采集。同時，看起來頁面版面一致的情況下，也可能會存在因為頁面內(nèi)部的少量差異而采集采集匹配失敗，此時就需要采集器具有智能容錯能力。智能容錯能力，是衡量一個采集器是否成熟的基本標(biāo)志之一。熊貓追求的是采集結(jié)果100%的完整。包括有效頁面100%的采集，頁面中采集的內(nèi)容100%的采集。只要設(shè)置恰當(dāng)，不會出現(xiàn)采集結(jié)果遺漏的情況?！挥行茇埐拍茏尳Y(jié)果如此完整。

5、JS解析的自動判斷識別

現(xiàn)在很多網(wǎng)頁都采用了ajax網(wǎng)頁內(nèi)容動態(tài)生成技術(shù)。此時僅僅依靠網(wǎng)頁源碼，并不能獲取需要的有效內(nèi)容。此時就需要對被采集的頁面執(zhí)行JavaScript（JS）解析，獲取JS執(zhí)行后的結(jié)果代碼。熊貓支持對需要JS解析的頁面，執(zhí)行JS解析，獲取JS解析后的實際內(nèi)容。鑒于執(zhí)行JS解析的速度效率很低，因此熊貓內(nèi)置了智能判斷功能，自動檢查是否需要對被采集的頁面執(zhí)行JS解析，如果不需要的，盡量不使用低效的JS解析模式。

6、多模板自動適應(yīng)能力

很多網(wǎng)站的“內(nèi)容頁面”會存在多個不同種類的模板，因此熊貓采集軟件允許每個采集項目可以同時設(shè)置多個內(nèi)容頁面參考模板，在采集運(yùn)行時，系統(tǒng)會自動匹配尋找最合適的參考模板用來分析內(nèi)容頁面。

7、實時幫助窗口

在采集項目設(shè)置環(huán)節(jié)，系統(tǒng)會在窗口右上顯示與當(dāng)前配置相關(guān)的實時幫助內(nèi)容，為使用新手提供實時幫助。因此熊貓采集軟件的使用可以輕松上手。配合全程智能化輔助能力，即便是第一次接觸熊貓采集軟件，也可以較輕松實現(xiàn)采集項目的配置工作。

8、正文和回復(fù)內(nèi)容同時采集的能力

典型如論壇頁面，正文內(nèi)容在前，若干回復(fù)內(nèi)容在后，或者還存在若干個回復(fù)分頁存在。熊貓采集可以將這些作為一個“對象”來對待，一并同時完整采集，其配置過程也非常簡單。

9、分頁內(nèi)容的輕松合并

支持各種類型的分頁模式，用戶只需要做兩步就可以實現(xiàn)分頁內(nèi)容的合并：鼠標(biāo)點選確認(rèn)分頁鏈接所在，將需要分頁合并的字段項勾選上“分頁合并”項即可。如果頁面內(nèi)具有重復(fù)子項存在，則能自動在分頁中尋找該重復(fù)子項，隱含自動進(jìn)行分頁內(nèi)容合并。

典型如上述的論壇例子，分頁頁面內(nèi)的回復(fù)內(nèi)容，可自動實現(xiàn)歸并，此時用戶只需要鼠標(biāo)點選確認(rèn)分頁鏈接所在即可。有些場合下，在論壇內(nèi)容頁面的分頁中也會同時出現(xiàn)主體（主表）內(nèi)容，此時系統(tǒng)會自動進(jìn)行判斷，不會將主表內(nèi)容當(dāng)成重復(fù)子項的子表內(nèi)容進(jìn)行采集。

10、利用cookie方式模擬登錄網(wǎng)站

對于需要登錄才能訪問采集頁面的網(wǎng)站（包括Discuz等各類型論壇），可以利用賬號進(jìn)行模擬登錄。熊貓采集可以通過模擬瀏覽器機(jī)制，利用動態(tài)cookie和網(wǎng)站進(jìn)行cookie動態(tài)對話。有些網(wǎng)站，為了加強(qiáng)數(shù)據(jù)的安全性，利用cookie對網(wǎng)頁內(nèi)容數(shù)據(jù)進(jìn)行加密，此時就需要使用熊貓采集特有的“動態(tài)Cookie”功能。

11、支持常見類型數(shù)據(jù)庫引擎。支持FTP上傳

熊目前版本的熊貓，支持Access/mssql/mysql/Oracle 四種常用數(shù)據(jù)庫類型，以后可能會視需求進(jìn)行擴(kuò)充。支持將下載的各類文件圖片等同時FTP上傳到遠(yuǎn)程服務(wù)器內(nèi)。用戶利用此項功能就可以將在本地電腦上采集的數(shù)據(jù)同時更新到自己網(wǎng)站內(nèi)，充實欄目內(nèi)容。對于其他的動態(tài)數(shù)據(jù)發(fā)布方式，熊貓會在用戶使用反饋的基礎(chǔ)上盡快實現(xiàn)。

12、無人值守自動定時運(yùn)行

提供更新采集訪問的能力，自動定時更新運(yùn)行。無需人工干預(yù)，系統(tǒng)自動封閉運(yùn)行。

13、文字內(nèi)容的“偽原創(chuàng)”修改。支持文章時間的提前

提供文字內(nèi)容的“偽原創(chuàng)”修改。還可以將文章時間做“提前”修改，文章的發(fā)表時間是搜索引擎用來區(qū)別文章是否原創(chuàng)的一個參考因素。

軟件功能

1、大數(shù)據(jù)采集

熊貓擁有極高的采集速度和效率，是大數(shù)據(jù)采集場合的最優(yōu)選擇。同時熊貓獨(dú)有的海量數(shù)據(jù)處理能力，可以應(yīng)付大數(shù)據(jù)采集的需要。是大數(shù)據(jù)采集場合的首選

2、輿情監(jiān)測

借助全部中文搜素引擎，輕松實現(xiàn)全網(wǎng)輿情信息的監(jiān)測，信息覆蓋面廣。對于需要重點監(jiān)測的網(wǎng)站，只需要錄入網(wǎng)址即可實現(xiàn)監(jiān)測。PC端獨(dú)立運(yùn)行，普通的移動PC即可勝任輿情監(jiān)測工作。同時熊貓智能采集監(jiān)測引擎，也是第三方輿情系統(tǒng)內(nèi)置爬蟲的首選。

3、招標(biāo)信息監(jiān)測

利用熊貓智能采集監(jiān)測引擎，可以輕松實現(xiàn)對招標(biāo)信息發(fā)布網(wǎng)站的最新招標(biāo)信息進(jìn)行監(jiān)測。熊貓采集，是招標(biāo)信息監(jiān)測軟件的最優(yōu)選擇：操作容易、維護(hù)簡單、結(jié)果直觀方便。

4、客戶資料收集

利用熊貓可以輕松從網(wǎng)絡(luò)中批量獲取需要的客戶信息，利用熊貓的各類繞開防采集機(jī)制（，如熊貓獨(dú)有的云采集功能），可以輕松繞開被采集網(wǎng)站的防采集機(jī)制。如58、趕集、百姓網(wǎng)、阿里巴巴、慧聰?shù)鹊取?

5、眾多站長：網(wǎng)站搬家、網(wǎng)站內(nèi)容自動填充

熊貓是操作最簡單的采集器，是眾多網(wǎng)站站長的首先。同時熊貓也是功能復(fù)雜的采集器，可以應(yīng)用幾乎所有的復(fù)雜網(wǎng)站的采集、搬家操作。

6、采集互聯(lián)網(wǎng)資源

利用熊貓采集軟件，可以將互聯(lián)網(wǎng)資源實現(xiàn)批量、格式化的下載到本地。 可選的采集工具軟件是在太多了，但都屬于DOS時代，操作繁瑣、作用簡單、需要專業(yè)技術(shù)人員才可以勉強(qiáng)操作。而熊貓不同，全程可視化鼠標(biāo)操作，操作簡單，且功能全面，尤其熊貓可以實現(xiàn)非常復(fù)雜的采集需求，不懂技術(shù)的人也可以輕松操作。熊貓采集是采集軟件的換代產(chǎn)品，——輕松采集，從熊貓開始！

7、充實用戶網(wǎng)站內(nèi)容

用戶可以利用熊貓，將互聯(lián)網(wǎng)上零散或集中的資源批量采集拷貝到自己網(wǎng)站內(nèi)，充實自己網(wǎng)站內(nèi)容。不需要懂技術(shù)、不要資金、不要人力投入、借助熊貓，任何人都可以輕松成為一個大站的站長。

8、行業(yè)垂直搜索引擎

利用熊貓采集，配合熊貓采集配套的分詞索引檢索系統(tǒng)，用戶就可以輕松構(gòu)建一個行業(yè)垂直搜索引擎。例如招聘、人才、房產(chǎn)、旅游、購物、商務(wù)、分類信息、二手、醫(yī)療健康等等。

熊貓采集軟件，從開發(fā)伊始，就是為了做通用搜索引擎而設(shè)計，如果僅僅認(rèn)為熊貓只是原始而廉價的采集軟件，那就是對熊貓大誤解。熊貓采集的技術(shù)，是源于熊貓精準(zhǔn)搜索引擎。

9、作為相關(guān)軟件的功能配套

可以作為輿情、監(jiān)控、情報等互聯(lián)網(wǎng)相關(guān)軟件的配套軟件，節(jié)約重復(fù)高成本開發(fā)，關(guān)鍵是可以提高用戶的使用體驗，提升軟件自身的技術(shù)形象。

技術(shù)特點

1、搜索引擎解析內(nèi)核

熊貓利用的是搜索引擎的智能解析內(nèi)核，實現(xiàn)對網(wǎng)頁內(nèi)容的仿瀏覽器解析、分解、內(nèi)容提取、近似頁面比對等等。

2、內(nèi)置分詞/索引/檢索引擎

軟件內(nèi)置有熊貓獨(dú)立研發(fā)的分詞索引檢索引擎，用于文章的分詞、文章內(nèi)容相似度的分析匹配，摘要自動生成等應(yīng)用。性能強(qiáng)悍，內(nèi)存占用小，效率極高。

3、視覺模擬技術(shù)

熊貓采集軟件會模擬人的視覺來分析網(wǎng)頁，在此基礎(chǔ)上利用參考（模板）頁面實現(xiàn)采集匹配工作。

4、網(wǎng)站頁面邏輯關(guān)系分析技術(shù)

這是熊貓?zhí)赜械脑瓌?chuàng)技術(shù)。是熊貓采集軟件所依賴的基礎(chǔ)技術(shù)之一。