火車采集器是一款功能強(qiáng)大的數(shù)據(jù)采集軟件,用戶可以通過(guò)軟件進(jìn)行數(shù)據(jù)各式各樣的數(shù)據(jù)采集,用戶還可以自行設(shè)置時(shí)間及參數(shù),隨后一鍵啟動(dòng)即可,操作十分簡(jiǎn)單,對(duì)于提高我們的工作效率非常有幫助 ,如果有需要的用戶就快來(lái)下載吧。
功能介紹
1、通用性強(qiáng)
無(wú)論新聞、論壇、視頻、黃頁(yè)、圖片、下載類網(wǎng)站,只要通過(guò)瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容,通過(guò)指定匹配規(guī)則,都能采集到您所需要的內(nèi)容。
2、穩(wěn)定、高效
五年磨一劍,軟件不斷更新進(jìn)步,采集速度快,性能穩(wěn)定,占用資源少。
3、擴(kuò)展性強(qiáng)、適用范圍廣
自定義web發(fā)布,自定義主流的數(shù)據(jù)庫(kù)的保存和發(fā)布,自定義本地php及。net外部編程接口處理數(shù)據(jù),讓數(shù)據(jù)都能為你所用。
4、支持所有網(wǎng)站編碼
完美支持采集所有編碼格式的網(wǎng)頁(yè),程序還可以自動(dòng)識(shí)別網(wǎng)頁(yè)編碼。
5、多種發(fā)布方式
支持目前所有主流和非主流的CMS,BBS等網(wǎng)站程序,通過(guò)系統(tǒng)的發(fā)布模塊能實(shí)現(xiàn)采集器和網(wǎng)站程序間的完美結(jié)合。
6、全自動(dòng)
無(wú)人值守工作,配置好程序后,程序?qū)⒁罁?jù)您的設(shè)置自動(dòng)運(yùn)行,完全無(wú)需人工干預(yù)。
7、本地編輯
本地可視化編輯已采集的數(shù)據(jù)。
8、采集測(cè)試
這是其它任何同類采集軟件所不能比的,程序支持直接查看采集結(jié)果并測(cè)試發(fā)布。
9、管理方便
使用站點(diǎn)+任務(wù)方式管理采集節(jié)點(diǎn),任務(wù)支持批量操作,再多的數(shù)據(jù)管理也很輕松。
軟件特色
1、規(guī)則自定義
通過(guò)采集規(guī)則的定義,可以搜索所有網(wǎng)站采集幾乎任何類型的信息。
2、多任務(wù),多線程
可以同時(shí)進(jìn)行多個(gè)信息采集任務(wù),每個(gè)任務(wù)可以使用多個(gè)線程。
3、所見(jiàn)即所得
任務(wù)采集過(guò)程所見(jiàn)即所得,過(guò)程中遍歷的鏈接信息、采集信息、錯(cuò)誤信息等都會(huì)及時(shí)的反映在軟件界面中。
4、數(shù)據(jù)保存
數(shù)據(jù)邊采集邊自動(dòng)保存到關(guān)系數(shù)據(jù)庫(kù)中,并且數(shù)據(jù)結(jié)構(gòu)能夠自動(dòng)適應(yīng),軟件可以根據(jù)采集規(guī)則自動(dòng)創(chuàng)建數(shù)據(jù)庫(kù),以及其中的表和字段,也可以通過(guò)導(dǎo)庫(kù)方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫(kù)結(jié)構(gòu)中。
5、斷點(diǎn)續(xù)采
信息采集任務(wù)可以在停止后從斷點(diǎn)開(kāi)始繼續(xù)采集,從此你用不再擔(dān)心你的采集任務(wù)意外中斷了。
6、網(wǎng)站登錄
支持網(wǎng)站Cookie,支持網(wǎng)站可視化登錄,即使登錄時(shí)需要驗(yàn)證碼的網(wǎng)站也能采集。
7、計(jì)劃任務(wù)
通過(guò)這個(gè)功能可以讓你的采集任務(wù)定時(shí)、定量或者一直循環(huán)執(zhí)行。
8、采集范圍限制
可以根據(jù)采集的深度和網(wǎng)址的標(biāo)識(shí)來(lái)限制采集的范圍。
9、文件下載
可以將采集到的二進(jìn)制文件(諸如:圖片、音樂(lè)、軟件、文檔等等)下載到本地磁盤或者采集結(jié)果數(shù)據(jù)庫(kù)中。
10、結(jié)果替換
可以將采集的結(jié)果根據(jù)規(guī)則替換成你定義的內(nèi)容。
11、條件保存
可以根據(jù)某個(gè)條件來(lái)決定那些信息保存,那些信息過(guò)濾。
12、過(guò)濾重復(fù)內(nèi)容
軟件可根據(jù)用戶設(shè)置和實(shí)際情況對(duì)重復(fù)內(nèi)容和重復(fù)網(wǎng)址自動(dòng)刪除重復(fù)內(nèi)容。
13、特殊鏈接識(shí)別
運(yùn)用此功能可以將用JavaScript動(dòng)態(tài)生成的鏈接或其他更古怪的連接識(shí)別出來(lái)。
14、數(shù)據(jù)發(fā)布
可以通過(guò)自定義接口,將已采集的結(jié)果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫(kù)中。現(xiàn)在已支持的目標(biāo)發(fā)布媒體包括:數(shù)據(jù)庫(kù)(access, sql server,my sql,oracle) ,靜態(tài)htm文件。
15、預(yù)留編程接口
定義多個(gè)編程接口,用戶可以在事件中利用PHP,C#語(yǔ)言進(jìn)行編程,擴(kuò)充采集功能。
菜單功能
1、新建分組
新建一個(gè)任務(wù)分組,選擇所屬分組,確定分組名稱和備注。
2、新建任務(wù)
確定所屬分組,新建一個(gè)任務(wù),填寫任務(wù)名稱并保存。
3、Web發(fā)布配置
Web發(fā)布配置定義了如何登陸一個(gè)網(wǎng)站以及向該網(wǎng)站提交數(shù)據(jù)。
主要涉及到登錄信息的獲取,網(wǎng)站編碼設(shè)定,欄目列表的獲取,以及使用數(shù)據(jù)測(cè)試發(fā)布效果。
4、Web發(fā)布模塊
可以定義網(wǎng)站登錄,獲取欄目列表,獲取網(wǎng)頁(yè)隨機(jī)值,內(nèi)容發(fā)布參數(shù),以及上傳文件,構(gòu)造發(fā)布數(shù)據(jù)等高級(jí)功能。
5、數(shù)據(jù)庫(kù)發(fā)布配置
數(shù)據(jù)庫(kù)發(fā)布配置定義了數(shù)據(jù)庫(kù)鏈接信息的設(shè)置以及數(shù)據(jù)庫(kù)模塊的選擇。
6、數(shù)據(jù)庫(kù)發(fā)布模塊
用于編輯數(shù)據(jù)庫(kù)的發(fā)布模塊,方便我們將數(shù)據(jù)發(fā)布到配置好的數(shù)據(jù)庫(kù)中。
火車采集器可選mysql、sqlserver、oracle、access四種數(shù)據(jù)庫(kù)類型,在文本輸入框中填寫sql語(yǔ)句
。ㄐ栌袛(shù)據(jù)庫(kù)相關(guān)知識(shí)),并可使用標(biāo)簽替換相應(yīng)數(shù)據(jù)。也可在采集器模塊文件夾中加載某一模塊進(jìn)行編輯。
7、計(jì)劃任務(wù)
設(shè)置列表中采集任務(wù)的啟動(dòng)計(jì)劃,可每間隔、每天、每周、僅一次、或自定義Cron表達(dá)式,
(Cron表達(dá)式的寫法可參考相關(guān)術(shù)語(yǔ)中的介紹)。保存設(shè)置后,任務(wù)即可按照設(shè)置執(zhí)行。
8、插件管理
插件是可以用來(lái)擴(kuò)展火車采集器功能的程序
火車采集器V9支持PHP源碼、C#源碼、C#類庫(kù)三種類型的插件,
可用于擴(kuò)展http請(qǐng)求、內(nèi)容處理和文件下載的功能,并可以分別進(jìn)行測(cè)試。
9、http二級(jí)代理
網(wǎng)絡(luò)中的服務(wù)器,可以讓網(wǎng)絡(luò)用戶去取得所需要的網(wǎng)絡(luò)信息。
代理的功能有可以突破自身ip的訪問(wèn)限制訪問(wèn)國(guó)外站點(diǎn),訪問(wèn)一些單位或團(tuán)體內(nèi)部資源,
突破電信的ip封鎖和隱藏真實(shí)的ip等。
火車采集器V9支持http代理、socket4和socket5代理。
10、http模擬請(qǐng)求
可以設(shè)置如何發(fā)起一個(gè)http請(qǐng)求,包括設(shè)置請(qǐng)求信息,返回頭信息。并具有自動(dòng)提交的功能。
更新日志
火車采集器V9.21版
1、自動(dòng)獲取cookie功能優(yōu)化。
2、數(shù)據(jù)庫(kù)發(fā)布增加事務(wù),優(yōu)化數(shù)據(jù)庫(kù)發(fā)布速度。
3、數(shù)據(jù)轉(zhuǎn)換速度優(yōu)化(針對(duì)Mysql和SqlServer數(shù)據(jù)庫(kù)的導(dǎo)入), 同時(shí)去除網(wǎng)址庫(kù)的清空邏輯。
4、html標(biāo)簽處理錯(cuò)誤問(wèn)題處理。
5、json提取關(guān)于數(shù)字轉(zhuǎn)換為科學(xué)計(jì)數(shù)法問(wèn)題處理。
6、發(fā)布測(cè)試時(shí),圖片上傳無(wú)效的問(wèn)題處理。
7、采集內(nèi)容頁(yè)處理錯(cuò)誤時(shí),增加對(duì)于當(dāng)前出錯(cuò)標(biāo)簽的提示,以便快速定位出錯(cuò)標(biāo)簽。
8、任務(wù)批量編輯,增加可操作范圍。
9、循環(huán)匹配匹配空格問(wèn)題處理。
10、刷新分組中增加統(tǒng)計(jì)數(shù)據(jù)的刷新。
11、post分頁(yè)處理。
12、部分功能邏輯優(yōu)化。
火車采集器V9.9版
1、優(yōu)化效率修復(fù)運(yùn)行大量任務(wù)時(shí)運(yùn)行卡頓問(wèn)題。
2、修復(fù)大量代理時(shí)配置文件鎖死程序退出問(wèn)題。
3、修復(fù)部分情況下mysql鏈接不上問(wèn)題。
4、其它界面和功能優(yōu)化。
火車采集器V9.8版
1、“遠(yuǎn)程管理” 正式升級(jí)為 “私有云”,全面優(yōu)化調(diào)整。
2、布模塊增加自定義頭信息的增加。
3、采集線程間隔調(diào)整,增加自定義區(qū)間設(shè)置。
4、長(zhǎng)時(shí)間使用后的運(yùn)行卡頓問(wèn)題修復(fù)。
5、二級(jí)代理,IP輸入框修改為普通TextBox。增加代理免驗(yàn)證的功能。
6、分組丟失、死循環(huán)問(wèn)題修復(fù)。
7、ftp上傳,增加超時(shí)處理。
瀏覽輔助
瀏覽輔助
瀏覽輔助
瀏覽輔助
瀏覽輔助
瀏覽輔助
黑盒語(yǔ)音官方電腦版是一款非常好用的語(yǔ)音通話工具,占用空間小,運(yùn)作流暢。黑盒語(yǔ)音官方電腦版支持游戲內(nèi)的覆蓋和語(yǔ)音提示,玩家還可以創(chuàng)建專屬于自己的語(yǔ)音房間,隨時(shí)享受絲滑的組隊(duì)體驗(yàn),感興...
幕布是一款簡(jiǎn)單好用的思維導(dǎo)圖軟件,提供了記錄筆記、思維整理、任務(wù)管理、內(nèi)容創(chuàng)作等多項(xiàng)功能,幫助用戶有條理地組織內(nèi)容。幕布軟件是完全免費(fèi),且操作簡(jiǎn)單,即使沒(méi)有任何操作經(jīng)驗(yàn)的用戶也能快...
抖音直播伴侶電腦版是一款高效便捷的直播輔助工具,支持娛樂(lè)、游戲、電商等多種直播類型,滿足不同主播的直播需求。抖音直播伴侶電腦版打造簡(jiǎn)潔明了的界面,操作便捷,一鍵點(diǎn)擊即可開(kāi)播,能夠清...
網(wǎng)易七魚(yú)集客戶服務(wù)、工單管理、智能機(jī)器人等功能于一體,可以幫助用戶高效處理客戶咨詢。網(wǎng)易七魚(yú)支持智能路由、自動(dòng)回復(fù)等功能,可以減輕人工壓力,提升服務(wù)效率與質(zhì)量,也支持多渠道接入,確...
京東咚咚商家版是專業(yè)好用的商家助手軟件,提供了在線客服、即時(shí)的消息提醒、訂單管理等多項(xiàng)功能,滿足商家不同的使用需求。京東咚咚商家版內(nèi)置多項(xiàng)實(shí)用功能,包含商家查詢訂單信息、售后服務(wù)單...
夸克網(wǎng)盤是夸克推出的云服務(wù)產(chǎn)品,提供了云存儲(chǔ)、高清看劇、文件在線解壓、PDF一鍵轉(zhuǎn)換等功能,操作輕松易上手,用戶可隨時(shí)輕松管理照片、文檔、手機(jī)資料等數(shù)據(jù)?淇司W(wǎng)盤的安全性高,有效保護(hù)...
發(fā)表評(píng)論
共0條
評(píng)論就這些咯,讓大家也知道你的獨(dú)特見(jiàn)解
立即評(píng)論以上留言僅代表用戶個(gè)人觀點(diǎn),不代表系統(tǒng)之家立場(chǎng)