采用一定手段“爬蟲”可防可控

　　任何事情都有兩面，“爬蟲”技術(shù)也不例外。

　　在閆懷志看來，“爬蟲”既可為正常的數(shù)據(jù)批量獲取提供有效的技術(shù)手段，也可被惡意使用以獲取不當利益。如果“爬蟲”技術(shù)被不正當利用，就會帶來一定的危害。

　　首先，威脅數(shù)據(jù)安全。航空公司售票網(wǎng)站數(shù)據(jù)被惡意爬取，數(shù)據(jù)可能會被機票代理公司惡意利用，而且還存在被同業(yè)競爭對手獲取的風險。

　　其次，導致系統(tǒng)性能下降，影響用戶體驗。“爬蟲”大量的抓取請求會導致航空公司售票網(wǎng)站服務器資源負載上升、性能下降，網(wǎng)站響應變慢甚至無法提供服務，對用戶搜索和交易體驗造成負面影響。但由于存在巨大的灰色利益空間，同時“反爬蟲”技術(shù)在與“爬蟲”對抗中作用有限，使得這種顯失公平的“作弊”方式成為擾亂機票市場秩序的技術(shù)“頑疾”。

　　“從技術(shù)角度來看，阻擊‘爬蟲’可以通過網(wǎng)站流量統(tǒng)計系統(tǒng)和服務器訪問日志分析系統(tǒng)。”閆懷志說，通過流量統(tǒng)計和日志分析，如果發(fā)現(xiàn)單個IP訪問、單個session訪問、User-Agent信息超出設定的正常頻度閾值，則判定該訪問為惡意“爬蟲”所為，將該“爬蟲”的IP列入黑名單以拒絕其后續(xù)訪問。

　　再就是設置各種訪問驗證環(huán)節(jié)。比如，在可疑IP訪問時，返回驗證頁面，要求訪問者通過填寫驗證碼、選取驗證圖片或者字符等方式實現(xiàn)驗證。如果是惡意“爬蟲”爬取，顯然很難完成上述驗證操作，進而可以封鎖該“爬蟲”的訪問，防止其惡意爬取信息。

　　互聯(lián)網(wǎng)空間不能有“灰色地帶”

　　當前，云計算、大數(shù)據(jù)等為代表的新一代信息技術(shù)處在高速發(fā)展階段。

　　“上述新技術(shù)如果被非法或者不當應用，則會產(chǎn)生嚴重的危害?；ヂ?lián)網(wǎng)空間安全需要建立健全完善的保護體系，絕不能‘裸奔’。”閆懷志說。

　　2017年6月1日，我國網(wǎng)絡安全法正式實施，明確了各方在網(wǎng)絡安全保障中的權(quán)利與責任。這是中國網(wǎng)絡空間治理和法制建設從量變到質(zhì)變的重要里程碑，這部法律作為依法治網(wǎng)、化解網(wǎng)絡風險的法律重器，成為我國互聯(lián)網(wǎng)在法治軌道上健康運行的重要保障。

　　然而，目前對于高科技“黃牛”倒票行為，尚未有明確規(guī)定，使得惡意爬取信息并不當獲利行為處在法律法規(guī)監(jiān)管的“灰色地帶”。

　　閆懷志介紹，國際上，針對“爬蟲”應用，專門制訂了Robots協(xié)議(即“爬蟲”協(xié)議、網(wǎng)絡機器人協(xié)議等)。該協(xié)議全稱為“網(wǎng)絡爬蟲排除標準”，網(wǎng)站可通過該協(xié)議告知“爬蟲”可以爬取哪些頁面及其信息，不能爬取哪些頁面及其信息。該協(xié)議作為網(wǎng)站和“爬蟲”的溝通方式，用來規(guī)范“爬蟲”行為，限制不正當競爭。

　　作為國際互聯(lián)網(wǎng)界通行的道德規(guī)范，該協(xié)議的原則是：“爬蟲”及搜索技術(shù)應服務于人類，同時尊重信息提供者的意愿，并維護其隱私權(quán);網(wǎng)站有義務保護其使用者的個人信息和隱私不被侵犯。這就規(guī)定了爬取者和被爬取者雙方的權(quán)利和義務。

　　一位不愿具名的法律專家也表示，“反爬蟲”不僅要依靠技術(shù)防范和業(yè)界自律，還應該通過完善管理和法律法規(guī)手段來約束這種行為，尤其是法律手段才能彰顯懲治力和震懾力。航空公司也要完善賬期管理，不給“爬蟲”搶票提供機會。(記者付麗麗)