论坛里需要VIP账号才能下载资源,怎么用网络爬虫获取它的下载地址.先给50 ，答对了再加。速度解决
现在主流的论坛主要是使用DZ论坛，具有完善的附件管理和权限控制，没有明显的漏洞可以利用，这些文件都是动态通过程序进行下载的，不是你找到了目录就能通过HTTP方式进行下载的。
与其你在这里这么笼统的说要下载，不如说出你想要什么资源，这样说不定可以帮你进行替代资源的查找，特别是程序文档类的，经常不止一个地方有。
Good Luck~
爬虫可以爬取加密狗软件吗
可以。
加密狗是目前流行的一种软件加密工具。它是插在计算机接口上的软硬件结合的软件加密产品。，般有USB口和并口两种，又称USB加密狗和并口加密狗。
爬墙是通过外网进行的远程操作，硬件克隆复制针对的是国产芯片的加密狗，因为国产加密狗公司一般没有核心加密芯片的制造能力，因此有些使用了市场上通用的芯片，破解者分析出芯片电路 以及芯片里写的内容后，就可以立刻复制或克隆一个完全相同的加密狗。
用爬虫给软件自动输入测试密码
爬虫技术恐怕解决不了你这个winfrom的测试（Selenium是WEB自动化测试），建议了解下pywinauto和SpyLite。
我想做一个音乐硬盘，就是把全网各个平台免费下载的音乐自动下载到硬盘里，有没有什么软件或者好办法？
几种方法提供给你，自己选择：
一，Python网络爬虫
优点：自定义程度高，只要这个网站没有拦截，就可以无限爬取，下载位置，爬取网站等都可以自定义。
缺点：需要会Python编程，学习成本极高，从入门到成功爬虫至少需要一个月。
二，音乐助手软件
优点：任何平台的音乐都可以下载，而且付费也可以破解成免费，可以自定义保存位置。
缺点：可能需要一个一个下载，而且这种软件如果被查封，就没了。
三、下载各个平台音乐的客户端
优点：方便小白操作
缺点：可能需要花钱开vip
你的想法很新奇，但是没必要，浪费空间而且费时间，一般性的，你下载自己喜欢的作为缓存离线也可以听就好，其他时间在线听就ok。
爬虫代理服务器怎么用
如何使用SOCKS代理服务器
这里就到重点内容了，SOCKS代理是目前功能最为全面，使用最为稳定的代理服务器，我目前上网就只用SSH搭建SOCKS代理服务器上网，访问网络没有任何限制。下面我就着重讲一下如何使用SOCKS代理服务器。
用SSH搭建SOCKS代理上网，建议使用Firefox浏览器，因为Firefox支持SOCKS代理远程域名解析，而IE只能通过类似SocksCap这样的第三方软件实现，不是很方便。
配置Firefox浏览器
在Firefox设置SOCKS远程域名解析，主要是为了防止DNS污染，具体设置方法是，在Firefox地址栏中，输入 about:config ，按确认，修改里面的一项数值，
反反爬虫的技术手段有哪些?
反爬虫
就是和爬虫抗衡，减少被爬取。
因为搜索引擎的流行，网络爬虫已经成了很普及网络技术，
相当部分国内爬虫不遵守robots协议。
所有有了保护自己内容不让别人抓取的反爬虫需求
--------------------------反爬虫方法
1、手工识别和拒绝爬虫的访问
2、通过识别爬虫的User-Agent信息来拒绝爬虫
3、通过网站流量统计系统和日志分析来识别爬虫
4、网站的实时反爬虫防火墙实现
5、通过JS算法，文字经过一定转换后才显示出来，容易被破解。某技术网站采用了这种方法
6、通过CSS隐藏技术，可见的页面样式和HTML里DIV结构不同，增加了爬虫的难度，同时增加自己的维护难度。
技术网站采用了这种方法
7、通过JS不让用户复制，这对非专业人员有效，对技术人员/工程师来说，没有任何效果。不少网站采用。
8、通过flash等插件技术（会被破解，同时对用户不友好，有流失用户的可能性）。早期网站用得多，移动互联网来后，这种方式对用户不友好，少有专业网站采用了。
9、图片化
A:将文字图片化，增加了维护成本，和移动端的可读性
B:将标点符号图片化，再适当增加CSS混淆，这是一种较好的办法，不影响搜索引擎收录，不影响用户使用。但影响爬虫，是一种较好的反爬虫方式，某著名的文学网站采用了这种方法
10、交给专业反爬虫公司来处理
流程
1反爬虫混淆设计器 ----产生反爬虫混淆素材
2混淆素材---将服务器端文字变成不可阅读文字
3网络传输---不可阅读文字+混淆素材
4浏览器--绘制阶段显示可读文字
5浏览者能看见内容
但是无能有效复制，无法通过底层协议抓取
6混淆算法随时改变，只需要放入新素材就可以了，不需要工程师参与。
特点
依靠文字矩阵变换来提高蜘蛛爬虫软件抓取的代价.
由发布人员，而不是技术人员来更新混淆算法
保护方:内容保护的方法素材易复制,易部署和运营
抓取/窃取方:面对对方快速变化,增加了成本
对知乎内容使用爬虫爬取数据，为什么会遇到403问题
应该是知乎的反爬虫技术比较严，你试试前嗅的爬虫，我之前用它采企业信息系统的数据，他们反爬虫机制非常严格，后来用他们软件就可以写脚本破解，顺利采集到了。