Node.js 爬虫从 0 到 1

作者/分享人:小北
向 Ta 提问
前端工程师,目前就职于清华大学大数据研究中心,react前端工程师,酷爱nodejs,坚信js会一统天下!

使用 Node.js 编写爬虫,爬取自己需要的数据,不用再去花费大量精力去学习 Python(建议有精力的还是学学),使用 JS 即可完成爬虫。

本场 Chat 我会讲解 Node 环境搭建,爬虫从简单到复杂,HTTP 请求头的伪装,以及如何利用 Chrome 浏览器进行简单的数据抓包。

已有255人预订
预订达标
文章出炉
交流日期
     
17.10.20
17.10.30
17.11.07 20:30
查看文章评论/提问
比丢
如果有nginx防盗链是不是就没辙了?如果有,该怎么实现?
小北: 文章里提到了,加个renferer,就可以解决
zhangwang
其实觉得既然讲到爬虫,也许该讲讲代理池,cookie池,或者如何设置代理如何设置cookie。。觉得讲得还是有点浅
小北: 这是第一次做chat,面相大多数人,以能听懂为目的,代理池这块文章里没有提到,后续有时间会把这块补充上,谢谢你的意见!
hez
爬取下来的图片,不能查看,没有后缀
你可能还喜欢
解读《阿里巴巴 Java 开发手册》背后的思考
Hollis
LeetCode 刷题指南以及常见算法题解题思路总结
kerry
初探 Kafka
阿福
高并发系统缓存实战入门
饿了么物流技术团队
7 天从 Java 工程师转型为 Go 工程师
DIU哥
大数据开发面试指南
王知无
微信扫描登录
关注提示×
扫码关注公众号,获得 Chat 最新进展通知!