系统定制开发今天感叹可以改完八阿系统定制开发哥早点下班，系统定制开发在吃饭的时候，系统定制开发就想着自己也写了一段时间了，系统定制开发看看百度这个强大的引系统定制开发擎能不能搜到我的博客文章。

1、系统定制开发发现文章被爬走了

系统定制开发吃饭的时候用手机搜的，系统定制开发感觉还挺开心，系统定制开发我还给朋友炫耀，你看，系统定制开发百度搜到的第一篇就是我的文章，而且还并非用我文章的标题搜索的，搜的是 2023年前端趋势。

后来打开电脑在思考，今天写点什么呢，于是怀着异常嗨皮的心情，用PC电脑打开百度搜索了一下，第一眼挺开心，但后来就不开心了，这明显不是我每天参与的社区CSDN啊，打开进去一看，文字还是那些熟悉的文章，截图还是那些熟悉的截图，但去了别人网上了，而且貌似阅读量比我的还高。

于是我打开了客服，问问有没有办法，毕竟深夜码字不易，大家写博客的很多和我应该有同样的心情，刚开始没有粉丝，没有阅读量很发愁，于是拼命的写，写着写着把自己那点干货写完了，发现还是没有效果。但是排名，阅读量还是上不去，你就说熬了一夜又一夜，是不是很沮丧，曾经多少次都想放弃。

2、一点思考

其实现在技术挺强大的，网络充斥着各种各样的烟雾弹，让人防不胜防，你想好好写一篇博客吧，也能被爬走，你说你如果说明了转载自哪里哪里，我也觉得开心一些，毕竟自己的认知被别人所接受了，然后希望可以拿到更远处，散播给更多需要帮助的人。但这全然不是啊。

之间我们探讨过一个问题，你的职业未来发展方向在哪里？

比如前端，java，越来越成熟，比如vue react，之前颠覆了jquery ，，现在慢慢变成了最熟人所用的前端技术栈，那么未来想要再次颠覆可能就很难了。

现在我们的网站都有自己的技术团队，那么你做的东西，可能技术点还是次要，数据才是最重要的。但对于现在越来越成熟的技术，我们是否能形成自己的反爬虫技术呢？

这个大数据时代，如果你想做一家网站，或者就是做一个知识网站，怎么可能花钱顾那么多人去写呢，所以phython一把，丰衣足食。

而现在phython工程师那么值钱，肯定是有大量的反爬技术的，也就是说这些爬手工程师其实也在不断精进自己的技术。他们也得背面试题，也得不断的游走面试。

爬虫首先爬的还是一些比较重要有含金量的东西，否则网络上海量的数据都爬过去，相比他们就算拥有10个阿里云也承受不住。他们可能使用的某些热门的链接，热门的关键词，先通过现有的搜索引擎进行搜索。

搜索到链接以后，遍历进行url访问，type以HTML的形式获取HTML文档内容，然后进行内容存库，这样就在他们的服务器形成了一篇文章。

所以我们在开发一个网页或者一个接口的时候，请求到服务端应该时候带有自己团队设定的headers请求头的，比如origin的设置，当服务端监测到origin不在白名单，是无法正常返回数据的。

其实headers的内容，一旦爬手发现规律后，也是可以仿造的，但这也给爬手们增加了一定的难度

比如base64 MD5 hash DES等手段，我们与服务端传输过程中的数据是加密过的，而爬虫爬过去的数据很明显是杂乱的，没法使用的。

我们都知道前端加密其实也并不太可靠，他需要与服务端形成一定的加密解密共识。而且前端目前还是必须要加载JS CSS文件进行页面渲染的，所以这种手段其实可以一定程度的抵抗爬重技术。

验证码都见过哪几种形式呢？4位扭曲的数字图片？还是需要滑动对应的图形，亦或是图片上显示着 X + Y = ？然后让口算，还是12306上8张图片，让你选择哪杯是茅台？这些都无形中加大了作弊的难度，因为服务端必须要求有一个验证码的值，所以人都不知道哪杯是茅台，爬虫能知道？

做为资深程序员，谁每天还不写俩八阿哥，要不测试怎么吃饭，怎么会有那么多线上问题。而一旦这个页面被爬走，你的bug将不再只是你个人的bug，你的bug将赋能与他人，你的bug也会慢慢成长，万一能把它们的系统搞崩溃呢