Shuaijun‘s Grows Up

ShuaiJun的信封

基本信息(属性/职业)

姓名:吕帅君
性别:
爱好:旅游,桌游,电竞and♀
博客:shuaijun777.coding.me
目前工作:爬虫/后台/逆向工程师
工作时长:2016-07, 至今
年龄:24
学校:烟台大学
专业:物联网工程专业
邮箱:lvshuaijun123456@163.com


人生格言

It’s better to burn out than to fade away


技能简介(QWER)

Q

  • 熟练掌握MacOs,Linux,Windows,Android等系统,能够自主搭建集成环境。
  • 熟练掌握常用数据库如:MySQL, MongoDB, redis等数据库使用。
  • 熟练使用git管理源代码。
  • 代码风格良好,熟练应用restful api,PEP8等编码风格。

W

  • 熟练掌握python语言。
  • 熟练掌握MarkDown语法。
  • 熟悉各种基本加密算法,了解TCP/UDP/HTTPS等网络协议。
  • 熟悉docker,能够编写并部署docker服务。
  • 熟练掌握Wsgi,flask,django等交互框架。
  • 了解各种编程语言,如:java, object-c, smail, 汇编,android等等。
  • 熟练使用IDA Pro 7.0, Android Studio, Postman, Charles, Wireshark, jadx-tool等软件。

E

  • 熟练掌握scrapy,scrapy-redis等爬虫框架。
  • 熟练掌握线程,协程和进程等并熟练应用以提高爬虫效率。
  • 熟练掌握自动化测试控件(selenium,puppeteer等)
  • 熟练使用js,css,HTML等前端技术。
  • 能够根据需求逆向网页js。
  • 自主研究并攻破过各种反爬手段。

R

  • 代码简洁干净,略有代码洁癖,对代码逻辑性和可扩展性有很高的要求。
  • 熟悉逆向流程并且对逆向安全十分感兴趣并以之为方向。
  • 具有较强的逻辑思维能力和耐心。
  • 对新型技术乐此不疲,喜欢研究和破解!

工作经历(2016-07至今)

[2018-07] >> [至今]

所在公司:深圳市小赢科技有限责任公司

任职: 后端+爬虫工程师

主要工作内容:

  1. 全权负责并研发信用卡账单项目。
  2. 接手电商项目,并且将爬取完整率和成功率均提升至98%。
  3. 组内唯一负责逆向研究,并且成功找到获取芝麻分途径。

成长自述:

小赢给了我很大的帮助和成长空间,让我从单纯的爬虫工程师,接触到了后台,数据,甚至是逆向等之前从未接触过的领域。成功脱变成了一个成熟稳重,逻辑思维清晰的工程师,并且有了对架构,逆向等有了不一样的理解。


[2018-04] >> [2018-07]

所在公司:北京今晨盛辉信息技术有限公司

任职:爬虫工程师

主要工作内容:

  1. 负责对p2p平台后台的授权登陆破解及用户数据分布式爬取(主要是h5)
  2. 负责对互联网金融论坛数据爬取,并且解析入库。
  3. 负责不同业务服务配置docker,研究macaca/emulator等android自动化测试工具。

成长自述:

今晨是在北京第一家公司,有非常良好的工作环境和氛围,让我充分的融入了北京快节奏的生活节奏,并且以极快的速度成长,因为公司处于创业阶段,我能够尽可能多的尝试不同领域的工作内容,并且结实了很多优秀的小伙伴~


[2016-07] >> [2018-02]

所在公司:辽宁成大

任职:python工程师

主要工作内容:

  1. 海外贸易网站的分布式爬虫爬取系统研发,页面解析和结构化数据提取,海量数据存储和读取等。
  2. 研究贸易相关网站、网页、链接的形态,发现他们的特点和规律。
  3. 负责爬虫核心算法优化和研究,提升爬虫抓取质量和效率。
  4. 负责HTTPS、AJAX等各类网络请求分析,探索和研究高效数据抓去方案。

成长自述:
成大是一家以外贸为主的进出口贸易公司,也是我人生中第一家公司,它给予我的是非常充足的学习时间和充裕的学习内容,并且一个非常好的工作氛围,非常感谢各位哥哥姐姐们的帮助!


项目经历(2016-07至今)

由于项目内容较多,仅挑选较为重要项目简述

[2018-12] >> [至今]

项目名称:电商信息提取服务

项目概述:通过用户授权,登陆淘宝,抓取阿里相关账单和个人信息等数据,入库并存储。

项目主要涉及网站:淘宝网,支付宝主页

项目负责:

  • 自研服务(研究破解淘宝登陆以及支付宝登陆并自研抓取相关数据)
  • 第三方服务(用于自研服务的备用服务,能够实现和自研同样的效果)
  • 授权转接服务(用于分流任务转接到第三方备用登陆或者自研服务登陆)
  • 代理服务(用于自动话分配已存在代理ip供整个电商项目使用)
  • 滑块服务(使用selenium配合django等破解淘宝滑块)
  • 项目中涉及敏感用户信息脱敏工作。

项目其他涉及:采用灰度策略,打点系统,日志监控系统,日/周报系统,代理服务,定时系统全程监控服务的稳定性。

项目技术涉及:

  • gevent + wsgi + 多进程搭建交互框架。
  • js破解,逆向,反爬策略攻克。
  • 数据精度解析,数据精度脱敏。
  • selenium + django + 缓动函数 破解淘宝滑块(所有)

[2019-01] >> [2019-05]

项目名称:芝麻分项目

项目概述:通过逆向、hook服务、反编译等达到获取用户芝麻分效果。

项目主要涉及app:淘宝app

项目负责:

  • 调研芝麻分项目可行性,并且给出可行性方案。
  • 反编译app,并且成功找到相关加密入口,接口调用相关so文件,并尝试使用IDA动静结合逆向。
  • 和安全部门人员共同开发Xposed的hook服务。

项目技术涉及:反编译,android Xposed服务开发,逆向等相关技术。


[2018-04] >> [2018-07]

项目名称:polaris_crawler

项目概述:主要实现用户授权登陆多家p2p青苔,实现对其账单爬取,之后汇总在app上显示并提示用户定期还款。

项目主要涉及网站:分期乐,极速贷,京东白条,久融金融,你我贷,拍拍贷,信富期贷,熊猫分期,豆豆钱,光速微贷,极速贷吧,银河闪贷等。

项目负责:

  • 基于scrapy-redis框架的分布式爬虫框架开发及迭代。
  • 授权登陆反爬破解。
  • 账单,个人信息等信息提取入库。
  • 代码迭代更新,维护,测试。

项目其他涉及:MySQL,MongoDB,Redis等数据库应用,代理服务双线逻辑,动态可配置爬取服务。

项目技术涉及:scrapy-redis, docker化部署,js登陆破解,selenium自动化模拟登陆,macaca模拟登陆,第三方服务接入等。