Scrapy爬虫框架
6节课掌握Python爬虫视频
如果你想好了就放手去学吧！万和IT教育有专业的针对零基础学员的IT技能学习班，小班面授教学，还有大牛老师手把手教，让你快速入门，少走弯路！祝你早日变身为高端程序员！
Python学习路径和个人增值（整合版），python整合
PS：内容来源于网络
一、简介
Python是一种面向对象、直译式计算机程序设计语言，由Guido van
Rossum于1989年底发明。由于他简单、易学、免费开源、可移植性、可扩展性等特点，Python又被称之为胶水语言。下图为主要程序语言近年来的流行趋势，Python受欢迎程度扶摇直上。
二、数据分析路径
由于Python拥有非常丰富的库，使其在数据分析领域也有广泛的应用。由于Python本身有十分广泛的应用，本期Python数据分析路线图主要从数据分析从业人员的角度讲述Python数据分析路线图。整个路线图计划分成16周，120天左右。主要学习内容包括四大部分：
1）Python工作环境及基础语法知识了解（包括正则表达式相关知识学习）；
2）数据采集相关知识（python爬虫相关知识）；
3）数据分析学习；
4）数据可视化学习。
1）Python工作环境及基础语法知识了解：
对于Python基础语法学习部分，学习周期大概为4周，需要的相关资源在网络上都能找到免费的资源，而且质量都不错。相关中文资源如下：
1.1python工作集成环境包
Python(x,y):下载地址：
Pycharm：下载地址：
1.2python数据分析相关库（Pandas/Numpy/Scipy/Matplotlib）
如果安装了上面集成工作包，则下面的包不需要重新安装了。关于包的安装方法在学习资源图书中都有介绍，通常安装库采用pip方法，也可以用pip
list查询系统安装了哪些库。
1.3学习资源
1.3.1图书：
1）Python基础教程（第2版）[电子版图书自行百度]
2）深入浅出Head First python（中文版）[电子版图书自行百度]
1.3.2在线教程：
1）廖雪峰的python教程：
2）正则式学习：
1.3.3视频教程：
1）慕课网python入门：
2）慕课网python进阶：
云顶娱乐平台：零基础学习Python的学习路线图。 3）正则式学习视频：
2）数据采集学习：
对于数据采集部分的学习主要是通过python爬虫的学习了解基本的外部数据采集情况，当然也可以借助别人写好的规则库直接完成某些数据的采集。这部分内容的学习周期大概也为四周，需要的相关资源在网络上都能找到免费的资源，而且质量都不错。相关中文资源如下：
2.1爬虫学习在线教程：
1.Python爬虫入门一之综述：
2.Python爬虫入门二之爬虫基础了解：
3.Python爬虫入门三之Urllib库的基本使用：
4.Python爬虫入门四之Urllib库的高级用法：
5.Python爬虫入门五之URLError异常处理：
6.Python爬虫入门六之Cookie的使用：
7.Python爬虫入门七之正则表达式：
8.Python爬虫实战一之爬取糗事百科段子：
9.Python爬虫实战二之爬取百度贴吧帖子：
10.Python爬虫实战三之计算大学本学期绩点：
11.Python爬虫实战四之抓取淘宝MM照片：：
12.Python爬虫进阶一之爬虫框架Scrapy安装配置：
2.2视频教程：
Python简单爬虫开发：
3）数据分析：
Python数据分析的学习主要是对相关库的使用，比如数据整理需要用到numpy和pandas库，数据描述与分析分析则主要用到pandas库，从某种程度上讲，利用python进行数据分析的学习过程就是对库的学习过程。由于有了前面2部分内容的学习基础，本部分内容的建议学习练习时间也为4周，相关免费学习资源如下：
3.1学习资源
3.1.1图书：
利用python进行数据分析：]
3.1.2视频：
用python玩转数据：]
3.2数据分析的准备
1.了解数据——数据加载、储存与文件格式；异常值的清理与缺失值处理
2.数据清洗与初步分析——数据清理、转换、合并与重塑；数据汇总与描述统计；
3.绘图与可视化——基本绘图命令与图形概览、图形元素设定与实例：地震危机数据的可视化
4.数据聚合与分组处理——数据聚合、分组运算与转换、透视表与交叉表
3.3数据分析初探 1.假设检验——常用假设检验与实例分析
2.线性回归——线性回归模型、分析结果呈现与解读；实例：商品价格预测
3.logistic回归——logistic回归模型讲解；实例：电信客户流失分析
4.时间序列分析——时间序列基本处理、时间序列模型构建与结果解读；实例：未来股票价格预测
3.4深入数据分析
1.分类算法——knn、决策树、贝叶斯分类器等算法介绍；实例：网页注册用户预测
2.聚类算法——k-means算法介绍；实例：通信基站聚类分析
3.降维方法——主成分分析与因子分析算法介绍；实例：地区经济指标评分
4）数据可视化：
Python数据可视化学习的过程就是学习matplotlib库的过程，matplotlib库包含有丰富的数据可视化资源，地图、3D等等都有涉及，如果有前面3部分的学习经验的话，这部分内容在4周内也能解决。相关中文学习资源如下：
4.1图书：
Python数据可视化编程实战[电子版图书自行百度]：
4.2在线教程：
1.利用Python绘图和可视化（1）：
2.利用Python绘图和可视化（2）：
至此，Python数据分析相关学习内容介绍完了，上面介绍的多种资源，每个阶段只需选择其中的一种进行深入即可，更多更深的内容则需要自己去实践摸索。更多数据分析学习及数据分析工具参见数据导航网站。
三、其他资源
1.百度云：
2.有道云笔记：
3.用Python玩转数据 Data Processing Using Python
4.利用Python绘图和可视化（1）
5.利用Python绘图和可视化（2）
6.Python 中文官方文档
7.python入门基础教程
四、个人增值
第一部分:一些要求
1.学历
格式：计算机及相关专业本科及以上学历…..
不解释，不说明
毕业后很少再看学历了，更多的是看能力吧（我会告诉你第一年周围都是硕士博士海龟么，俺学历最低，自卑啊）
见过数学系、物理系、信息自动化系的跑过来当码农，唯一遗憾的是还没有见到中文系的…..
2.经验
格式：拥有X年以上经验，至少独立负责过X个项目
很蛋疼的东西，见过一年经验用N年的，也见过一年拥有N年经验的
受环境影响，但更多的是取决于个人
听过一句话：人和人的唯一区别，就是有木有主观能动性（略有些偏激，但是有道理）
3.基础素质
格式：具有良好的XXXX
编码规范/风格
文档书写习惯
沟通与表达能力，逻辑思维清晰
团队合作
动手能力/独立工作能力
进取心，求知欲，工作热情
善于学习，乐于分享，快速学习能力
能承受较大的工作压力
执行力
责任感
英文阅读能力
创新精神
对新技术敏感
独立分析、设计、解决问题的能力
这些都相对比较“虚”，不怎么好考察，面试+试用可以相对客观了解是否符合
个人认为，责任感+执行力，这两点足够了，其他一般不会差。
自我驱动的人，永远会getthingsdone.所以会不断去弥补自己的短板，其他对应能力即使不足，也能很快弥补
4.加分项
格式：XXXX优先
使用*nix系统
vim/Emacs编辑器
对开源技术有强烈兴趣和爱好，参与提交bug/patch
各种技术/经验(前端/hadoop/机器学习/数据挖掘/函数式编程)
为毛不是osx系统(╯‵□′)╯︵┻━┻
从一些侧面，查看一个人的特质吧
5.提供
格式:XXXX账号/地址
博客地址
github/bitbucket
stackoverflow
知乎
微博
搞技术的，很有必要建立自己的领地，搞一些东西
分享，更重要的是积累
第二部分：干货
关于Python后端开发要求
1.对Python有兴趣，熟悉Python(标准库)
最好阅读过源码
了解Python的优化(熟悉pypy更佳)
2.至少至少一门语言（不说“精通”）
起码熟悉其他基本语言
C/C++LispHaskellSchemegolangerlangJavaRRubyNode.jsPHPPerlLua
我选了Java(曾经擅长)/Golang/Lisp/Ruby/C/C++
3.数据结构和算法
数据结构和算法基础扎实
4.Python框架
Django/Tornado/Flask/Gevent/Web.py/Bottle/Celery/Twisted/NumPy
5.熟悉Linux
基本操作和命令
会Shell
版本Git/Svn
部署相关:Nginx/Gunicorn/Fabric/Virtualenv
6.数据库
熟悉Mysql等关系数据库使用
熟悉数据库设计
熟悉数据库调优/优化
有NoSQL使用经验Redis/MongoDB等
7.后端技术相关
Redis
Memcached
RabbitMQ/ZeroMQ
8.网络编程基础
熟悉tcp/ip协议，熟悉网络编程
了解常见的网络模型
多线程
9.前端相关
熟悉Web开发相关知识
熟悉HTML/CSS/Javascript/JQuery
熟悉AngularJS
10.其他
数据抓取，爬虫
beautifulsoup/scrapy
机器学习/数据挖掘/自然语言处理（推荐算法）
TDD
高并发系统
大容量存储系统
消息系统
Linux系统编程/网络编程
基于此，去构建自己的技能体系，然后针对各项逐渐深入
就这些，骚年，努力练级去吧
PS：内容来源于网络 一、简介 Python
是一种面向对象、直译式计算机程序设计语言，由Gui…
配套视频
并发编程：线程、进程、协程
第一阶段： Python基础：计算机组成原理和开发环境、基础语法、函数、文件操作、面向对象、异常处理、常见模块、项目实战：飞机大战。
配套视频：
第四阶段：Web开发
随着人工智能的火热发展，Python越来越成为企业稀缺人才，薪资也水涨船高，所以很多人选择入门Python，那么零基础入门学习都应该学习哪些内容？每个阶段都该重点掌握哪些知识点？下面随着万和小编一起来学习！
Python之云计算开发王者
mini-web服务器：根据网络服务的过程写出简易的web服务器
第四阶段： 爬虫开发：爬虫开发、Mongodb应用开发、Scrapy框架、项目：定制化爬虫框架TaskSpide
2.Linux入门教程
python具有
简单、易学、免费、开源、可移植、可扩展、可嵌入、面向对象等优点，它的面向对象甚至比java和C#.net更彻底；从事Python开发，所从事的工作机会和工作岗位及工作内容可选择的余地很多，未来发展的空间也很大。
据悉，Python已经入驻小学生教材，未来不学Python不仅知识会脱节，可能与小朋友都没有了共同话题~~所以，从今天起不要再找借口，不要再说想学Python却没有资源，赶快行动起来，Python等你来探索，高薪距你只差一步！
网络爬虫-利用python实现爬取网页神技-1
零基础学习Python的学习路线图
配套视频
自己建立的一个学习Python的组织，加入我会送一套我自己亲自整理的Python资料，以上我所讲的在我这里都能学习的到，大家就不用去苦苦寻找资料，从基础到精通，都有一套完善的资料供大家学习，让大家都能学好Python
第三阶段： Python全栈开发的学习：内容包含HTML+CSS、HTML5+CSS3、JS、jquery、Vue、后端开发常用框架、后端开发Django、全栈项目：电商平台
资料链接：https://pan.baidu.com/s/1smIsq2D
密码：man0
计算机组成原理：计算机组成部分、操作系统分类、B/S和C/S架构、理解软件与硬件的区别
第二阶段： Python高级和Linux操作系统的学习：Linux操作系统、网络编程、项目(网络web服务器)、MYSQL数据库、项目(Web框架)
爬虫开发的知识体系与相关工具：网络爬虫的原理以及相关爬虫工具
根据TIOBE最新排名
，Python已超越C#，与Java,C,C++一起成为全球前4大最流行语言。且，国内目前百度指数搜索量已经超越Java，与C++，即将成为国内最受欢迎的开发语言。
配套视频
Django框架视频
第五阶段： 人工智能：数据挖掘与分析、机器学习、神经网络、项目：智能金融交易平台
Javascript基础加强视频
文件的基本操作：文件的打开、编辑、关闭
python之大数据开发奇兵
第一阶段、Python基础
Python语法进阶：闭包、装饰器、生成器、迭代器
mini-web框架：可以编写简易的web服务器框架
vue.js入门到精通视频
知识点
四、2018新版Python学习路线图—各阶段配套视频推荐
找到线路图配套资料
1.Python就业前景剖析
所以我觉得仅仅对于小白来说，最重要的事情不是学完基础就继续。而是找到职业发展路径。知道发展了以后在去找重点去学习。
配套视频
如果未来发展是数据工程师：那么还要掌握自动化运维、数据挖掘和分析以及
一、2018新版Python学习路线图—每阶段市场价值及可解决的问题
Python之爬虫开发帝王-video
配套视频
2.找到图中配套知识点以及资料
Python网络爬虫案例1
Scrapy爬虫框架视频
Linux基础命令
Vue框架：框架的使用以及注意点
Flask web框架
PS的简单应用：Photoshop的基本使用、取色、图层
关于配套视频
可留邮箱，看到会邮箱回复的。
如果未来发展是web方面：那么我们需要主要学的是python的基础、python的进阶、前端开发以及web开发；
Python全栈教程快速搭建Web服务器
面向对象编程：类对象、实例对象、定义类、实例化对象
python网络爬虫第二天
Django
web框架的使用：框架的使用方法、模型介绍、ORM以及数据库操作、视图以及模板、Django中间件、Django
REST Framework、网站项目开发实战
Python之爬虫开发帝王
函数：定义函数、调用函数、函数的嵌套、递归函数
三、2018新版Python学习路线图—升级版Python成长路径
第三阶段：前端开发
Javascript基础加强视频
上面这样的知识点可能会说懵大家，直接看各个阶段的相关知识拆解：
二、2018新版Python学习路线图—学习大纲及各阶段知识点
数据库：关系型数据库、非关系型数据库、MySQL
Python之自运维开发明星
知识点：
那么未来发展是人工智能的话：就要学习机器学习人工智能相关知识；
Django框架开发
如果未来的发展是爬虫工程师：那么我们需要学的除了上面这四中还要加上爬虫。
定制化爬虫采集系统：数据的采集、分析
光学知识点没有用，因为真的不知道能做什么。可能有的人就知道，但是我当时不知道。所以，我觉得有必要清楚下面的图：
正则表达式：熟练舒勇re模块的各种方法
Scrapy框架：框架的原理以及使用
模块和包：理解模块和包的概念并学会使用
HTML的学习：HTML的文档结构、快速创建HTML方法
Python入门教程懂中文就能学会
JavaScript的学习：JavaScript的基本语法
整理出来各个阶段的项目
第二阶段、Python和Linux高级
Linux系统应用：Linux发行版系统的使用、基本的操作语句
网络编程：TCP/IP协议、服务器工作过程
Flask
web框架的使用：模板与表单、数据库的使用、单元测试、第三方扩展与部署、Redis缓存使用、GIT版本控制、云服务器的使用、验证码的收发、网站项目开发实战
01linux基础视频.rar
MongoDB数据库：数据库的增删改查
vuejs入门到精通商品视频教程
Web服务器案例视频
找到发展方向，选择合适的学习线路图
飞机大战游戏制作：自己独立完成飞机大战游戏
jQuery的学习：jQuery的使用
我一直都认为找到未来发展方向才是最重要的事情。我说说我自己吧，我一开始觉得python有发展方向，因为我是一个做推广的，也涉及到seo相关工作。我深知道数据的重要性，开始只是对python有了浓厚的兴趣，一腔热血准备学习python。但是，学了一些基础知识之后就放弃了，也许是因为书太厚看不下去，也许是因为不知道学的这些可以做什么。有一次工作当中，发现了爬虫对于我的推广工作很有利。很多杠精会说，有那么多可以爬虫的软件还学什么python，我就愿意自学哈。
流程控制语句：程序的执行顺序，顺序执行、循环执行、选择执行
知识点：
网络爬虫-利用python实现爬取网页神技-
Python入门教程完整版视频
懒人目录
函数高级应用：熟练使用函数的调用等
python就业前景剖析-大道你们挤，我去吃螃蟹-视频
爬虫实战项目：实用型综合爬虫应用
知识点：
我是一个从小白到自学了python的同学。扫了一眼回答，大家都是发资源项目。我想说个重点，找到以后自己的发展方向，你才有重点提高的方向讷！不知道题主的基础包括不包括：网络编程、并发编程、数据库编程、正则表达式、Linux系统应用、函数的高级应用这些不。如果包括，那么就开始做个mini-web框架，不包括那么就学这些。
给大家分享一套我自己整理的一套资料，加入就可以免费获取
Python爬虫，自动运维，数据分析，挖掘 Python基础 等
6节课入门Flask框架web开发视频
1.找到发展方向，选择合适的学习线路图
Python变量以及开发环境：字符串、数字、字典、列表、元祖等
异常处理：学会捕捉异常、自定义异常
CSS：CSS的使用
第五阶段：爬虫开发
