数据采集与处理

高职大二第一学期

返回课程列表

课程概述

《数据采集与处理》是商务数据分析与应用专业的专业课程，面向高职大二第一学期学生开设。本课程旨在帮助学生掌握数据采集的方法和工具，以及数据预处理和清洗技术，为后续的数据分析课程打下基础。

课程内容包括网络爬虫、API调用、数据存储等数据采集方法，以及数据清洗、转换、集成等数据预处理技术。通过本课程的学习，学生将能够从各种数据源获取数据，并进行有效的数据预处理，为数据分析做好准备。

学习目标

知识目标

  • 掌握数据采集的基本概念和方法
  • 理解网络爬虫的原理和实现方法
  • 熟悉API调用和数据接口使用
  • 了解数据预处理的基本技术和方法

能力目标

  • 能够使用Python编写简单的网络爬虫
  • 能够调用API获取数据
  • 能够进行数据清洗和预处理
  • 能够存储和管理采集的数据

课程大纲

第1周：数据采集概述

  • 数据采集的概念和重要性
  • 数据源类型
  • 数据采集方法概述
  • 数据采集的伦理和法律问题

第2-3周：网络爬虫基础

  • HTTP协议基础
  • HTML结构与解析
  • 使用requests库发送HTTP请求
  • 使用BeautifulSoup解析HTML
  • 实践：简单的网页数据采集

第4-5周：高级网络爬虫

  • 动态网页爬取
  • 反爬虫机制与应对策略
  • 多线程与异步爬虫
  • 使用Scrapy框架
  • 实践：复杂网站数据采集

第6-7周：API数据采集

  • API的概念和类型
  • RESTful API基础
  • API认证与授权
  • 使用Python调用API
  • 实践：API数据采集

第8周：数据存储

  • 数据存储方式概述
  • 文件存储（CSV、JSON、Excel）
  • 数据库存储
  • 实践：数据存储操作

第9-10周：数据清洗

  • 数据质量评估
  • 缺失值处理
  • 异常值检测与处理
  • 数据去重
  • 实践：数据清洗操作

第11-12周：数据转换与集成

  • 数据类型转换
  • 数据格式标准化
  • 数据集成方法
  • 实践：数据转换与集成

第13-14周：数据采集与处理实战

  • 商务数据采集案例
  • 综合项目实践
  • 项目展示与评价

第15周：课程总结与考核

  • 课程内容总结
  • 数据采集与处理工具推荐
  • 课程考核

评估方式

平时成绩 (40%)

包括课堂参与、作业完成情况、实验报告等

实验项目 (30%)

数据采集与处理实验和小型项目

期末考核 (30%)

数据采集与处理综合项目

参考资料

推荐教材

  • 《Python网络爬虫实战》，崔庆才，人民邮电出版社
  • 《数据清洗与预处理》，刘顺祥，机械工业出版社
  • 《Python数据分析》，Wes McKinney，人民邮电出版社

参考网站

联系方式

邮箱

lina.zheng@gdpt.edu.cn

电话

0756-1234567

地址

广东省珠海市金湾区广东科学技术职业学院