Linux系统Python编程实践(四)——python3爬取数据
2024-04-29 01:11:48

Linux系统Python编程实践(四)——python3爬取数据

摘要  :Python是程实一种面向对象的解释型计算机程序设计语言 ,具有丰富和强大的践p据库, 广泛应用于系统管理任务的处理和Web编程。本文主要介绍在Linux环境中有关python3.7.0的取数使用 ,包含怎么利用Python3爬取网站数据 ,程实怎么与Mysql数据库连接 ,践p据并将爬取古来的取数数据库保存打数据库中等内容。详细情况请参考下文 。程实

一 、践p据登录系统

1 、取数登陆linux系统

Linux系统Python编程实践(四)——python3爬取数据

2、查看默认的践p据Python

Linux系统Python编程实践(四)——python3爬取数据

备注  :按Ctrl+D或者执行命令exit()、quit()可以退出python 。取数

二 、程实Mysql数据库创建数据表

1、践p据登陆数据库

Linux系统Python编程实践(四)——python3爬取数据

2、创建数据表

执行指令创建数据表iciba_daily_sentence 。执行效果如下

Linux系统Python编程实践(四)——python3爬取数据

三、Python3爬取网站数据

1 、安装Python3爬取工具包

Python爬取数据使用到的模块有json,pymysql和requests模块,json是python自带的,pymysql和requests需要安装。其安装过程如下。

执行pip3指令安装pymysql模块  。如下图

Linux系统Python编程实践(四)——python3爬取数据

执行pip3指令安装requests模块 。如下图

Linux系统Python编程实践(四)——python3爬取数据

2 、Python3爬取金山词霸每日一句并保存到MySQL数据库

执行指令# vim iciba.py编写爬取数据程序。如下图

Linux系统Python编程实践(四)——python3爬取数据

备注:代码中的JSON字段解释如下:

属性名

属性值类型

说明

dateline

String

时间

caption

String

标题

content

String

英文内容

fenxiang_img

String

合成图片,分享微博用的

note

String

中文内容

picture

String

图片地址

picture2

String

大图片地址

translation

String

词霸小编

tts

String

音频地址

执行指令# python iciba.py的效果如下图

Linux系统Python编程实践(四)——python3爬取数据

3、查看mysql数据库

执行数据库指令> select * from iciba_daily_sentence; 查询效果如下

Linux系统Python编程实践(四)——python3爬取数据

(作者:汽车音响)