pytԴ??

       项目内容

       案例选择商品类目：沙发；数量：共页个商品；筛选条件：天猫、销量从高到低、价格元以上。

       以下是分析，源码点击文末链接

       项目目的

       1. 对商品标题进行文本分析，词云可视化。jsonclick函数源码

       2. 不同关键词word对应的sales统计分析。

       3. 商品的价格分布情况分析。

       4. 商品的销量分布情况分析。

       5. 不同价格区间的商品的平均销量分布。

       6. 商品价格对销量的影响分析。

       7. 商品价格对销售额的影响分析。

       8. 不同省份或城市的商品数量分布。

       9. 不同省份的商品平均销量分布。

       注：本项目仅以以上几项分析为例。

       项目步骤

       1. 数据采集：Python爬取淘宝网商品数据。

       2. 数据清洗和处理。

       3. 文本分析：jieba分词、wordcloud可视化。

       4. 数据柱形图可视化barh。

       5. 数据直方图可视化hist。

       6. 数据散点图可视化scatter。

       7. 数据回归分析可视化regplot。

       工具&模块：

       工具：本案例代码编辑工具Anaconda的Spyder。

       模块：requests、retrying、missingno、知识付费源码开发教程jieba、matplotlib、wordcloud、imread、seaborn等。

       原代码和相关文档后台回复“淘宝”下载。

       一、爬取数据

       因淘宝网是反爬虫的，虽然使用多线程、修改headers参数，但仍然不能保证每次%爬取，所以，我增加了循环爬取，直至所有页爬取成功停止。

       说明：淘宝商品页为JSON格式，这里使用正则表达式进行解析。

       代码如下：

       二、数据清洗、处理：

       (此步骤也可以在Excel中完成，再读入数据)

       代码如下：

       说明：根据需求，本案例中只取了item_loc、raw_title、view_price、view_sales这4列数据，主要对标题、区域、窥屏api接口源码价格、销量进行分析。

       代码如下:

       三、数据挖掘与分析：

       1. 对raw_title列标题进行文本分析：

       使用结巴分词器，安装模块pip install jieba。

       对title_s（list of list格式）中的每个list的元素（str）进行过滤，剔除不需要的词语，即把停用词表stopwords中有的词语都剔除掉：

       为了准确性，这里对过滤后的数据title_clean中的每个list的元素进行去重，即每个标题被分割后的词语唯一。

       观察word_count表中的词语，发现jieba默认的词典无法满足需求。

       有的词语（如可拆洗、不可拆洗等）却被cut，这里根据需求对词典加入新词（也可以直接在词典dict.txt里面增删，然后载入修改过的dict.txt）。

       词云可视化：

       安装模块wordcloud。

       方法1：pip install wordcloud。

       方法2：下载Packages安装：pip install 软件包名称。

       软件包下载地址：lfd.uci.edu/~gohlke/pyt...

       注意：要把下载的软件包放在Python安装路径下。

       代码如下：

       分析

       1. 组合、整装商品占比很高；

       2. 从沙发材质看：布艺沙发占比很高，比皮艺沙发多；

       3. 从沙发风格看：简约风格最多，北欧风次之，其他风格排名依次是美式、中式、红绿箱体指标源码设置日式、法式等；

       4. 从户型看：小户型占比最高、大小户型次之，大户型最少。

       2. 不同关键词word对应的sales之和的统计分析：

       （说明：例如词语‘简约’，则统计商品标题中含有‘简约’一词的商品的销量之和，即求出具有‘简约’风格的商品销量之和）

       代码如下：

       对表df_word_sum中的word和w_s_sum两列数据进行可视化。

       （本例中取销量排名前的词语进行绘图）

       由图表可知：

       1. 组合商品销量最高；

       2. 从品类看：布艺沙发销量很高，远超过皮艺沙发；

       3. 从户型看：小户型沙发销量最高，大小户型次之，大户型销量最少；

       4. 从风格看：简约风销量最高，北欧风次之，其他依次是中式、美式、日式等；

       5. 可拆洗、转角类沙发销量可观，也是颇受消费者青睐的。

       3. 商品的价格分布情况分析：

       分析发现，有一些值太大，为了使可视化效果更加直观，这里我们选择价格小于的商品。

       代码如下：

       由图表可知：

       1. 商品数量随着价格总体呈现下降阶梯形势，价格越高，在售的商品越少；

       2. 低价位商品居多，价格在-之间的商品最多，-之间的迷你世界助手iapp源码次之，价格1万以上的商品较少；

       3. 价格1万元以上的商品，在售商品数量差异不大。

       4. 商品的销量分布情况分析：

       同样，为了使可视化效果更加直观，这里我们选择销量大于的商品。

       代码如下：

       由图表及数据可知：

       1. 销量以上的商品仅占3.4%，其中销量-之间的商品最多，-之间的次之；

       2. 销量-之间，商品的数量随着销量呈现下降趋势，且趋势陡峭，低销量商品居多；

       3. 销量以上的商品很少。

       5. 不同价格区间的商品的平均销量分布：

       代码如下：

       由图表可知：

       1. 价格在-之间的商品平均销量最高，-之间的次之，元以上的最低；

       2. 总体呈现先增后减的趋势，但最高峰处于相对低价位阶段；

       3. 说明广大消费者对购买沙发的需求更多处于低价位阶段，在元以上价位越高平均销量基本是越少。

       6. 商品价格对销量的影响分析：

       同上，为了使可视化效果更加直观，这里我们选择价格小于的商品。

       代码如下：

       由图表可知：

       1. 总体趋势：随着商品价格增多其销量减少，商品价格对其销量影响很大；

       2. 价格-之间的少数商品销量冲的很高，价格-之间的商品多数销量偏低，少数相对较高，但价格以上的商品销量均很低，没有销量突出的商品。

       7. 商品价格对销售额的影响分析：

       代码如下：

       由图表可知：

       1. 总体趋势：由线性回归拟合线可以看出，商品销售额随着价格增长呈现上升趋势；

       2. 多数商品的价格偏低，销售额也偏低；

       3. 价格在0-的商品只有少数销售额较高，价格2万-6万的商品只有3个销售额较高，价格6-万的商品有1个销售额很高，而且是最大值。

       8. 不同省份的商品数量分布：

       代码如下：

       由图表可知：

       1. 广东的最多，上海次之，江苏第三，尤其是广东的数量远超过江苏、浙江、上海等地，说明在沙发这个子类目，广东的店铺占主导地位；

       2. 江浙沪等地的数量差异不大，基本相当。

       9. 不同省份的商品平均销量分布：

       代码如下：

       热力型地图

       源码：Python爬取淘宝商品数据挖掘分析实战

还有人用Lazarus吗？用Lazarus开发了个小应用

       使用Lazarus开发的应用，界面设计如上所示。使用者通过左侧的列表选择功能，中间的输入区域输入文本参数，点击运行后，结果将显示在底部的输出区域。这种设计旨在简化操作，减少在命令行或编辑器中执行Python脚本的步骤。

       开发此应用的初衷是提升效率，减少每次运行Python脚本时打开命令行或编辑器的需要。通过Lazarus，我们可以将Python脚本以特定格式handle(event, context) -> output封装，实现功能集成于界面中。这样，用户只需要在界面上配置输入参数和查看结果，无需频繁操作命令行或编辑器。

       应用的运行机制如下：主程序laz-run.exe启动后，会扫描modules文件夹下所有的子目录。解析manifest.json文件中的信息，用于创建界面上左侧的功能列表。当用户选择一个功能并点击“运行”时，程序读取输入参数，根据预先配置的模板文件创建入口脚本_tmp/bootstrap.py，然后调用python _tmp/bootstrap.py，读取输出结果并显示在output文本框中。

       简而言之，应用通过创建临时的Python脚本，调用逻辑功能的handle方法，并利用python.exe执行这些脚本来实现功能。此过程简单高效，减少了繁琐的命令行操作。

       以下为应用的部分代码示例，包括manifest.json、main.py和bootstrap.pyt文件。这些文件展示了如何配置功能、编写逻辑以及创建用于执行逻辑的临时脚本。

       Lazarus是一个开源的Free Pascal开发工具，支持Delphi兼容性，非常适合开发桌面端界面程序。它提供拖拉拽方式构建界面，拥有丰富的库支持多种功能，并且实现了“write once, compile anywhere”的特性，使得开发跨平台应用变得简单。

       尽管作者对Pascal语言缺乏基础，但通过参考官方文档和搜索相关资源，成功实现了应用的开发。Lazarus的文档和社区资源丰富，对于功能和库的使用提供了详细的指引。在开发过程中，作者主要依赖Lazarus官方Wiki来寻找实现功能的方法。

       在应用开发过程中，使用的功能主要来自Lazarus官方文档和库，其中一个特定的模块引擎是从GitHub上找到的源代码。此外，应用中实现的功能也是基于Lazarus的文档和社区资源，其中涉及到的功能和方法参考了Free Pascal wiki。

       如果在开发过程中遇到问题，欢迎在评论区提出。同时，有兴趣了解或参与开发的人可以关注微信公众号《还有人用Lazarus吗？开发了个小应用》。

python文件后缀是什么

       1. .py：这是您通常编写的Python源代码文件。

       2. .py3：尽管Python 3脚本通常使用.py扩展名，但有时也会看到.py3扩展名，它表示Python 3兼容的脚本。

       3. .pyc：此类文件包含编译后的字节码，是Python解释器为已编译的模块生成的。.pyc文件可以被反编译回.py文件，使用例如Easy Python Decompiler这样的工具。

       4. .pyo：在Python代码被优化（使用-O选项）时，可能会生成.pyo文件。然而，从Python 3.5开始，.pyo文件已不再使用，Python默认只使用.pyc文件。

       5. .pyd：这是Windows系统上的动态链接库（DLL）文件，与Python脚本相关联。

       6. .pyi：这些文件是MyPy工具使用的接口文件，也称为存根文件，它们符合PEP 中定义的类型注释规范。

       7. .pyw：这是Windows系统上用pythonw.exe执行的Python脚本，与普通的.py脚本相比，它不会打开控制台窗口。

       8. .pyx：.pyx文件是Cython源文件，它们将Cython代码转换为C/C++代码，以便在Python中使用。

       9. .pyz：这是Python脚本归档文件，根据PEP 定义，它们是包含标准Python脚本头后的二进制形式的压缩Python脚本（ZIP）文件。

       . .pywz：这是针对Windows系统的Python脚本归档文件，与.pyz类似，也是压缩的Python脚本（ZIP）文件。

       . .py[cod]：在.gitignore文件中，这种通配符表示可能是.pyc、.pyo或.pyd文件，用于指示忽略特定类型的Python文件。

       . .rpy：这些文件包含RPython脚本或扩展了特定应用程序或框架功能的Python脚本。

       . .pyde：这是处理使用的Python脚本，通常与开发环境或特定工具相关。

       . .pyp：这些文件是Py4D Python插件，用于与Py4D集成。

       . .pyt：这些文件是Python声明文件，用于特定目的，如与IDE或构建工具通信。

       以上是各种Python文件后缀的解释，每种后缀都代表Python编程中不同的用途和阶段。