摘要：是这样的有一次想要斗图配图就在网上搜索表情包然后发现了一个表情巨多的网站不小心动起了邪念产生了兴趣那就把它们存下来吧用请求了一下发现这个网站没有做反爬发现这里有的页面简单的切换一下页面可以发现第一页的链接是这样的所以以此类推构建一下所...
摘要：其次，解释器的主循环，一个名为的函数，读取字节码并逐个执行其中的指令。所有线程都运行相同的代码，并以相同的方式定期从它们获取锁定。无论如何，其他线程无法并行运行。 概述 如今我也是使用Python写代码好多年了，但是我却很少关心GIL的内部机制...
摘要：基于镜像构建自己的镜像官方镜像地址拉取官方的镜像交互式方式生成一个容器进入交互式容器，查看当前版本设置的阿里云镜像源确认一下是否配置成功我们的使用的是系统使用的是包管理器命令如默认的镜像源也比较慢，我们也换成国内的设 基于alpine镜像构...
摘要：可视化监控爬虫最近接到新的需求做可视化监控爬虫，搞了个小时终于成了。。。该端口不应该需要额外的权限。即可启动，默认登录名和密码代码借用崔庆才老师的代码链接最后结果意外发现的可视化界面也呈现出了监控结果。 可视化监控爬虫 最近接到新的需...
摘要：另外，由于在利用写文件时只使用了线程可重入锁，所以只能保证线程安全，多进程情况下会有并发写入的问题。解决方案重载类将也设为带时间后缀的形式，取消文件重名操作，仅在需要的时候关闭当前，打开一个新文件名的用文件锁替换线程锁代码如下 背景 ...
摘要：返回值函数可以且应该被视为一个独立的小程序。以下的函数是幂等的无论何时调用，其返回值都是。 与多数现代编程语言一样，在 Python 中，函数是抽象和封装的基本方法之一。你在开发阶段或许已经写过数百个函数，但并非每个函数都生而平等。写出「糟糕...
摘要：面试的心得体会简历制作我做了两份简历，用两个手机账号，两个简历名字，分别在各个招聘网站投了双份简历，一个是数据分析的简历一个是全栈开发的简历，我真正接触快年，不管是学习还是工作学到的东西，这两年大概掌握了前端爬虫数据分析机器学习技术，...
摘要：二面休息过后，就来了第二位面试官，面我运维的，运开嘛，如果没有运维知识肯定是不行的。后来的对话中，面试官也表示，可能之前做的更多的是的工作，对于容器这块不熟悉关系也不是很大。整个三面大概也持续了要有不到一个小时。 今天给大家分享我曾经...
摘要：为了以后的网络请求操作方向，我们这次简单的进行一些代码的封装操作。接下来，就是比较重要的爬虫代码部分了。这一次，我们可以简单的使用一下类和对象，并且加上简单的多线程操作。最后附上部分的代码，让我们的代码跑起来一会过后，就慢慢收图吧 获...
摘要：今天，我就用数据告诉你，书中到底有没有黄金屋。数据来源利用的拉勾爬虫爬取了拉勾杭州站，要求年工作经验的条招聘数据。原始数据的薪资是一个区间，将区间拆分为最低与最高两个变量。大专本科硕士工资单位月最低工资分布最高薪资 北起漠河南至曾母暗...
from collections import Counter import numpy as np l = ["a", "b", "c", "d", "a", "v", "s", "d", "c", "a...
摘要：总之，要永远做个学习者，但不仅仅只做学习者了解并践行学习实践阶段循环任何创造性学科的学习都可以分两个阶段，学习阶段和构建阶段，彼此不断重复。 初级开发者学Python容易陷入茫然，面对市面上种类众多的编程语言和框架，重要的是坚持自己的选择，...
摘要：正则表达式语法字符与字符类特殊字符以上特殊字符要想使用字面值，必须使用进行转义字符类包含在中的一个或者多个字符被称为字符类，字符类在匹配时如果没有指定量词则只会匹配其中的一个。 1. 正则表达式语法 1.1 字符与字符类 1 特殊字符：.^$?+*{}|...
摘要：平台自带导出结果的功能，但是运营在使用导出的时候，直接打开文件总会发现中文乱码的情况，小弟现将发现的解决方案提供在此，下面搞起来导出默认编码为，如果需要修改编码类型需要修改两个地方。修改修改把原来的替换成重启搞定 superset平台自带csv...
摘要：不同的人的路线图版本会有所不同。寻找答案从一无所知到无所不知如果你在这个过程中多次遇到困难，在知难而退之前努力尝试解决问题。并不是成为一个全面的开发人员所需要的唯一技能。首先进行一两个月的学习阶段，然后进入一个月的构建阶段。 初级开发...
摘要：嵌套可以嵌套使用以表示对象间的关系如外键关系。在下面的例子中，和对象是一对多的关系必须使用或参数避免无限递归也可以使用导入模块的方式传递嵌套，如自嵌套给传递字符串参数表示和对象本身的关系 schema嵌套 schema可以嵌套使用以表示对象间的关...
摘要：有三种方式创建自定义的。下面的例子判断某个对象是否是某个对象的作者，以及的属性是否出现单词自定义错误信息字段验证产生的错误信息可以在类级别或实例级别配置。在类级别时，可以定义为错误码和错误信息的字典映射在类实例化时，给参数传参对象 有...
摘要：创建实例时如果传递了，表示需要接收输入数据集合，装饰器注册预处理和后处理方法时需要传递参数。 预处理和后处理方法 数据的预处理和后处理方法通过pre_load, post_load, pre_dump和post_dump装饰器注册： from marshmallow import Schema, fields, ...
摘要：为了写好爬虫，我们需要准备一个火狐浏览器，还需要准备抓包工具，抓包工具，我使用的是自带的，加上，这两款软件的安装和使用，建议你还是学习一下，后面我们应该会用到。 妹子图网站----前言 从今天开始就要撸起袖子，直接写Python爬虫了，学习语言...
摘要：辛苦面试了好多家大小公司，在面试中也发现了自己的很多不足，也有很多的感悟，这里记录一下，为的是之后的学习与提高更有针对性。面试中的的题目就是准备不足的充分表现。其实大部分面试官都不会给什么反馈，只是机械地听答案，记录评价。 辛苦面试了...
摘要：爬虫分析首先，我们已经爬取到了多的用户个人主页，我通过链接拼接获取到了在这个页面中，咱们要找几个核心的关键点，发现平面拍摄点击进入的是图片列表页面。 简介 上一篇写的时间有点长了，接下来继续把美空网的爬虫写完，这套教程中编写的爬虫在实...
摘要：类的继承类继承有三种调用方式，其实是有区别的，听我慢慢道来第一种父类方法参数直接调用第二种方法参数直接调用在谁的类下调用，就找此类对应的下一个就是要继承的第三种方法参数找类名对应的的下一个，就是继承的，一般写本身的类名上下文管理器上下...
摘要：美空网数据简介从今天开始，我们尝试用篇博客的内容量，搞定一个网站叫做美空网网址为，这个网站我分析了一下，我们要爬取的图片在下面这个网址然后在去分析一下，我需要找到一个图片列表页面是最好的，作为一个勤劳的爬虫，我找到了这个页面列表页面被...
摘要：以下这些项目，你拿来学习学习练练手。当你每个步骤都能做到很优秀的时候，你应该考虑如何组合这四个步骤，使你的爬虫达到效率最高，也就是所谓的爬虫策略问题，爬虫策略学习不是一朝一夕的事情，建议多看看一些比较优秀的爬虫的设计方案，比如说。 （...
ChatGPT和Sora等AI大模型应用，将AI大模型和算力需求的热度不断带上新的台阶。哪里可以获得...
大模型的训练用4090是不合适的，但推理（inference/serving）用4090不能说合适，...
图示为GPU性能排行榜，我们可以看到所有GPU的原始相关性能图表。同时根据训练、推理能力由高到低做了...
89542767
社区管理员
白马啸西风