4 天前 / 老白经
导读：使用 Python 中的scaffold和click库，你可以将一个简单的实用程序升级为一个成熟的命令行界面工具。本文字数：6674，阅读时长大约：8 分钟 使用 Python 中的scaffold和click库，你可以将一个简单的实用程序升级为一个成熟的命令行界面工具。 在我的职业生涯中，我写过、用过和看到过很多随意的脚本。一些人需要半自动化完成任务，于是它们诞生了。一段时间后，它们变得越来越大。它们在一生中可能转手很多次。我常常希望这些脚本提供更多的命令行工具式的感觉。
7 天前 / 老白经
来源丨数据 STUDIO 探索性数据分析是数据科学模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行 EDA 来研究数据集中内在的信息。自动化的 EDA Python 包可以用几行 Python 代码执行 EDA。在本文中整理了 10 个可以自动执行 EDA 并生成有关数据的见解的 Python 包，看看他们都有什么功能，能在多大程度上帮我们自动化解决 EDA 的需求。DTalePandas-profilingsweetvizautovizdataprepKLibdablspeedMLdatatileedaviz 1、D-TaleD-Tale 使用 Flask 作为后端、React 前端并且可以与 ipython notebook 和终端无缝集成。
8 天前 / 峻岭云松
引言在使用 Python 操作文件时，很多人会使用上下文管理器来操作。例如：12with open("xx.txt", mode="w") as f: f.write("Hello, World!") 该 with 语句启动上下文管理器。在此示例中，只要上下文处于活动状态，上下文管理器就会打开文件 xx.txt 并管理文件资源。通常，缩进块结束或引发异常，文件将关闭。可能很多初学者都会被建议这样用，可是为什么要这样写程序才更健壮？或者说为什么一定要关闭文件？ 从系统的角度看系统限制进程打开的文件数调用 open()打开文件时，会对操作系统进行系统调用，硬盘驱动器找到该文件并为读取或写入做好准备。
14 天前 / Inputing
【导语】：这篇文章主要讲了 Python 中的指针，Python 自动进行内存管理。开发者无需手动为对象分配内存，也不用在使用完对象后释放内存。但了解 Python 的内存管理机制，有助于开发者更好的编写代码。本文将介绍指针的概念，并对深拷贝进行解释。 简介与 C,C++ 这种静态语言相比，Python 是自动管理内存的，它采用“引用计数”的方式管理内存，即 Python 内部会记录对象有多少个引用，如果某个对象的引用计数大于 0，该对象就会一直存放在内存中；当对象的引用计数为 0 时，就会被垃圾回收机制回收。
19 天前 / 钢铁侠的知识库
钢铁知识库，一个学习 python 爬虫、数据分析的知识库。人生苦短，快用 python。 之前我们使用 requests 库爬取某个站点的时候，每发出一个请求，程序必须等待网站返回响应才能接着运行，而在整个爬虫过程中，整个爬虫程序是一直在等待的，实际上没有做任何事情。 像这种占用磁盘 / 内存 IO、网络 IO 的任务，大部分时间是 CPU 在等待的操作，就叫 IO 密集型任务。对于这种情况有没有优化方案呢，当然有，那就是使用 aiohttp 库实现异步爬虫。 aiohttp 是什么我们在使用 requests 请求时，只能等一个请求先出去再回来，才会发送下一个请求。
22 天前 / 浪客书心
背景在调用Python[1]函数 (See alsorealpython - Defining Your Own Python Function[2]) 的时候，往往需要传入一些参数。函数所需的参数被称为形式参数parameter[3]，传入的参数被称为实际参数argument[4](See also5 Types of Arguments in Python Function Definitions[5]))。 See also the FAQ question onthe difference between arguments and parameters[6], theinspect.Parameter[7]class, theFunction definitions[8]section, andPEP 362[9]. 我常常需要把一些实际参数收集起来，可能后续还要进行一些更新，并在需要的时候反复使用。
22 天前 / Inputing
1. Awkward Array 根据官方介绍，Awkward Array 用于嵌套的、大小不一的数据，包括任意长度的列表、记录、混合的类型和缺失数据，使用起来类似 NumPy。 看起来像是升级版的 NumPy 呀。 果然，不同长度的数组可以直接放在一起运算。 并且，官方表示 Awkward Array 不仅使用起来更简便，在速度和内存上也有量级的优势。 看看是不是可以安排上了～ https://pypi.org/project/awkward/ 2. Jupytext 相信大家对 Jupyter Notebook 都不陌生。
23 天前 / 博文视点Broadview
互联网是一个巨大的资源库，只要方法适当，就可以从中找到我们所需的数据。对于少量的数据，可以人工去找。但是对于大量的数据，如果在获取数据之后还要进行分析，则靠人工无法完成任务，这时就需要通过计算机程序帮助我们完成任务，这种程序就叫作网络爬虫（又叫作网页蜘蛛、网络机器人)。 “虫子”的第 1 阶段工作——爬取数据 爬取数据一般指从指定的网址爬取网页中的 HTML 代码，爬取数据的核心是网络通信，可以使用 Python 官方提供的 urllib.request 模块实现，代码如下： # coding=utf-8# 代码文件：code/chapter6/6.1.1.py# 爬取数据 import urll...
25 天前 / Python小二
2022 年 9 月 2 日晚上快 11 点了，打开微博一看话题东软登顶微博热榜第一了。 于是本能的点进话题一探究竟，这里也不多说了，给大家放几张图吧，看了你就明白了。 因为我们是 Python 号，这里用 Python 爬一下东软话题下最热的那条微博评论。 看一下主要实现代码： #爬取一页评论内容 defget_one_page(url): headers={ 'User-agent':'Mozilla/5.0(WindowsNT6.1;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/78.0.3880.4Safari/537.36', 'Host':'weibo.cn', 'Accept':'application/json,text/plain,*/*', 'Accept-Language':'zh-CN,zh;q=0.9', 'A...
26 天前 / 浪客书心
↓推荐关注↓ 为什么要挑战自己在代码里不写 for loop？因为这样可以迫使你去学习使用比较高级、比较地道的语法或 library。文中以 python 为例子，讲了不少大家其实在别人的代码里都见过、但自己很少用的语法。自从我开始探索 Python 中惊人的语言功能已经有一段时间了。一开始，我给自己一个挑战，目的是让我练习更多的 Python 语言功能，而不是使用其他编程语言的编程经验。这让事情变得越来越有趣！代码变得越来越简洁，代码看起来更加结构化和规范化。下面我将会介绍这些好处。 通常如下使用场景中会用到 for 循环： 在一个序列来提取一些信息。
30 天前 / Inputing
提到 API 开发，你可能会想到 Django REST Framework，Flask，FastAPI，没错，它们完全可以用来编写 API，不过，今天分享的这个框架可以让你更快把现有的函数转化为 API，它就是 Sanic。# Sanic 简介 Sanic[1]，是 Python3.7+ Web 服务器和 Web 框架，旨在提高性能。它允许使用 Python3.5 中添加的 async/await 语法，这可以有效避免阻塞从而达到提升响应速度的目的。Sanic 致力于提供一种简单且快速，集创建和启动于一体的方法，来实现一个易于修改和拓展的 HTTP 服务，Sanic 具备开箱即用的功能，它可以用于编写，部署和扩展生产级 Web 应用程序。
36 天前 / 钢铁侠的知识库
钢铁知识库，一个学习 python 爬虫、数据分析的知识库。人生苦短，快用 python。 上一章我们讲解针对结构化的 html、xml 数据，使用 Xpath 实现网页内容爬取。本章我们再来聊另一个高效的神器：Beautiful Soup4。相比于传统正则表达方式去解析网页源代码，这个就简单得多，实践是检验真理的唯一标准，话不多说直接上号开搞验证。 Beautiful Soup 简介首先说说 BeautifulSoup 是什么。简单来说，这是 Python 的一个 HTML 或 XML 的解析库，我们可以用它方便从网页中提取数据...
37 天前 / 公众号Python集中营
平常在编辑文本的时候，特别是中英文混合的情况下格式不能规范。标点符号使用不正确，一会在中文状态下，一下英文状态下真的是很难把控。 立即前往微信小程序【知识星球】提问》>> 有一个很棒的 python 模块，叫做 pangu , 它可以在中文、日文、韩文和半角字符（字母，数字和符号）之间自动插入空格。 1、准备 使用 pip 的安装方式安装 pangu，或者使用其他方式也可以，这里采用 pip 的方式。安装可以选择清华大学的镜像站速度杠杠的。 pipinstall-ihttps://pypi.tuna.tsinghua.edu.cn/simplepangu 安装完成之后，将 pangu 模块直接导入到代码块中。