python如何进行高效的域名解析

python使用标准库进行域名解析

使用urllib.parse进行域名解析：

In [7]: from urllib import parse                                                         
In [16]: url = 'http://focus.foo.com.cn:80/get_params?a=bbb&c=ccc'                       
In [17]: after_parse = parse.urlparse(url)                                               
In [18]: after_parse 
Out[18]: ParseResult(scheme='http', netloc='focus.foo.com.cn:80', path='/get_params', params='', query='a=bbb&c=ccc', fragment='')
"""
	scheme: 使用何种协议
	netloc: 网络地址，解析出来是带ip的
	path: 分层路径
	params: 参数
	query: 查询组件
"""

如何需要取出主域名那么可以使用：

1
2
3

In [20]: host, port = parse.splitport(after_parse.netloc)                                 
In [21]: host, port                                
Out[21]: ('focus.foo.com.cn', '80')

如何将需要将query返回为字典类型：

1 2	In [23]: parse.parse_qs(after_parse.query) Out[23]: {'a': ['bbb'], 'c': ['ccc']}

等等。更多详情: 标准库

如果我们取出其域名地址，如何做？

比如： http://focus.foo.com.cn:80/

取出： foo.com.cn；

取得域名地址 python代码

#!-*- coding:utf-8 -*-
from urllib.parse import urlparse
 
def get_domain_by_url(url):
    domain_config = ['com', 'top', 'xyz', 'cx', 'red', 'net', 'cn', 'org', 'edu']
    o = urlparse(url)
    host = o.netloc
    host = host.split('.')
    host.reverse()
    res = []
    for i in range(len(host)):
        if host[i] in domain_config:
            res.append(host[i])
        else:
            res.append(host[i]) 
            break
    res.reverse()
    domain = '.'.join(res)
    return domain
 
url = "https://www.wx.qq.com.cn";
print(get_domain_by_url(url))

参考来源

如果使用以上代码的话，那么我们需要将现有的所有域名服务器都枚举出来，收集起来比较麻烦。

所以我们可以再github寻找第三方python库的支持，不重复造轮子。

接下来，则是python第三方库tldextract的使用。

tldextract的使用

安装

pip install tldextract
# 直接运行命令行
tldextract http://focums.foo.com.cn
# 得出
focums foo com.cn

但是在内网环境下运行命令，则爆出SocketTimeout错误，所以可以得知，其进行了网络请求，然后再进行我们域名的解析。

错误详情:

requests.exceptions.ConnectionError: HTTPSConnectionPool(host='publicsuffix.org', port=443): Max retries exceeded with url: /list/public_suffix_list.dat (Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x7f06384d29b0>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution',)

所以其一定是先请求了pulicsuffix.org网站之后，然后获取到域名列表，再对我们提供的域名进行解析返回。

官方提供了缓存机制：

1	env TLDEXTRACT_CACHE="~/tldextract.cache" tldextract --update

将我们从远程获取的列表存入到~/tldextract.cache中。

在代码中使用：

In [1]: from tldextract import TLDExtract
In [2]: extract = TLDExtract(cache_file='/root/tldextract.cache') 
In [3]: extract('http://forums.bbc.co.uk') # 解析url
Out[3]: ExtractResult(subdomain='forums', domain='bbc', suffix='co.uk')
In [4]: after = extract('http://forums.bbc.co.uk')                                       
In [5]: after.registered_domain    # 获取注册域名                               
Out[5]: 'bbc.co.uk'

这样我们就可以将提出爬虫中获取的子域内容了。

如果是ip如何解析？

In [6]: after = extract('http://127.0.0.1:8080/deployed/') 
In [7]: after                                                                   
Out[7]: ExtractResult(subdomain='', domain='127.0.0.1', suffix='')
In [8]: after.registered_domain                                                           
Out[8]: ''

以上。