Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Python学习记录(二十一):知道创宇爬虫&分析 #24

Open
PyxYuYu opened this issue Mar 24, 2016 · 1 comment
Open

Python学习记录(二十一):知道创宇爬虫&分析 #24

PyxYuYu opened this issue Mar 24, 2016 · 1 comment

Comments

@PyxYuYu
Copy link
Owner

PyxYuYu commented Mar 24, 2016

The less you reveal the more people can wonder.

0x01 Wooyun

  • Wooyun Wiki
    • 信息收集
      • 端口服务收集
  • 端口服务收集
    • 在已经获取到企业对应的IP之后,便可以对其进行端口扫描查看对应开放的服务
    • 扫描器
      • 速度相对于直接搜索引擎查询速度慢,但是更全面
    • 可以自己使用扫描器进行扫描开发服务,最常见的是用nmap
    • nmap常用组合
      • 快速检测一个网段中存活的主机
      • nmap -sP x.x.x.x/24
      • 从文本中读取相关IP,进行端口扫描,同时识别服务
      • nmap -p80,22 -sV -iL ip.txt
      • 只显示开放该端口的主机
      • nmap -p80 --open 1.1.1.0/24
      • 不使用反向解析,扫描80端口开放的主机,同时保存为xml文件
      • nmap -n -p80 -iL ip.txt -sV --open -oX 80.xml
      • 识别一台主机的操作系统
      • nmap -O 1.1.1.1
      • 在不检测一个存活主机的情况下,进行全端口扫描,识别服务
      • nmap -Pn -p1-65535 -A -sV 1.1.1.1
      • 扫描mysql的空口令
      • nmap -p3306 --script=mysql-empty-password.nse 192.168.5.1
      • 暴力破解mssql的账户密码
      • namp -p1433 --script=ms-sql-brute --script-args=userdb=/var/passwd,passdb=/var/passwd 192.168.5.1
    • 快速扫描某一个端口建议使用masscan
    • 搜索引擎
      • ZoomEye
        • ZoomEye 支持公网设备指纹检索和Web指纹检索
      • 网站指纹包括应用名、版本、前端框架、后端框架、服务端语言、服务器操作系统、网站容器、内容管理系统和数据库等。
      • 设备指纹包括应用名、版本、开放端口、操作系统、服务名、地理位置等
      • ZoomEye将默认搜索公网设备,搜索结果页面左上角有公网设备和Web服务两个连接,可以快速切换两种结果。
      • 快捷键
      • Shift+/ 显示快捷帮助
      • Esc 隐藏快捷帮助
      • Shift+h 回到首页
      • Shift+s 高级搜索
      • s 聚焦搜索框
      • 搜索技巧
      • 组件名称(服务器或者其他的Web部件)
      • app:组件名
      • ver:组件版本
      • 位置
      • country:国家或者地区代码
      • city:城市名称
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 端口
      • port:开放端口
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 一些服务器可能监听了非标准的端口,要按照更精确的协议进行检索,请使用service:过滤器
      • 服务
      • service:结果分析中的"服务名"字段
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 操作系统
      • os:操作系统
      • 主机名
      • hostname:分析结果中的主机名字段,如hostname:google.com
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • IP地址
      • ip:搜索一个指定的IP地址
      • CIDR
      • IPCIDR网段,例如:cidr:8.8.8.8/24(每天限制5次搜索)
      • 网站
      • site:网站域名
      • HTTP
      • headers:``HTTP请求中的Headers
      • 关键词
      • keywords: <meta name="Keywords>"定义的页面关键词
      • 描述
      • desc: <meta name="description">定义的页面说明
      • 标题
      • title:页面标题,在<title>
0x02 Seebug

  • 提交了一个漏洞详情,发现一个问题,很多cve漏洞国内分析实在太少了,都是国外的文章,希望国内能够跟上世界的步伐吧
  • Honeywell Falcon XLWEB CVE-2015-0984 目录遍历漏洞,通过默认账户xwadmin和密码kisrum1!登录,利用漏洞到网站根目录上传shell,获得权限
    • ZoomEye Dorkxlweb FTP server port:21
  • 很多CMS都是闭源的,所以以后还需要有逆向的能力,这样才能分析多数应用
0x03 知道创宇Python

  • 整站爬虫
    • 把整站理解成一个复杂的图结构
    • 图的遍历方法:DFSBFS
    • 需要区分目标站点域名下的URL和其他域名的URL
    • 需要注意href中出现的相对URL
    • 利用DFS算法,简单,通过递归的方法来实现所有URL的抓取
      • for循环
    • 循环中的每一项就是一个URL链接
    • 通过每个URL链接继续寻找页面内的所有链接
    • 找到所有链接后,递归调用当前寻找的函数,也就是继续for循环这些链接,继续寻找
    • 直到所有链接爬完
    • 数据库的连接,向数据库中插入链接、关键词、网页全文
    • 多线程,采用线程池
    • 保存日志
0x04 一天总结

  • 端口服务收集:利用nmap masscan ZoomEye
  • 整站爬虫的整体分析,数据保存,线程池,日志保存
  • 今后还需学好逆向,才能挖更多的漏洞

@PCO1707
Copy link

PCO1707 commented May 1, 2024

The less you reveal the more people can wonder.

0x01 Wooyun

  • Wooyun Wiki
    • 信息收集
      • 端口服务收集
  • 端口服务收集
    • 在已经获取到企业对应的IP之后,便可以对其进行端口扫描查看对应开放的服务
    • 扫描器
      • 速度相对于直接搜索引擎查询速度慢,但是更全面
    • 可以自己使用扫描器进行扫描开发服务,最常见的是用nmap
    • nmap常用组合
      • 快速检测一个网段中存活的主机
      • nmap -sP x.x.x.x/24
      • 从文本中读取相关IP,进行端口扫描,同时识别服务
      • nmap -p80,22 -sV -iL ip.txt
      • 只显示开放该端口的主机
      • nmap -p80 --open 1.1.1.0/24
      • 不使用反向解析,扫描80端口开放的主机,同时保存为xml文件
      • nmap -n -p80 -iL ip.txt -sV --open -oX 80.xml
      • 识别一台主机的操作系统
      • nmap -O 1.1.1.1
      • 在不检测一个存活主机的情况下,进行全端口扫描,识别服务
      • nmap -Pn -p1-65535 -A -sV 1.1.1.1
      • 扫描mysql的空口令
      • nmap -p3306 --script=mysql-empty-password.nse 192.168.5.1
      • 暴力破解mssql的账户密码
      • namp -p1433 --script=ms-sql-brute --script-args=userdb=/var/passwd,passdb=/var/passwd 192.168.5.1
    • 快速扫描某一个端口建议使用masscan
    • 搜索引擎
      • ZoomEye
        • ZoomEye 支持公网设备指纹检索和Web指纹检索
      • 网站指纹包括应用名、版本、前端框架、后端框架、服务端语言、服务器操作系统、网站容器、内容管理系统和数据库等。
      • 设备指纹包括应用名、版本、开放端口、操作系统、服务名、地理位置等
      • ZoomEye将默认搜索公网设备,搜索结果页面左上角有公网设备和Web服务两个连接,可以快速切换两种结果。
      • 快捷键
      • Shift+/ 显示快捷帮助
      • Esc 隐藏快捷帮助
      • Shift+h 回到首页
      • Shift+s 高级搜索
      • s 聚焦搜索框
      • 搜索技巧
      • 组件名称(服务器或者其他的Web部件)
      • app:组件名
      • ver:组件版本
      • 位置
      • country:国家或者地区代码
      • city:城市名称
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 端口
      • port:开放端口
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 一些服务器可能监听了非标准的端口,要按照更精确的协议进行检索,请使用service:过滤器
      • 服务
      • service:结果分析中的"服务名"字段
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • 操作系统
      • os:操作系统
      • 主机名
      • hostname:分析结果中的主机名字段,如hostname:google.com
      • 这个筛选器可以在一次查询中出现多次,对应的逻辑关系为"或"
      • IP地址
      • ip:搜索一个指定的IP地址
      • CIDR
      • IPCIDR网段,例如:cidr:8.8.8.8/24(每天限制5次搜索)
      • 网站
      • site:网站域名
      • HTTP
      • headers:``HTTP请求中的Headers
      • 关键词
      • keywords: <meta name="Keywords>"定义的页面关键词
      • 描述
      • desc: <meta name="description">定义的页面说明
      • 标题
      • title:页面标题,在<title>
0x02 Seebug

  • 提交了一个漏洞详情,发现一个问题,很多cve漏洞国内分析实在太少了,都是国外的文章,希望国内能够跟上世界的步伐吧
  • Honeywell Falcon XLWEB CVE-2015-0984 目录遍历漏洞,通过默认账户xwadmin和密码kisrum1!登录,利用漏洞到网站根目录上传shell,获得权限
    • ZoomEye Dorkxlweb FTP server port:21
  • 很多CMS都是闭源的,所以以后还需要有逆向的能力,这样才能分析多数应用
0x03 知道创宇Python

  • 整站爬虫
    • 把整站理解成一个复杂的图结构
    • 图的遍历方法:DFSBFS
    • 需要区分目标站点域名下的URL和其他域名的URL
    • 需要注意href中出现的相对URL
    • 利用DFS算法,简单,通过递归的方法来实现所有URL的抓取
      • for循环
    • 循环中的每一项就是一个URL链接
    • 通过每个URL链接继续寻找页面内的所有链接
    • 找到所有链接后,递归调用当前寻找的函数,也就是继续for循环这些链接,继续寻找
    • 直到所有链接爬完
    • 数据库的连接,向数据库中插入链接、关键词、网页全文
    • 多线程,采用线程池
    • 保存日志
0x04 一天总结

  • 端口服务收集:利用nmap masscan ZoomEye
  • 整站爬虫的整体分析,数据保存,线程池,日志保存
  • 今后还需学好逆向,才能挖更多的漏洞

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

2 participants