Benutzer-Werkzeuge

Webseiten-Werkzeuge


know-how:blacklists

Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

Link zu dieser Vergleichsansicht

Beide Seiten der vorigen RevisionVorhergehende Überarbeitung
Nächste Überarbeitung
Vorhergehende Überarbeitung
know-how:blacklists [2021/03/04 14:07] – [WEB] ccknow-how:blacklists [2024/02/26 10:31] (aktuell) cc
Zeile 1: Zeile 1:
 +~~ODT~~
 ====== Blacklists ====== ====== Blacklists ======
 ===== WEB ===== ===== WEB =====
  
 ^Betreiber^Lizenz^Format^Download^Anmerkungen^ ^Betreiber^Lizenz^Format^Download^Anmerkungen^
 +| fabriziosalmi - https://get.domainsblacklists.com/|GPL|Domains|https://get.domainsblacklists.com/blacklist.txt|Aggregiert diverse verfügbare Blacklists Achunt|
 +|https://cert.pl/|unbekannt|Diverse Formate|e.g. Domains https://hole.cert.pl/domains/domains.txt |-|
 +|https://oisd.nl/|unbekannt|Diverse Formate|e.g. https://big.oisd.nl/domainswild2 |Aggregiert diverse Listen|
 +|https://github.com/RPiList/specials/blob/master/Blocklisten.md|unbekannt|Domains|e.g. Domains: https://raw.githubusercontent.com/RPiList/specials/master/Blocklisten/malware| Diverse Listen und Kategorien|
 +|https://kadantiscam.netlify.app/|Creative Commons|Hosts File|https://raw.githubusercontent.com/PolishFiltersTeam/KADhosts/master/KADhosts.txt|-|
 +|https://www.abuseipdb.com/contact|https://www.abuseipdb.com/pricing|API|<code>curl -s -G https://api.abuseipdb.com/api/v2/blacklist -d confidenceMinimum=95 -d plaintext  -H "Key: API_KEY"  -H "Accept: text/plain" > /tmp/abuseipdb-ips.acl</code>|-|
 +|https://www.proofpoint.com/us|Privat frei|IPs|http://rules.emergingthreats.net/fwrules/emerging-Block-IPs.txt|Mischung aus verschiedenen/freien Anbietern|
 +|https://pannoniait.at|Frei für alle|CSV| https://island.pannoniait.at/etufxbaedf12/intel-daily-requests-suspicious.csv , https://island.pannoniait.at/etufxbaedf12/intel-weekly-requests-suspicious.csv|Infos aus [[know-how:threat_intel]] inklusive Port und Anzahl der Hits der IPs|
 +|https://pannoniait.at|Frei für alle|IPs| https://island.pannoniait.at/etufxbaedf12/intel-daily-requests-suspicious.acl , https://island.pannoniait.at/etufxbaedf12/intel-weekly-requests-suspicious.acl|Infos aus [[know-how:threat_intel]]|
 +|https://pannoniait.at|Frei für alle|IPs|https://island.pannoniait.at/etufxbaedf12/pannoniait-daily-brute-forcer.acl , https://island.pannoniait.at/etufxbaedf12/pannoniait-weekly-brute-forcer.acl|SSH Brute Force Attackers daily/weekly|
 +|https://www.threatstop.com|kommerziell/community frei für privat|Applikation/ipset/DNS|Debian Repository|https://admin.threatstop.com/register/community|
 +|https://honeydb.io/|frei für privat (?)|IP|<code>curl -s  --header "X-HoneyDb-ApiId: ID" --header "X-HoneyDb-ApiKey: KEY"   https://honeydb.io/api/bad-hosts -o /tmp/honeydb_badhosts && cat /tmp/honeydb_badhosts | jq --raw-output '.[].remote_host' > /tmp/honeydb_clean</code>|Auth zB: über gmail Account möglich|
 +|https://rescure.me|frei für privat (?)|Domains|<code>( wget --quiet --timeout=15 --tries=2 https://rescure.me/rescure_domain_blacklist.txt -O /tmp/rescure.me.acl && grep -v -P "^[[:blank:]]+(#|[[:space:]]*)" /tmp/rescure.me.acl > /tmp/clean_rescure.me.acl  ) || echo "Cannot update rescure.me blacklist"</code>|**Achtung** hatten u.a. www.youtube.com blacklisted|
 |https://firebog.net/|-|Diverse|-|Listet diverse Blacklists| |https://firebog.net/|-|Diverse|-|Listet diverse Blacklists|
 |https://winhelp2002.mvps.org/|creativecommons|Hosts Format|https://winhelp2002.mvps.org/hosts.txt|There's no place like 127.0.0.1 :)| |https://winhelp2002.mvps.org/|creativecommons|Hosts Format|https://winhelp2002.mvps.org/hosts.txt|There's no place like 127.0.0.1 :)|
 |https://phishing.army/|creativecommons|Domains|https://phishing.army/download/phishing_army_blocklist.txt|-| |https://phishing.army/|creativecommons|Domains|https://phishing.army/download/phishing_army_blocklist.txt|-|
-|https://isc.sans.edu/|creativecommons|Domain|<code>wget --quiet https://isc.sans.edu/feeds/suspiciousdomains_High.txt https://isc.sans.edu/feeds/suspiciousdomains_Low.txt https://isc.sans.edu/feeds/suspiciousdomains_Medium.txt -O /tmp/isc-suspicious && grep ^[^#] /tmp/isc-suspicious | sort | uniq >  /tmp/isc-suspicious.acl && sed -i "/Site/d" /tmp/isc-suspicious.acl</code>|-| 
 |https://wiki.aa419.org/index.php/Main_Page|unbekannt|API/verschiedene Möglichkeiten| Account erstellen & API bedienen PHP Code e.g. php /usr/local/sbin/artists_against_419/artists_search.php 500 |  {{ :know-how:artists_search.php.zip |}}  | |https://wiki.aa419.org/index.php/Main_Page|unbekannt|API/verschiedene Möglichkeiten| Account erstellen & API bedienen PHP Code e.g. php /usr/local/sbin/artists_against_419/artists_search.php 500 |  {{ :know-how:artists_search.php.zip |}}  |
-|http://www.malwaredomains.com/|frei ausschließlich privat|Domain|<code>wget -q http://malwaredomains.lehigh.edu/files/justdomains -O /tmp/malwarelist-malwaredomains</code>|-| 
-|http://malc0de.com|unbekannt|IPs|<code>wget -q http://malc0de.com/bl/IP_Blacklist.txt -O /tmp/malw0de_ips && /usr/bin/tail -n +4 /tmp/malw0de_ips > /usr/local/etc/blacklists/malw0de_ips.acl</code>|-| 
 |http://www.spamhaus.org|privat und kommerziell möglich|IP CIDR|<code>wget --quiet --timeout=5 --tries=2 http://www.spamhaus.org/drop/drop.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}/[0-9]{1,2}" > /tmp/spamhaus-droplist</code>|-| |http://www.spamhaus.org|privat und kommerziell möglich|IP CIDR|<code>wget --quiet --timeout=5 --tries=2 http://www.spamhaus.org/drop/drop.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}/[0-9]{1,2}" > /tmp/spamhaus-droplist</code>|-|
 |https://isc.sans.edu|creativecommons|IP CIDR /24|<code>wget --quiet --timeout=5 --tries=2 https://isc.sans.edu/block.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}" | awk '{ print $1"/24" }' > /tmp/dshield-recommended-ips</code>|-| |https://isc.sans.edu|creativecommons|IP CIDR /24|<code>wget --quiet --timeout=5 --tries=2 https://isc.sans.edu/block.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}" | awk '{ print $1"/24" }' > /tmp/dshield-recommended-ips</code>|-|
-|https://www.threatcrowd.org/|unbekannt|Domain|<code>wget --quiet --timeout=5 --tries=2 https://www.threatcrowd.org/feeds/domains.txt  -O  /tmp/threatcrowd</code>|-| 
 |https://www.openphish.com|unbekannt|URLs|<code>wget --quiet --timeout=5 --tries=2 https://www.openphish.com/feed.txt  -O  /tmp/openfish-feed</code>|-| |https://www.openphish.com|unbekannt|URLs|<code>wget --quiet --timeout=5 --tries=2 https://www.openphish.com/feed.txt  -O  /tmp/openfish-feed</code>|-|
-|https://www.squidblacklist.org|frei für privat|SQUID Domain|<code>wget --quiet --timeout=5 --tries=2 https://www.squidblacklist.org/downloads/squid-malicious.acl  -O  /tmp/squid-malicious</code>|-| +|https://urlhaus.abuse.ch/|unbekannt|URLs|<code>wget --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/text/  -O  /tmp/abuse.ch-urls-malicious</code>|-| 
-|https://urlhaus.abuse.ch/|unbekannt|URLs|<code>get --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/text -O  /tmp/abuse.ch-urls-malicious</code>|-|+|https://urlhaus.abuse.ch/|unbekannt|Domains|<code> wget --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/hostfile/ -O /tmp/abuse.ch-domains-malicious</code>|pihole kompatibel| 
 +|https://abuse.ch|unbekannt|Domains/Hosts|<code>wget -q --timeout=15 https://threatfox.abuse.ch/downloads/hostfile/ -O /tmp/threatfox.acl && grep -v '^#' /tmp/threatfox.acl | awk '{print $2}'  | sort | uniq > /usr/local/etc/blacklists/threatfox.acl </code>|pihole kompatibel|
 |https://github.com/mitchellkrogza/Ultimate.Hosts.Blacklist|MIT License|Hostname/Domain|<code>wget --quiet --timeout=5 --tries=2 https://hosts.ubuntu101.co.za/domains.list -O /tmp/mitchellkrogza-domain.acl</code> |Achtung >16Mbyte groß/verschiedenste Kategorien zusammen gewürfelt| |https://github.com/mitchellkrogza/Ultimate.Hosts.Blacklist|MIT License|Hostname/Domain|<code>wget --quiet --timeout=5 --tries=2 https://hosts.ubuntu101.co.za/domains.list -O /tmp/mitchellkrogza-domain.acl</code> |Achtung >16Mbyte groß/verschiedenste Kategorien zusammen gewürfelt|
 |https://www.malwarepatrol.net/|kommerziell|Diverse|-|-| |https://www.malwarepatrol.net/|kommerziell|Diverse|-|-|
 |https://otx.alienvault.com/api|frei für privat|API|-| |https://otx.alienvault.com/api|frei für privat|API|-|
-|https://bambenekconsulting.com/|frei für privat|CSV|<code>( wget --quiet --timeout=10 --retry=1 "https://osint.bambenekconsulting.com/feeds/dga-feed-high.csv" -O /tmp/osint.bambekconsulting.com.acl && grep "^[^#]" /tmp/osint.bambekconsulting.com.acl | cut -d "," -f 1 > /tmp/osint.bambekconsulting.com-clean.acl </code>|-| +|https://bambenekconsulting.com/|kommerziell/researcher|CSV|-|-| 
-|mailsilo.gitlab.io|unbekannt|urls|<code>wget --quiet --timeout=15 --tries=2 https://malsilo.gitlab.io/feeds/dumps/url_list.txt -O /tmp/malsilo_urls.acl && cat /tmp/malsilo_urls.acl | cut -d"," -f 3 | grep -o  -P "(https://|http://).*/"  | cut -d/ -f 3 | sort | uniq  | grep -v -P "([0-9]{1,3}\.){3}[0-9]{1,3}"  | cut -d ":" -f 1 > //tmp/malsilo_urls-clean.acl </code>|-+|mailsilo.gitlab.io|unbekannt|urls|<code>wget --quiet --timeout=15 --tries=2 https://malsilo.gitlab.io/feeds/dumps/url_list.txt -O /tmp/malsilo_urls.acl && cat /tmp/malsilo_urls.acl | cut -d"," -f 3 | grep -o  -P "(https://|http://).*/"  | cut -d/ -f 3 | sort | uniq  | grep -v -P "([0-9]{1,3}\.){3}[0-9]{1,3}"  | cut -d ":" -f 1 > //tmp/malsilo_urls-clean.acl </code>|FIXME noch aktiv ?
-|https://www.joewein.net|frei für privat|domains/hostnames|<code>wget --quiet --timeout=15 --tries=2 https://www.joewein.net/dl/bl/dom-bl.txt -O /tmp/joewein-bl.acl && cat /tmp/joewein-bl.acl | cut -d";" -f 1 > /tmp/joewein-bl-clean.acl </code>|-+|https://www.joewein.net|frei für privat|domains/hostnames|<code>wget --quiet --timeout=15 --tries=2 https://www.joewein.net/dl/bl/dom-bl.txt -O /tmp/joewein-bl.acl && cat /tmp/joewein-bl.acl | cut -d";" -f 1 > /tmp/joewein-bl-clean.acl </code>|FIXME noch aktiv ?
-|http://netlab.360.com/|unbekannt|domains|<code>wget --quiet "https://data.netlab.360.com/feeds/dga/dga.txt" -O /tmp/netlab360-dga.acl && grep ^[^#] /tmp/netlab360-dga.acl  | awk '{ print $2 }' > /tmp/netlab360-dga-clean.acl</code>|-|+|http://netlab.360.com/|kommerziell|domains|<code>wget --quiet "https://data.netlab.360.com/feeds/dga/dga.txt" -O /tmp/netlab360-dga.acl && grep ^[^#] /tmp/netlab360-dga.acl  | awk '{ print $2 }' > /tmp/netlab360-dga-clean.acl</code>|Umgestellt auf paid|
 |https://www.misp-project.org/feeds/|unbekannt|diverse|-|EU gefördert diverse Feeds| |https://www.misp-project.org/feeds/|unbekannt|diverse|-|EU gefördert diverse Feeds|
 +|https://www.circl.lu/|unbekannt|misp|<code>https://www.circl.lu/doc/misp/feed-osint/ </code>|-|
 |https://www.reddit.com/r/pfBlockerNG/|unbekannt|Domain|<code>( wget --quiet --timeout=30 --tries=2 https://gist.githubusercontent.com/BBcan177/4a8bf37c131be4803cb2/raw  -O /tmp/bbcan177-ms2-pfblockerng.acl && grep ^[^#] /tmp/bbcan177-ms2-pfblockerng.acl | awk '{ print $1 }' ) || echo "Could not update bbcan177-ms2-pfblockerng.acl List" </code>|-| |https://www.reddit.com/r/pfBlockerNG/|unbekannt|Domain|<code>( wget --quiet --timeout=30 --tries=2 https://gist.githubusercontent.com/BBcan177/4a8bf37c131be4803cb2/raw  -O /tmp/bbcan177-ms2-pfblockerng.acl && grep ^[^#] /tmp/bbcan177-ms2-pfblockerng.acl | awk '{ print $1 }' ) || echo "Could not update bbcan177-ms2-pfblockerng.acl List" </code>|-|
 |https://zerodot1.gitlab.io/CoinBlockerListsWeb/|AGPL|Domain/Hostnames|<code>( wget --quiet --timeout=30 --tries=2 https://zerodot1.gitlab.io/CoinBlockerLists/list.txt -O /tmp/zerodot1-coinblocker.acl && cat /tmp/zerodot1-coinblocker.acl ) || echo "Could not update zerodot1-coinblocker.acl List"</code>|Missbrauch durch unerlaubtes CryptoMining| |https://zerodot1.gitlab.io/CoinBlockerListsWeb/|AGPL|Domain/Hostnames|<code>( wget --quiet --timeout=30 --tries=2 https://zerodot1.gitlab.io/CoinBlockerLists/list.txt -O /tmp/zerodot1-coinblocker.acl && cat /tmp/zerodot1-coinblocker.acl ) || echo "Could not update zerodot1-coinblocker.acl List"</code>|Missbrauch durch unerlaubtes CryptoMining|
 |https://www.pulsedive.com/|frei für privat ?|API|-|-| |https://www.pulsedive.com/|frei für privat ?|API|-|-|
 |https://project.turris.cz/en/|unbekannt|CSV|https://project.turris.cz/greylist-data/greylist-latest.csv|**Achtung** Betreiber argumentiert nicht als Blacklist zu verwenden / zu Analysezwecken|| |https://project.turris.cz/en/|unbekannt|CSV|https://project.turris.cz/greylist-data/greylist-latest.csv|**Achtung** Betreiber argumentiert nicht als Blacklist zu verwenden / zu Analysezwecken||
-|https://www.cyberthreatcoalition.org/|frei verfügbar|Domains/Hostnamen|<code>wget --quiet --timeout=15 --tries=2 https://blocklist.cyberthreatcoalition.org/vetted/domain.txt</code>|-| +|https://github.com/blocklistproject/Lists|frei verfügbar|Domains/Hostnamen|<code>wget -q --timeout=15 --tries=2 -O /tmp/blocklistproject.github.io.acl https://blocklistproject.github.io/Lists/ransomware.txt https://blocklistproject.github.io/Lists/scam.txt https://blocklistproject.github.io/Lists/phishing.txt https://blocklistproject.github.io/Lists/malware.txt && grep -v ^# /tmp/blocklistproject.github.io.acl | uniq | sort | sed '/^$/d' | awk '{ print $2 }'  > /tmp/blocklistproject.github.io.acl )  </code>|Pihole kompatibles Basisformat| 
-|https://github.com/blocklistproject/Lists|frei verfügbar|Domains/Hostnamen|<code>(wget -q --timeout=15 --tries=2 -O /tmp/blocklistproject.github.io.acl https://blocklistproject.github.io/Lists/ransomware.txt https://blocklistproject.github.io/Lists/scam.txt https://blocklistproject.github.io/Lists/phishing.txt https://blocklistproject.github.io/Lists/malware.txt && grep -v ^# /tmp/blocklistproject.github.io.acl | uniq | sort | sed '/^$/d' | awk '{ print $2 }'  > /usr/local/etc/blacklists/blocklistproject.github.io.acl && cp /usr/local/etc/blacklists/blocklistproject.github.io.acl /var/www/blacklists/blocklistproject.github.io.acl ) || echo "Could not Check https://blocklistproject.github.io/Lists" </code>|Pihole kompatibles Basisformat|+===== IP Reputation ===== 
 +  * IP Reputation Check Listen 
 +<code> 
 +https://check.spamhaus.org/ 
 +https://www.ipqualityscore.com/ip-reputation-check 
 +https://www.abuseipdb.com/ 
 +https://novasense-threats.com/lookup 
 +https://www.shadowserver.org/what-we-do/network-reporting/api-documentation/ 
 +https://www.pulsedive.com 
 +</code> 
 + 
 +  * Interessantes Projekt **crowdsec** : FIXME 
 +  * (https://docs.crowdsec.net/docs/getting_started/install_crowdsec/  
 +<code> 
 +curl -s https://packagecloud.io/install/repositories/crowdsec/crowdsec/script.deb.sh sudo bash 
 +</code> 
 +  * Bouncer über iptables - **/etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml** - befülle ipsets  
 + 
 +<code> 
 +mode: iptables 
 +pid_dir: /var/run/ 
 +update_frequency: 10s 
 +daemonize: true 
 +log_mode: file 
 +log_dir: /var/log/ 
 +log_level: info 
 +log_compression: true 
 +log_max_size: 100 
 +log_max_backups:
 +log_max_age: 30 
 +api_url: http://127.0.0.1:8080/ 
 +api_key: API_KEY 
 +insecure_skip_verify: false 
 +disable_ipv6: false 
 +deny_action: DROP 
 +deny_log: false 
 +supported_decisions_types: 
 +  - ban 
 +#to change log prefix 
 +#deny_log_prefix: "crowdsec: " 
 +#to change the blacklists name 
 +blacklists_ipv4: crowdsec4 
 +blacklists_ipv6: crowdsec6 
 +#if present, insert rule in those chains 
 +iptables_chains: 
 +#  - INPUT 
 +#  - FORWARD 
 +#  - DOCKER-USER 
 + 
 +## nftables 
 +nftables: 
 +  ipv4: 
 +    enabled: true 
 +    set-only: true 
 +    table: crowdsec 
 +    chain: crowdsec-chain 
 +  ipv6: 
 +    enabled: true 
 +    set-only: false 
 +    table: crowdsec6 
 +    chain: crowdsec6-chain 
 +# packet filter 
 +pf: 
 +  # an empty string disables the anchor 
 +  anchor_name: "" 
 + 
 +</code> 
 +===== DNSBL ===== 
 +  * DNS Blacklists - IP Überprüfung zB: https://multirbl.valli.org/ 
 +  * Hat/hatte in erster Linie Relevanz für den Mailverkehr wenn zB: Die Office/Mailserver IP blacklisted wurde und keine Mails mehr versendet werden können :) 
 +  * Sehr interessantes Projekt von firehol: **https://github.com/ktsaou/firehol/blob/master/contrib/dnsbl-ipset.sh** , Echtzeitanalyse des Firewall Traffic und Korrelation bzw. Scoring anhand vorhandener DNS Blacklists 
 + 
 +  * Beispiel für systemd Service von dnsbl:  **/lib/systemd/system/dnsbl-ext-fw.service** , Voraussetzungen für Betrieb u.a. **ipset** wobei das gewählte ipset ein **timeout** besitzen muss wie auch die **comment** Option  
 +<code> 
 +[Unit] 
 +Description=dnsbl Monitoring EXT-FW 
 +After=network.target 
 + 
 +[Service] 
 +Type=simple 
 +ExecStart=/usr/local/sbin/dnsbl-ipset.sh file  /var/log/fw.log grep EXT-FW 
 +KillSignal=9 
 + 
 + 
 +[Install] 
 +WantedBy=multi-user.target 
 +</code> 
 +===== Kategorien ===== 
 +  * zB: Porn / Streams / Gambling usw.. 
 + 
 +^Anbieter^Lizenz^Anmerkungen^ 
 +|https://www.ut-capitole.fr/|creative-commons ?|https://dsi.ut-capitole.fr/blacklists/
 +<del>|http://www.shallalist.de/|frei für privat|http://www.shallalist.de/Downloads/shallalist.tar.gz|</del> 
 + 
 + 
 +  * FIXME Google Crawler über API - eigene Listen erstellen :)
 ===== CLAMAV ===== ===== CLAMAV =====
   * Spezielle Rules um die Erkennungsrate zu erhöhen   * Spezielle Rules um die Erkennungsrate zu erhöhen
Zeile 40: Zeile 147:
 |https://www.atomicorp.com/|kommerziell|Im Rahmen anderer Produkte: https://docs.atomicorp.com/AED/supportingDocuments/clamAVSig.html| |https://www.atomicorp.com/|kommerziell|Im Rahmen anderer Produkte: https://docs.atomicorp.com/AED/supportingDocuments/clamAVSig.html|
 |https://www.rfxn.com/projects/linux-malware-detect/|GNU GPLv2 |Eigene Skripten oder CLAMAV rules: https://cdn.rfxn.com/downloads/maldet-sigpack.tgz| |https://www.rfxn.com/projects/linux-malware-detect/|GNU GPLv2 |Eigene Skripten oder CLAMAV rules: https://cdn.rfxn.com/downloads/maldet-sigpack.tgz|
 +|https://github.com/Cisco-Talos/clamav-safebrowsing|GNU GPLv2|getestet auf Debian Buster/für Google Safebrowsing mit Google API / Test mit **http://malware.wicar.org/** |
 +|http://sigs.interserver.net|unbekannt|Last Modified Sept. 2022|
know-how/blacklists.1614863223.txt.gz · Zuletzt geändert: 2021/03/04 14:07 von cc