Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- know-how:blacklists [2019/11/15 13:51] – [WEB] cc
+++ know-how:blacklists [2024/02/26 10:31] (aktuell) – cc
@@ Zeile 1: / Zeile 1: @@
+~~ODT~~
 ====== Blacklists ======
 ===== WEB =====
 ^Betreiber^Lizenz^Format^Download^Anmerkungen^
-|https://isc.sans.edu/|creativecommons|Domain|<code>wget --quiet https://isc.sans.edu/feeds/suspiciousdomains_High.txt https://isc.sans.edu/feeds/suspiciousdomains_Low.txt https://isc.sans.edu/feeds/suspiciousdomains_Medium.txt -O /tmp/isc-suspicious && grep ^[^#] /tmp/isc-suspicious | sort | uniq >  /tmp/isc-suspicious.acl && sed -i "/Site/d" /tmp/isc-suspicious.acl</code>|-|
+| fabriziosalmi - https://get.domainsblacklists.com/|GPL|Domains|https://get.domainsblacklists.com/blacklist.txt|Aggregiert diverse verfügbare Blacklists Achunt|
+|https://cert.pl/|unbekannt|Diverse Formate|e.g. Domains https://hole.cert.pl/domains/domains.txt |-|
+|https://oisd.nl/|unbekannt|Diverse Formate|e.g. https://big.oisd.nl/domainswild2 |Aggregiert diverse Listen|
+|https://github.com/RPiList/specials/blob/master/Blocklisten.md|unbekannt|Domains|e.g. Domains: https://raw.githubusercontent.com/RPiList/specials/master/Blocklisten/malware| Diverse Listen und Kategorien|
+|https://kadantiscam.netlify.app/|Creative Commons|Hosts File|https://raw.githubusercontent.com/PolishFiltersTeam/KADhosts/master/KADhosts.txt|-|
+|https://www.abuseipdb.com/contact|https://www.abuseipdb.com/pricing|API|<code>curl -s -G https://api.abuseipdb.com/api/v2/blacklist -d confidenceMinimum=95 -d plaintext  -H "Key: API_KEY"  -H "Accept: text/plain" > /tmp/abuseipdb-ips.acl</code>|-|
+|https://www.proofpoint.com/us|Privat frei|IPs|http://rules.emergingthreats.net/fwrules/emerging-Block-IPs.txt|Mischung aus verschiedenen/freien Anbietern|
+|https://pannoniait.at|Frei für alle|CSV| https://island.pannoniait.at/etufxbaedf12/intel-daily-requests-suspicious.csv , https://island.pannoniait.at/etufxbaedf12/intel-weekly-requests-suspicious.csv|Infos aus [[know-how:threat_intel]] inklusive Port und Anzahl der Hits der IPs|
+|https://pannoniait.at|Frei für alle|IPs| https://island.pannoniait.at/etufxbaedf12/intel-daily-requests-suspicious.acl , https://island.pannoniait.at/etufxbaedf12/intel-weekly-requests-suspicious.acl|Infos aus [[know-how:threat_intel]]|
+|https://pannoniait.at|Frei für alle|IPs|https://island.pannoniait.at/etufxbaedf12/pannoniait-daily-brute-forcer.acl , https://island.pannoniait.at/etufxbaedf12/pannoniait-weekly-brute-forcer.acl|SSH Brute Force Attackers daily/weekly|
+|https://www.threatstop.com|kommerziell/community frei für privat|Applikation/ipset/DNS|Debian Repository|https://admin.threatstop.com/register/community|
+|https://honeydb.io/|frei für privat (?)|IP|<code>curl -s  --header "X-HoneyDb-ApiId: ID" --header "X-HoneyDb-ApiKey: KEY"   https://honeydb.io/api/bad-hosts -o /tmp/honeydb_badhosts && cat /tmp/honeydb_badhosts | jq --raw-output '.[].remote_host' > /tmp/honeydb_clean</code>|Auth zB: über gmail Account möglich|
+|https://rescure.me|frei für privat (?)|Domains|<code>( wget --quiet --timeout=15 --tries=2 https://rescure.me/rescure_domain_blacklist.txt -O /tmp/rescure.me.acl && grep -v -P "^[[:blank:]]+(#|[[:space:]]*)" /tmp/rescure.me.acl > /tmp/clean_rescure.me.acl  ) || echo "Cannot update rescure.me blacklist"</code>|**Achtung** hatten u.a. www.youtube.com blacklisted|
+|https://firebog.net/|-|Diverse|-|Listet diverse Blacklists|
+|https://winhelp2002.mvps.org/|creativecommons|Hosts Format|https://winhelp2002.mvps.org/hosts.txt|There's no place like 127.0.0.1 :)|
+|https://phishing.army/|creativecommons|Domains|https://phishing.army/download/phishing_army_blocklist.txt|-|
 |https://wiki.aa419.org/index.php/Main_Page|unbekannt|API/verschiedene Möglichkeiten| Account erstellen & API bedienen PHP Code e.g. php /usr/local/sbin/artists_against_419/artists_search.php 500 |  {{ :know-how:artists_search.php.zip |}}  |
-|https://ransomwaretracker.abuse.ch|frei kommerziell und privat|Domain|<code>wget --quiet --timeout=5 --tries=2 https://ransomwaretracker.abuse.ch/downloads/RW_DOMBL.txt  -O  /tmp/ransomwaretracker-abusech</code>|-|
-|http://www.malwaredomains.com/|frei ausschließlich privat|Domain|<code>wget -q http://malwaredomains.lehigh.edu/files/justdomains -O /tmp/malwarelist-malwaredomains</code>|-|
-|http://malc0de.com|unbekannt|IPs|<code>wget -q http://malc0de.com/bl/IP_Blacklist.txt -O /tmp/malw0de_ips && /usr/bin/tail -n +4 /tmp/malw0de_ips > /usr/local/etc/blacklists/malw0de_ips.acl</code>|-|
 |http://www.spamhaus.org|privat und kommerziell möglich|IP CIDR|<code>wget --quiet --timeout=5 --tries=2 http://www.spamhaus.org/drop/drop.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}/[0-9]{1,2}" > /tmp/spamhaus-droplist</code>|-|
 |https://isc.sans.edu|creativecommons|IP CIDR /24|<code>wget --quiet --timeout=5 --tries=2 https://isc.sans.edu/block.txt -O - | grep -P -o "^([0-9]{1,3}\.){3}[0-9]{1,3}" | awk '{ print $1"/24" }' > /tmp/dshield-recommended-ips</code>|-|
-|https://www.threatcrowd.org/|unbekannt|Domain|<code>wget --quiet --timeout=5 --tries=2 https://www.threatcrowd.org/feeds/domains.txt  -O  /tmp/threatcrowd</code>|-|
 |https://www.openphish.com|unbekannt|URLs|<code>wget --quiet --timeout=5 --tries=2 https://www.openphish.com/feed.txt  -O  /tmp/openfish-feed</code>|-|
-|https://www.squidblacklist.org|frei für privat|SQUID Domain|<code>wget --quiet --timeout=5 --tries=2 https://www.squidblacklist.org/downloads/squid-malicious.acl  -O  /tmp/squid-malicious</code>|-|
+|https://urlhaus.abuse.ch/|unbekannt|URLs|<code>wget --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/text/  -O  /tmp/abuse.ch-urls-malicious</code>|-|
-|https://urlhaus.abuse.ch/|unbekannt|URLs|<code>get --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/text/  -O  /tmp/abuse.ch-urls-malicious</code>|-|
+|https://urlhaus.abuse.ch/|unbekannt|Domains|<code> wget --quiet --timeout=5 --tries=2 https://urlhaus.abuse.ch/downloads/hostfile/ -O /tmp/abuse.ch-domains-malicious</code>|pihole kompatibel|
-|https://hosts-file.net|frei für privat|Hostname/Domain|<code>wget -q --timeout=10 --tries=2 https://hosts-file.net/exp.txt https://hosts-file.net/fsa.txt https://hosts-file.net/grm.txt  https://hosts-file.net/hjk.txt https://hosts-file.net/psh.txt -O /tmp/hosts-file-exp-fsa-grm-hjk-psh.acl && grep ^[^#] /tmp/hosts-file-exp-fsa-grm-hjk-psh.acl | awk '{ print $2}' | sort | uniq  > /usr/local/etc/blacklists/hosts-file-exp-fsa-grm-hjk-psh.ac</code>|Malicous sites exploit, fraud, spam , hijack, phising||
+|https://abuse.ch|unbekannt|Domains/Hosts|<code>wget -q --timeout=15 https://threatfox.abuse.ch/downloads/hostfile/ -O /tmp/threatfox.acl && grep -v '^#' /tmp/threatfox.acl | awk '{print $2}'  | sort | uniq > /usr/local/etc/blacklists/threatfox.acl </code>|pihole kompatibel|
 |https://github.com/mitchellkrogza/Ultimate.Hosts.Blacklist|MIT License|Hostname/Domain|<code>wget --quiet --timeout=5 --tries=2 https://hosts.ubuntu101.co.za/domains.list -O /tmp/mitchellkrogza-domain.acl</code> |Achtung >16Mbyte groß/verschiedenste Kategorien zusammen gewürfelt|
 |https://www.malwarepatrol.net/|kommerziell|Diverse|-|-|
 |https://otx.alienvault.com/api|frei für privat|API|-|
-|https://bambenekconsulting.com/|frei für privat|CSV|<code>( wget --quiet --timeout=10 --retry=1 "https://osint.bambenekconsulting.com/feeds/dga-feed-high.csv" -O /tmp/osint.bambekconsulting.com.acl && grep "^[^#]" /tmp/osint.bambekconsulting.com.acl | cut -d "," -f 1 > /tmp/osint.bambekconsulting.com-clean.acl </code>|-|
+|https://bambenekconsulting.com/|kommerziell/researcher|CSV|-|-|
-|mailsilo.gitlab.io|unbekannt|urls|<code>wget --quiet --timeout=15 --tries=2 https://malsilo.gitlab.io/feeds/dumps/url_list.txt -O /tmp/malsilo_urls.acl && cat /tmp/malsilo_urls.acl | cut -d"," -f 3 | grep -o  -P "(https://|http://).*/"  | cut -d/ -f 3 | sort | uniq  | grep -v -P "([0-9]{1,3}\.){3}[0-9]{1,3}"  | cut -d ":" -f 1 > //tmp/malsilo_urls-clean.acl </code>|-|
+|mailsilo.gitlab.io|unbekannt|urls|<code>wget --quiet --timeout=15 --tries=2 https://malsilo.gitlab.io/feeds/dumps/url_list.txt -O /tmp/malsilo_urls.acl && cat /tmp/malsilo_urls.acl | cut -d"," -f 3 | grep -o  -P "(https://|http://).*/"  | cut -d/ -f 3 | sort | uniq  | grep -v -P "([0-9]{1,3}\.){3}[0-9]{1,3}"  | cut -d ":" -f 1 > //tmp/malsilo_urls-clean.acl </code>|FIXME noch aktiv ?|
-|https://www.joewein.net|frei für privat|domains/hostnames|<code>wget --quiet --timeout=15 --tries=2 https://www.joewein.net/dl/bl/dom-bl.txt -O /tmp/joewein-bl.acl && cat /tmp/joewein-bl.acl | cut -d";" -f 1 > /tmp/joewein-bl-clean.acl </code>|-|
+|https://www.joewein.net|frei für privat|domains/hostnames|<code>wget --quiet --timeout=15 --tries=2 https://www.joewein.net/dl/bl/dom-bl.txt -O /tmp/joewein-bl.acl && cat /tmp/joewein-bl.acl | cut -d";" -f 1 > /tmp/joewein-bl-clean.acl </code>|FIXME noch aktiv ?|
-|http://netlab.360.com/|unbekannt|domains|<code>wget --quiet "https://data.netlab.360.com/feeds/dga/dga.txt" -O /tmp/netlab360-dga.acl && grep ^[^#] /tmp/netlab360-dga.acl  | awk '{ print $2 }' > /tmp/netlab360-dga-clean.acl</code>|-|
+|http://netlab.360.com/|kommerziell|domains|<code>wget --quiet "https://data.netlab.360.com/feeds/dga/dga.txt" -O /tmp/netlab360-dga.acl && grep ^[^#] /tmp/netlab360-dga.acl  | awk '{ print $2 }' > /tmp/netlab360-dga-clean.acl</code>|Umgestellt auf paid|
 |https://www.misp-project.org/feeds/|unbekannt|diverse|-|EU gefördert diverse Feeds|
+|https://www.circl.lu/|unbekannt|misp|<code>https://www.circl.lu/doc/misp/feed-osint/ </code>|-|
 |https://www.reddit.com/r/pfBlockerNG/|unbekannt|Domain|<code>( wget --quiet --timeout=30 --tries=2 https://gist.githubusercontent.com/BBcan177/4a8bf37c131be4803cb2/raw  -O /tmp/bbcan177-ms2-pfblockerng.acl && grep ^[^#] /tmp/bbcan177-ms2-pfblockerng.acl | awk '{ print $1 }' ) || echo "Could not update bbcan177-ms2-pfblockerng.acl List" </code>|-|
 |https://zerodot1.gitlab.io/CoinBlockerListsWeb/|AGPL|Domain/Hostnames|<code>( wget --quiet --timeout=30 --tries=2 https://zerodot1.gitlab.io/CoinBlockerLists/list.txt -O /tmp/zerodot1-coinblocker.acl && cat /tmp/zerodot1-coinblocker.acl ) || echo "Could not update zerodot1-coinblocker.acl List"</code>|Missbrauch durch unerlaubtes CryptoMining|
+|https://www.pulsedive.com/|frei für privat ?|API|-|-|
+|https://project.turris.cz/en/|unbekannt|CSV|https://project.turris.cz/greylist-data/greylist-latest.csv|**Achtung** Betreiber argumentiert nicht als Blacklist zu verwenden / zu Analysezwecken||
+|https://github.com/blocklistproject/Lists|frei verfügbar|Domains/Hostnamen|<code>wget -q --timeout=15 --tries=2 -O /tmp/blocklistproject.github.io.acl https://blocklistproject.github.io/Lists/ransomware.txt https://blocklistproject.github.io/Lists/scam.txt https://blocklistproject.github.io/Lists/phishing.txt https://blocklistproject.github.io/Lists/malware.txt && grep -v ^# /tmp/blocklistproject.github.io.acl | uniq | sort | sed '/^$/d' | awk '{ print $2 }'  > /tmp/blocklistproject.github.io.acl )  </code>|Pihole kompatibles Basisformat|
+===== IP Reputation =====
+  * IP Reputation Check Listen
+<code>
+https://check.spamhaus.org/
+https://www.ipqualityscore.com/ip-reputation-check
+https://www.abuseipdb.com/
+https://novasense-threats.com/lookup
+https://www.shadowserver.org/what-we-do/network-reporting/api-documentation/
+https://www.pulsedive.com
+</code>
+  * Interessantes Projekt **crowdsec** : FIXME
+  * (https://docs.crowdsec.net/docs/getting_started/install_crowdsec/ )
+<code>
+curl -s https://packagecloud.io/install/repositories/crowdsec/crowdsec/script.deb.sh | sudo bash
+</code>
+  * Bouncer über iptables - **/etc/crowdsec/bouncers/crowdsec-firewall-bouncer.yaml** - befülle ipsets
+<code>
+mode: iptables
+pid_dir: /var/run/
+update_frequency: 10s
+daemonize: true
+log_mode: file
+log_dir: /var/log/
+log_level: info
+log_compression: true
+log_max_size: 100
+log_max_backups: 3
+log_max_age: 30
+api_url: http://127.0.0.1:8080/
+api_key: API_KEY
+insecure_skip_verify: false
+disable_ipv6: false
+deny_action: DROP
+deny_log: false
+supported_decisions_types:
+  - ban
+#to change log prefix
+#deny_log_prefix: "crowdsec: "
+#to change the blacklists name
+blacklists_ipv4: crowdsec4
+blacklists_ipv6: crowdsec6
+#if present, insert rule in those chains
+iptables_chains:
+#  - INPUT
+#  - FORWARD
+#  - DOCKER-USER
+## nftables
+nftables:
+  ipv4:
+    enabled: true
+    set-only: true
+    table: crowdsec
+    chain: crowdsec-chain
+  ipv6:
+    enabled: true
+    set-only: false
+    table: crowdsec6
+    chain: crowdsec6-chain
+# packet filter
+pf:
+  # an empty string disables the anchor
+  anchor_name: ""
+</code>
+===== DNSBL =====
+  * DNS Blacklists - IP Überprüfung zB: https://multirbl.valli.org/
+  * Hat/hatte in erster Linie Relevanz für den Mailverkehr wenn zB: Die Office/Mailserver IP blacklisted wurde und keine Mails mehr versendet werden können :)
+  * Sehr interessantes Projekt von firehol: **https://github.com/ktsaou/firehol/blob/master/contrib/dnsbl-ipset.sh** , Echtzeitanalyse des Firewall Traffic und Korrelation bzw. Scoring anhand vorhandener DNS Blacklists
+  * Beispiel für systemd Service von dnsbl:  **/lib/systemd/system/dnsbl-ext-fw.service** , Voraussetzungen für Betrieb u.a. **ipset** wobei das gewählte ipset ein **timeout** besitzen muss wie auch die **comment** Option
+<code>
+[Unit]
+Description=dnsbl Monitoring EXT-FW
+After=network.target
+[Service]
+Type=simple
+ExecStart=/usr/local/sbin/dnsbl-ipset.sh file  /var/log/fw.log grep EXT-FW
+KillSignal=9
+[Install]
+WantedBy=multi-user.target
+</code>
+===== Kategorien =====
+  * zB: Porn / Streams / Gambling usw..
+^Anbieter^Lizenz^Anmerkungen^
+|https://www.ut-capitole.fr/|creative-commons ?|https://dsi.ut-capitole.fr/blacklists/|
+<del>|http://www.shallalist.de/|frei für privat|http://www.shallalist.de/Downloads/shallalist.tar.gz|</del>
+  * FIXME Google Crawler über API - eigene Listen erstellen :)
 ===== CLAMAV =====
   * Spezielle Rules um die Erkennungsrate zu erhöhen
@@ Zeile 32: / Zeile 144: @@
 |https://sanesecurity.com/|Kommerzieller Einsatz gratis möglich|Es werden Skripte zur Verfügung gestellt|
 |https://www.malwarepatrol.net/|kommerziell|Diverse andere Formate verfügbar|
-|https://malware.expert/|Frei einsetzbar nach GNU GPLv2 lizenz|PHP Malware Signaturen|
+|https://malware.expert/|kommerziell|PHP Malware Signaturen|
 |https://www.atomicorp.com/|kommerziell|Im Rahmen anderer Produkte: https://docs.atomicorp.com/AED/supportingDocuments/clamAVSig.html|
+|https://www.rfxn.com/projects/linux-malware-detect/|GNU GPLv2 |Eigene Skripten oder CLAMAV rules: https://cdn.rfxn.com/downloads/maldet-sigpack.tgz|
+|https://github.com/Cisco-Talos/clamav-safebrowsing|GNU GPLv2|getestet auf Debian Buster/für Google Safebrowsing mit Google API / Test mit **http://malware.wicar.org/** |
+|http://sigs.interserver.net|unbekannt|Last Modified Sept. 2022|