資訊洩漏分析框架

AIL是一個模組化的框架，用於分析來自非結構化資料來源（如來自Pastebin或類似服務或非結構化資料流程的paste）的潜在資訊洩漏。AIL框架是靈活的，可以擴展以支持挖掘或處理敏感資訊的其他功能（如數據洩漏預防）。

特徵

• 處理非結構化或結構化信息流的模組化體系結構
• 對外部ZMQ提要的默認支持，例如由CIRCL或其他提供程式提供
• 多饋送支持
• 每個模塊都可以處理和重新處理已經由AIL處理的資訊
• 檢測和選取URL，包括其地理位置（例如IP地址位置）
• 選取並驗證信用卡號碼、憑證等的潜在洩漏。。。
• 選取和驗證洩漏的電子郵寄地址，包括DNS MX驗證
• 用於選取Tor.onion地址的模塊（將進一步處理以進行分析）
• 跟踪重複項（以及找到的每個重複項之間的差异）
• 選取並驗證潜在主機名（例如，為被動DNS系統提供數據）
• 用於索引非結構化資訊的全文索引子模塊
• 模塊和網絡統計
• 終端實时模塊管理器
• 基於nltk-vader模塊的供應商全域情緒分析
• 術語、術語集和Regex跟踪和發生
• 還有許多用於選取電話號碼、憑據和其他資訊的模塊
• 使用MISP標準在威脅情報平臺內提醒MISP共亯發現的漏洞
• 檢測和解碼編碼檔案（Base64、十六進位編碼或您自己的解碼方案）並存儲檔案
• 檢測Amazon AWS和Google API金鑰
• 檢測比特幣地址和比特幣私密金鑰
• 檢測私密金鑰、證書、金鑰（包括SSH、OpenVPN）
• 檢測IBAN銀行帳戶
• 用MISP Galaxy和MISP分類法標記系統
• 使用者介面粘貼提交
• 在MISP上創建事件，在配寘單元上創建案例
• 檢測到MISP時自動粘貼匯出（事件）和選定標記上的配寘單元（警報）
• 選取和解碼的檔案可以按日期範圍、檔案類型（mime類型）和發現的編碼進行蒐索
• 解碼檔案（散列）、類似PGP-uid和加密貨幣地址之間的圖形關係
• 用於爬網和分析輸出的Tor隱藏服務爬網程式
• Tor onion可用性被監視以檢測隱藏服務的上下變化
• 瀏覽器隱藏服務是截圖，並集成在分析的輸出中，包括模糊的截圖介面（以避免特定內容的安全分析“燒焦眼睛”）
• Tor隱藏服務是標準框架的一部分，所有模塊都可用於已爬網的隱藏服務
• 按需或按常規間隔觸發爬網的通用web爬網程式URL或Tor隱藏服務

安裝

鍵入以下命令列以進行全自動安裝並啟動所有框架：

默認安裝_deps.sh的是基於Debian和Ubuntu的發行版本。

還有一個Travis檔案用於自動安裝，可以用來在其他系統上構建和安裝所有的檔案。

要求：

• 蟒蛇3.5+

安裝說明

為了將AIL與ZFS或無許可權LXC結合使用，有必要通過將use Direct I O u for戔u flush戔u和戔u compression指令的值更改為false來禁用$AIL戔HOME/configs/6382.conf中的直接I/O。

$AIL_HOME/configs/6382.conf use_direct_io_for_flush_and_compaction false

Tor的安裝說明可以在HOWTO中找到

啟動AIL

最終，您可以通過以下URL瀏覽AIL框架網站的狀態：

https://localhost:7000/

web介面的默認憑據位於默認密碼中。更改密碼時將删除此檔案。

DEFAULT_PASSWORD

培訓

中國保監會組織有關如何使用或擴展AIL框架的培訓。所有培訓資料請訪問https://www.circl.lu/services/AIL training materials/。

美國石油學會

API檔案在doc/README.md中提供

如何

HOWTO在HOWTO.md中可用

隱私和GDPR

在收集、分析和共亯資訊洩漏的背景下，所有資訊洩漏分析和GDPR檔案概述了如何在合法的背景下使用所有資訊，特別是在一般數據保護法規的範圍內。

利用AIL進行研究

如果你寫學術論文，依賴或使用AIL，它可以與以下BibTeX一起引用：

@inproceedings{mokaddem2018ail, title={AIL-The design and implementation of an Analysis Information Leak framework}, author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre}, booktitle={2018 IEEE International Conference on Big Data (Big Data)}, pages={5049--5057}, year={2018}, organization={IEEE} }

Tor隱藏服務爬網程式

趨勢圖

從粘貼中選取編碼檔案

瀏覽

標籤系統

MISP和配寘單元，自動事件和警報創建

粘貼提交

情緒分析

術語跟踪器

所有框架荧幕

命令列模塊管理器

Copyright (C) 2014 Jules Debra Copyright (C) 2014-2019 CIRCL - Computer Incident Response Center Luxembourg (c/o smile, security made in Lëtzebuerg, Groupement d'Intérêt Economique) Copyright (c) 2014-2019 Raphaël Vinot Copyright (c) 2014-2019 Alexandre Dulaunoy Copyright (c) 2016-2019 Sami Mokaddem Copyright (c) 2018-2019 Thirion Aurélien This program is free software: you can redistribute it and/or modify it under the terms of the GNU Affero General Public License as published by the Free Software Foundation, either version 3 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU Affero General Public License for more details. You should have received a copy of the GNU Affero General Public License along with this program. If not, see <http://www.gnu.org/licenses/>.