Compare commits
43 Commits
971107a38e
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
eb4c3fce2d | ||
|
|
a80e20862c | ||
|
|
216cf27e1b | ||
|
|
6bddd048ca | ||
|
|
7f880df10c | ||
|
|
fd3225b8b3 | ||
|
|
32c1955305 | ||
|
|
eb295fdf41 | ||
|
|
4ebb210103 | ||
|
|
3595549e62 | ||
|
|
e61c314311 | ||
|
|
304c3cc1d4 | ||
|
|
457a1d397b | ||
|
|
96910eea02 | ||
|
|
f180169558 | ||
|
|
8456b95098 | ||
|
|
ac172c0357 | ||
|
|
d04ae45f10 | ||
|
|
9f012896d8 | ||
|
|
80a547df3b | ||
|
|
8af5a68a39 | ||
|
|
b71d1d4809 | ||
|
|
424e72f232 | ||
|
|
709bb61cf3 | ||
|
|
7d93ef9790 | ||
|
|
1bfac10d9a | ||
|
|
48d07c7d65 | ||
|
|
d21f1db4bf | ||
|
|
2ad1e0c48d | ||
|
|
b5d706683c | ||
|
|
344ee7a343 | ||
|
|
9a36e5d7d2 | ||
|
|
8ff36d994d | ||
|
|
ee294e1d37 | ||
|
|
775c3e6936 | ||
|
|
7e995357f9 | ||
|
|
170f9555d2 | ||
|
|
6af8d049b9 | ||
|
|
3ba1a5da15 | ||
|
|
2eebeefdde | ||
|
|
aae89afff0 | ||
|
|
4c78c1990f | ||
|
|
6bb96d67de |
1
.gitignore
vendored
1
.gitignore
vendored
@@ -1 +1,2 @@
|
|||||||
venv/
|
venv/
|
||||||
|
*.bak
|
||||||
|
|||||||
217
docs/common/ach.md
Normal file
217
docs/common/ach.md
Normal file
@@ -0,0 +1,217 @@
|
|||||||
|
# Немного про принятие решений и нейросети
|
||||||
|
|
||||||
|
## Мотивация
|
||||||
|
|
||||||
|
Сейчас очень распространились нейросети различных форматов: для работы
|
||||||
|
с текстом, видео, аудио, для обработки и прогнозирования данных. В
|
||||||
|
твиттере ажиотаж вокруг новой возможности ChatGPT: обработка
|
||||||
|
изображений в стиле студии Ghibli, известной по фильмам "Мой сосед
|
||||||
|
Тоторо", "Унесенные призраками" и пр.
|
||||||
|
|
||||||
|
Нейросети применяются не только для "развлечений", но и в весьма
|
||||||
|
ответственных областях, например, анализ снимков рентгена, разработке
|
||||||
|
программ. Для последнего даже был придуман термин [Vibe Coding](https://en.wikipedia.org/wiki/Vibe_coding).
|
||||||
|
|
||||||
|
Я, в некоторой степени, являюсь луддитом по отношению к нейросетям,
|
||||||
|
которые генерируют тексты. Это обусловлено преимущественно тем, что
|
||||||
|
люди относятся к ним, как к некой "палочке-выручалочке", которая
|
||||||
|
представляет собой кнопку "сделать красиво". Такой подход не только
|
||||||
|
снижает *критичное отношение* к окружающему миру (зачем придумывать
|
||||||
|
решение, если нейросеть может сгенерировать его за меня, *даже если он
|
||||||
|
будет некорректный*), но уменьшает общее качество деятельности.
|
||||||
|
|
||||||
|
Но даже так, я не являюсь противником нейросетей *просто по
|
||||||
|
существу*. У всего есть качественные области применения, иногда не
|
||||||
|
совсем очевидные.
|
||||||
|
|
||||||
|
Здесь я хочу рассказать об **анализе конкурирующих гипотез**,
|
||||||
|
**мозговом штурме** и **попытке применения в них нейросетей**.
|
||||||
|
|
||||||
|
## Большие языковые модели
|
||||||
|
|
||||||
|
Должен признать, что у меня весьма смутное представление о работе
|
||||||
|
таких нейросетей *под капотом*.
|
||||||
|
|
||||||
|
В моем понимании, суть их работы заключается в том, при анализе
|
||||||
|
запроса любого толка, они "понимают", какие слова будут уместны в
|
||||||
|
контексте этого запроса (получается такая очень сложная "китайская
|
||||||
|
комната"[2]).
|
||||||
|
|
||||||
|
Результатом же работы нейросети является текст, который я воспринимаю
|
||||||
|
как *случайное число*, которое параметризовали запросом (*prompt*),
|
||||||
|
примерно как случайное число из нормального распределения
|
||||||
|
параметризуется математическим ожиданием и дисперсией. Хотя, есть и
|
||||||
|
[другое мнение](https://x.com/tsoding/status/1896205552415658463).
|
||||||
|
|
||||||
|
А если есть случайность, то значит можно её можно использовать.
|
||||||
|
|
||||||
|
## Суть анализа конкурирующих гипотез
|
||||||
|
|
||||||
|
**Анализ конкурирующих гипотез** - методология, разработанная Ричардом
|
||||||
|
Хоером в 70-х годах. Целью создания метода было уменьшение влияния
|
||||||
|
когнитивных сдвигов (*bias*) на работу аналитиков при анализе и принятии
|
||||||
|
решений.
|
||||||
|
|
||||||
|
Особенность метода заключается в том, что вместо сопоставления каждой
|
||||||
|
гипотезе всех доказательств, наоборот, каждое доказательство
|
||||||
|
противопоставляется всем гипотезам.
|
||||||
|
|
||||||
|
Пошаговая инструкция к методу:
|
||||||
|
|
||||||
|
1. Определить все **возможные** гипотезы. Лучше использовать *команду
|
||||||
|
аналитиков* с различным опытом, чтобы реализовать **мозговой
|
||||||
|
штурм**.
|
||||||
|
2. Создать список всех существенных доказательств, аргументов "за" и
|
||||||
|
"против, а также фактов, которые могут помочь в анализе гипотез.
|
||||||
|
3. Подготовить матрицу, где номер строки будет отвечать за номер
|
||||||
|
аргумента, а номер столбца за номер гипотезы.
|
||||||
|
4. Проверить матрицу: уточнить формулировку гипотез, удалить аргументы,
|
||||||
|
которые не имеют диагностической ценности.
|
||||||
|
5. Сопоставьте каждое доказательство каждой гипотезе. Двигайтесь
|
||||||
|
по столбцам.
|
||||||
|
6. Проанализируйте, как устойчивы ваши заключение к аргумента.
|
||||||
|
Посмотрите, как изменится вывод в случае, если какие-то аргументы
|
||||||
|
окажутся ложными.
|
||||||
|
7. Составьте отчет. Проверьте правдоподобность каждой гипотезы, *не
|
||||||
|
только самой приятной*.
|
||||||
|
8. Оцените дальнейшие шаги для улучшения оценки.
|
||||||
|
|
||||||
|
Можно долго вдаваться в детали реализации метода. В нашем случае, нас
|
||||||
|
интересует часть, где необходимо придумать как можно большее число
|
||||||
|
вариантов, используя **мозговой штурм**.
|
||||||
|
|
||||||
|
### Применение нейросетей
|
||||||
|
|
||||||
|
Когда нет большой *команды аналитиков*, можно попробовать заменить их
|
||||||
|
нейросетью. В данном случае, нейросеть можно применить в двух местах:
|
||||||
|
|
||||||
|
1. В п. 1 для определения всех **возможных** гипотез. Само собой,
|
||||||
|
качество этих гипотез определяет аналитик, но их генерацию можно
|
||||||
|
частично делегировать ИИ.
|
||||||
|
2. В п.2 можно попробовать определить области, где **искать
|
||||||
|
доказательства** за и против. Нужно помнить, что доказательства
|
||||||
|
также могут представлять собой *отсутствие* чего-либо.
|
||||||
|
|
||||||
|
## Пример
|
||||||
|
|
||||||
|
Приведу пример (полученный также с помощью ИИ): "Почему в городе
|
||||||
|
резко выросло число ДТП на конкретном перекрестке?".
|
||||||
|
|
||||||
|
Полученный список гипотез:
|
||||||
|
|
||||||
|
```
|
||||||
|
- Инфраструктурные факторы
|
||||||
|
1. **Изменение дорожной разметки или знаков**: Неправильно
|
||||||
|
нанесенная разметка, противоречивые знаки или их отсутствие.
|
||||||
|
2. **Неисправность светофора**: Сбои в работе (например, мигающий
|
||||||
|
желтый сигнал), некорректные временные интервалы.
|
||||||
|
3. **Сужение полос** из-за ремонтных работ, парковки или временных
|
||||||
|
ограждений.
|
||||||
|
4. **Новые препятствия**: Установка рекламных щитов, столбов,
|
||||||
|
деревьев, ограничивающих обзор.
|
||||||
|
5. **Плохое состояние дорожного покрытия**: Выбоины, ледяная
|
||||||
|
корка, отсутствие освещения в темное время суток.
|
||||||
|
6. **Изменение типа перекрестка**: Например, переход от светофора
|
||||||
|
к круговому движению без должного информирования.
|
||||||
|
|
||||||
|
- Транспортный поток
|
||||||
|
7. **Рост трафика** из-за открытия новых ТЦ, офисов, жилых
|
||||||
|
комплексов.
|
||||||
|
8. **Перенаправление движения** с других улиц из-за ремонта,
|
||||||
|
аварий или изменений в маршрутах.
|
||||||
|
9. **Увеличение грузового транспорта**: Новые логистические
|
||||||
|
маршруты через перекресток.
|
||||||
|
10. **Активность общественного транспорта**: Новые автобусные
|
||||||
|
остановки или троллейбусные линии.
|
||||||
|
|
||||||
|
- Человеческий фактор
|
||||||
|
11. **Нарушение ПДД водителями**: Частые проезды на красный свет,
|
||||||
|
превышение скорости, агрессивное вождение.
|
||||||
|
12. **Низкая видимость пешеходов**: Отсутствие зебры, освещения
|
||||||
|
или знаков у пешеходного перехода.
|
||||||
|
13. **Отвлекающие факторы**: Яркая реклама, использование
|
||||||
|
телефонов за рулем.
|
||||||
|
14. **Новички на дороге**: Увеличение числа неопытных водителей
|
||||||
|
(например, из-за новой автошколы поблизости).
|
||||||
|
|
||||||
|
- Внешние условия
|
||||||
|
15. **Погодные аномалии**: Гололед, туман, дождь, слепящее солнце
|
||||||
|
в определенные часы.
|
||||||
|
16. **Сезонные факторы**: Туристы, листопад, снежные заносы.
|
||||||
|
17. **Животные на дороге**: Бродячие собаки, птицы или дикие
|
||||||
|
животные, вызывающие резкие торможения.
|
||||||
|
|
||||||
|
- Технические причины
|
||||||
|
18. **Неисправности автомобилей**: Массовые отзывы авто из-за
|
||||||
|
брака тормозных систем.
|
||||||
|
19. **Сбои в системах помощи водителю**: Например, ошибки в
|
||||||
|
навигаторах, предлагающих опасные маневры.
|
||||||
|
20. **Электромагнитные помехи**, влияющие на работу датчиков или
|
||||||
|
светофоров.
|
||||||
|
|
||||||
|
- Организационные и социальные факторы
|
||||||
|
21. **Снижение контроля со стороны ГИБДД**: Уменьшение числа
|
||||||
|
патрулей или камер фиксации нарушений.
|
||||||
|
22. **Новые правила движения**, которые водители не успели
|
||||||
|
изучить.
|
||||||
|
23. **Вандализм**: Повреждение знаков, светофоров или разметки.
|
||||||
|
24. **Массовые мероприятия**: Концерты, митинги или фестивали,
|
||||||
|
создающие заторы и невнимательность.
|
||||||
|
|
||||||
|
- Статистические аномалии
|
||||||
|
25. **Случайная кластеризация**: Краткосрочный всплеск аварий без
|
||||||
|
системной причины.
|
||||||
|
26. **Изменение методики учета ДТП**: Теперь фиксируются даже
|
||||||
|
мелкие столкновения, которые раньше игнорировались.
|
||||||
|
27. **Ошибки в данных**: Технические сбои при сборе статистики.
|
||||||
|
```
|
||||||
|
|
||||||
|
Хочется обратить внимание, что гипотез очень много и часть из низ
|
||||||
|
можно отмести в зависимости от контекста исследования. Но эту задачу
|
||||||
|
**должен делать аналитик**.
|
||||||
|
|
||||||
|
Ответ на вопрос: "где искать доказательства":
|
||||||
|
|
||||||
|
```
|
||||||
|
- Данные ГИБДД: Статистика нарушений, протоколы ДТП, видео с камер.
|
||||||
|
- Дорожные службы: Отчеты о ремонтах, изменениях разметки, проверках
|
||||||
|
светофоров.
|
||||||
|
- Метеорологические службы: Погодные сводки на даты аварий.
|
||||||
|
- Соцсети и СМИ: Жалобы водителей, репортажи о проблемах на
|
||||||
|
перекрестке.
|
||||||
|
- Технические данные: Логи навигаторов (Яндекс.Пробки, Google Maps),
|
||||||
|
отчеты автопроизводителей.
|
||||||
|
```
|
||||||
|
|
||||||
|
На основе полученных ответов можно пробовать строить анализ.
|
||||||
|
|
||||||
|
## Выводы
|
||||||
|
|
||||||
|
В заключении этого небольшого текста, хочу отметить несколько выводов:
|
||||||
|
|
||||||
|
1. Данная заметка не является инструкцией в стиле "вы используете
|
||||||
|
языковые модели неправильно". Здесь я просто хочу высказать мнение
|
||||||
|
касательно ИИ и отметить, какое применение я вижу у этого
|
||||||
|
инструмента.
|
||||||
|
2. В моем понимании, нейросети подойдут в тех случаях, когда нужно
|
||||||
|
применить **мозговой штурм**: составление гипотез, поиск
|
||||||
|
доказательств, составление списка действия для решения задачи в
|
||||||
|
методологии *GTD*.
|
||||||
|
3. Не стоит отдавать под контроль ИИ принятие решений на _любом
|
||||||
|
уровне_. Все логические выкладки должен делать аналитик, который
|
||||||
|
использует языковую модель как инструмент.
|
||||||
|
4. Думаю, обращаться за помощью к нейросетям, нужно если не в
|
||||||
|
*последнюю очередь*, то хотя бы не сразу. Во-первых, стоит не
|
||||||
|
забывать про собственное *критичное отношение* к миру, а во-вторых,
|
||||||
|
цель **мозгового штурма** -- это сбор _всех_ возможных вариантов,
|
||||||
|
которые могут пройти ниже радаров нейросети, и про которые потом не
|
||||||
|
станет думать аналитик, будучи отвлеченный анализом результатов.
|
||||||
|
|
||||||
|
По итогу, я убежден, что языковые модели -- это *инструмент*, который
|
||||||
|
можно применить во множестве областей, но это все же *инструмент*. Он
|
||||||
|
не решит все проблемы за вас, но поможет вам решить ваши проблемы.
|
||||||
|
|
||||||
|
## Источники
|
||||||
|
|
||||||
|
1. [Psychology of intelligence analysis](https://www.amazon.com/Psychology-Intelligence-Analysis-Richards-Heuer/dp/B0016OST3O)
|
||||||
|
2. [Китайская комната](https://ru.wikipedia.org/wiki/%D0%9A%D0%B8%D1%82%D0%B0%D0%B9%D1%81%D0%BA%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%BD%D0%B0%D1%82%D0%B0)
|
||||||
3
docs/common/index.md
Normal file
3
docs/common/index.md
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
# Общие заметки
|
||||||
|
|
||||||
|
## 2025-04-23 [Немного про принятие решений и нейросети](ach.md)
|
||||||
@@ -3,15 +3,27 @@
|
|||||||
|
|
||||||
Меня зовут Рустам.
|
Меня зовут Рустам.
|
||||||
|
|
||||||
Люблю Linux и все, что связано с ним.
|
Увлекаюсь автоматизацией, аналитикой и программированием, а также смежными
|
||||||
|
направлениями.
|
||||||
|
|
||||||
Предпочитаю командную строку графическим
|
Ввиду того, что я часто делаю "*Proof of Concept*" и "*Probe*" проекты, было
|
||||||
приложениям.
|
решено завести для этого блог.
|
||||||
|
|
||||||
Также увлекаюсь математической статистикой и машинным обучением.
|
Здесь время от времени выкладываю заметки по различным темам, которые мне
|
||||||
|
показались интересными.
|
||||||
|
|
||||||
В свободное время, если есть возможность, занимаюсь спортивным туризмом, в
|
# Технологический стэк
|
||||||
частности, горным. В 2019 году взошел на Казбек (5033 м, 2Б к.с.) и в 2021 году
|
|
||||||
— на Эльбрус (5642 м, 2А к.с.).
|
|
||||||
|
|
||||||
# TBD
|
- **Администрирование**: дистрибутивы Linux, права доступа, управление
|
||||||
|
процессами, **nginx** (веб-сервер), сетевые протоколы, ведение документации
|
||||||
|
(**mkdocs**);
|
||||||
|
- **DevOps**: основы **docker** и **ansible**, docker-compose (в т.ч.
|
||||||
|
Portainer), основы **CI/CD** (GitHub Actions, GitLab CI, Jenkins);
|
||||||
|
- **Программирование**: **python** (в том числе: numpy, scipy, pandas,
|
||||||
|
matplotlib), **bash** и zsh, **C/C++**;
|
||||||
|
- **Математика**: основы теории случайных процессов, машинное обучение,
|
||||||
|
построение критериев для проверки **гипотез**, численные методы,
|
||||||
|
моделирование (**метод отбора, MCMC, bootstrap**);
|
||||||
|
- **Вёрстка**: $\LaTeX$, Markdown, groff, HTML, CSS;
|
||||||
|
- **Общее**: чтение документации (на русском и английском), **git**,
|
||||||
|
**терминал** (vim, tmux, различные утилиты командной строки);
|
||||||
|
|||||||
@@ -66,7 +66,7 @@ box_name = "debian.jessie64.libvirt.box"
|
|||||||
|
|
||||||
Описание виртуальной машины, на которой будет основная компиляция:
|
Описание виртуальной машины, на которой будет основная компиляция:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
# Master
|
# Master
|
||||||
master_node = {
|
master_node = {
|
||||||
:hostname => "master", :ip => "10.200.1.2", :memory => 1024, :cpu => 1
|
:hostname => "master", :ip => "10.200.1.2", :memory => 1024, :cpu => 1
|
||||||
@@ -83,7 +83,7 @@ master_node = {
|
|||||||
|
|
||||||
Описание второстепенной виртуальной машины:
|
Описание второстепенной виртуальной машины:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
# List of slaves
|
# List of slaves
|
||||||
slaves = [
|
slaves = [
|
||||||
{ :memory => 4096, :cpu => 4 },
|
{ :memory => 4096, :cpu => 4 },
|
||||||
@@ -97,7 +97,7 @@ slaves = [
|
|||||||
|
|
||||||
Скрипт для автоматической установки зависимостей:
|
Скрипт для автоматической установки зависимостей:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
$distcc_install = <<-SCRIPT
|
$distcc_install = <<-SCRIPT
|
||||||
apt update
|
apt update
|
||||||
apt install -y make distcc gcc g++ tmux libz-dev git fakeroot build-essential ncurses-dev xz-utils libssl-dev bc flex libelf-dev bison time neofetch
|
apt install -y make distcc gcc g++ tmux libz-dev git fakeroot build-essential ncurses-dev xz-utils libssl-dev bc flex libelf-dev bison time neofetch
|
||||||
@@ -106,13 +106,13 @@ SCRIPT
|
|||||||
|
|
||||||
Старт конфигурации виртуальных машин:
|
Старт конфигурации виртуальных машин:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
Vagrant.configure("2") do |config|
|
Vagrant.configure("2") do |config|
|
||||||
```
|
```
|
||||||
|
|
||||||
Конфигурация основной машины:
|
Конфигурация основной машины:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
# Master node's config
|
# Master node's config
|
||||||
config.vm.box_check_update = false
|
config.vm.box_check_update = false
|
||||||
config.vm.define master_node[:hostname] do |nodeconfig|
|
config.vm.define master_node[:hostname] do |nodeconfig|
|
||||||
@@ -139,7 +139,7 @@ Vagrant.configure("2") do |config|
|
|||||||
|
|
||||||
Конфигурация второстепенных машин:
|
Конфигурация второстепенных машин:
|
||||||
|
|
||||||
```
|
```ruby
|
||||||
# Slaves configs
|
# Slaves configs
|
||||||
slaves.each_with_index do |slave, i|
|
slaves.each_with_index do |slave, i|
|
||||||
config.vm.box_check_update = false
|
config.vm.box_check_update = false
|
||||||
@@ -172,7 +172,7 @@ end
|
|||||||
|
|
||||||
Далее необходимо подключиться к главной машине и распаковать исходники ядра[^3]:
|
Далее необходимо подключиться к главной машине и распаковать исходники ядра[^3]:
|
||||||
|
|
||||||
```
|
```shell
|
||||||
vagrant ssh master
|
vagrant ssh master
|
||||||
tar xvf linux-6.13.tar.gz
|
tar xvf linux-6.13.tar.gz
|
||||||
cd linux-6.13
|
cd linux-6.13
|
||||||
@@ -181,7 +181,7 @@ cd linux-6.13
|
|||||||
Создаем файл минимальной конфигурации
|
Создаем файл минимальной конфигурации
|
||||||
(с остальными вариантам можно ознакомиться командой `make help | less`):
|
(с остальными вариантам можно ознакомиться командой `make help | less`):
|
||||||
|
|
||||||
```
|
```shell
|
||||||
make tinyconfig
|
make tinyconfig
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -190,7 +190,7 @@ make tinyconfig
|
|||||||
|
|
||||||
Запускаем компиляцию с замером времени:
|
Запускаем компиляцию с замером времени:
|
||||||
|
|
||||||
```
|
```shell
|
||||||
time -p make CC=gcc
|
time -p make CC=gcc
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -199,13 +199,13 @@ time -p make CC=gcc
|
|||||||
По смыслу, все тоже самое, только нужно указать distcc, на каких хостах
|
По смыслу, все тоже самое, только нужно указать distcc, на каких хостах
|
||||||
можно компилировать:
|
можно компилировать:
|
||||||
|
|
||||||
```sh
|
```shell
|
||||||
export DISTCC_HOSTS="localhost"
|
export DISTCC_HOSTS="localhost"
|
||||||
```
|
```
|
||||||
|
|
||||||
Запускаем компиляцию с замером времени:
|
Запускаем компиляцию с замером времени:
|
||||||
|
|
||||||
```
|
```shell
|
||||||
time -p make CC="distcc gcc"
|
time -p make CC="distcc gcc"
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -214,7 +214,7 @@ time -p make CC="distcc gcc"
|
|||||||
Для запуска распределенной компиляции, нужно сначала запустить демон на
|
Для запуска распределенной компиляции, нужно сначала запустить демон на
|
||||||
второй виртуальной машине. Для этого подключаемся к ней и запускаем его:
|
второй виртуальной машине. Для этого подключаемся к ней и запускаем его:
|
||||||
|
|
||||||
```
|
```shell
|
||||||
vagrant ssh slave-1
|
vagrant ssh slave-1
|
||||||
distccd --daemon --allow-private
|
distccd --daemon --allow-private
|
||||||
```
|
```
|
||||||
@@ -230,7 +230,7 @@ distccd --daemon --allow-private
|
|||||||
Теперь нужно добавить хост, чтобы на нем можно было удаленно компилировать.
|
Теперь нужно добавить хост, чтобы на нем можно было удаленно компилировать.
|
||||||
Для этого на основной машине:
|
Для этого на основной машине:
|
||||||
|
|
||||||
```
|
```shell
|
||||||
export DISTCC_HOSTS="localhost 10.200.1.3"
|
export DISTCC_HOSTS="localhost 10.200.1.3"
|
||||||
```
|
```
|
||||||
|
|
||||||
@@ -238,13 +238,13 @@ export DISTCC_HOSTS="localhost 10.200.1.3"
|
|||||||
|
|
||||||
Запустим компиляцию на 5 потоках с замером времени:
|
Запустим компиляцию на 5 потоках с замером времени:
|
||||||
|
|
||||||
```sh
|
```shell
|
||||||
time -p make -j5 CC="distcc gcc"
|
time -p make -j5 CC="distcc gcc"
|
||||||
```
|
```
|
||||||
|
|
||||||
Мониторить компиляцию можно с помощью команды (на основной машине):
|
Мониторить компиляцию можно с помощью команды (на основной машине):
|
||||||
|
|
||||||
```
|
```shell
|
||||||
watch -n 1 distccmon-text
|
watch -n 1 distccmon-text
|
||||||
```
|
```
|
||||||
|
|
||||||
|
|||||||
BIN
docs/maths/assets/type-pred/file_sig.png
Normal file
BIN
docs/maths/assets/type-pred/file_sig.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 207 KiB |
BIN
docs/maths/assets/type-pred/heatmaps.png
Normal file
BIN
docs/maths/assets/type-pred/heatmaps.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 288 KiB |
BIN
docs/maths/assets/type-pred/stats.png
Normal file
BIN
docs/maths/assets/type-pred/stats.png
Normal file
Binary file not shown.
|
After Width: | Height: | Size: 79 KiB |
@@ -1,10 +1,9 @@
|
|||||||
# Математика
|
# Математика
|
||||||
|
|
||||||
# Статистика
|
|
||||||
|
|
||||||
## 2024-10-30 [Немного про производящие функции](gen_fun.md)
|
## 2024-10-30 [Немного про производящие функции](gen_fun.md)
|
||||||
|
|
||||||
## 2024-09-24 [Немного про Байесовскую статистику](baes.md)
|
## 2024-09-24 [Немного про Байесовскую статистику](baes.md)
|
||||||
|
|
||||||
## 2020-09-01 [Немного про проверку гипотез](stat-madness.md)
|
## 2020-09-01 [Немного про проверку гипотез](stat-madness.md)
|
||||||
|
|
||||||
|
## 2025-05-30 [Немного про работу с файлами, numpy и предсказаниях](type-pred.md)
|
||||||
|
|||||||
166
docs/maths/type-pred.md
Normal file
166
docs/maths/type-pred.md
Normal file
@@ -0,0 +1,166 @@
|
|||||||
|
# Немного про работу с файлами, numpy и предсказаниях
|
||||||
|
|
||||||
|
## Введение
|
||||||
|
|
||||||
|
Известно, что файлы в памяти представлены последовательностью байтов.
|
||||||
|
Структурно, эта последовательность может быть разной. Она может
|
||||||
|
содержать только ASCII-текст, текст с любой кодировкой, сжатый архив,
|
||||||
|
mp3, etc. При взаимодействии с файлом (например, открыть файл
|
||||||
|
текстовым редактором), операционная система не смотрит на
|
||||||
|
т.н. **расширение файла**, её интересует *побайтовое* содержание
|
||||||
|
файла.
|
||||||
|
|
||||||
|
В Unix для определения типа файла есть утилита `file`. Как она
|
||||||
|
определяет тип я точно не знаю, но могу сказать, что частично метод
|
||||||
|
основан на *"заголовке"* файла (первых байтах).
|
||||||
|
|
||||||
|
Пример работы `file` на исполняемом файле:
|
||||||
|
|
||||||
|
```
|
||||||
|
./program: ELF 64-bit LSB pie executable, x86-64, version 1 (SYSV), dynamically linked, ...
|
||||||
|
```
|
||||||
|
|
||||||
|
Шестнадцатеричное представление (первые несколько строк) с помощью
|
||||||
|
`xxd`:
|
||||||
|
|
||||||
|
```console
|
||||||
|
00000000: 7f45 4c46 0201 0100 0000 0000 0000 0000 .ELF............
|
||||||
|
00000010: 0300 3e00 0100 0000 6010 0000 0000 0000 ..>.....`.......
|
||||||
|
00000020: 4000 0000 0000 0000 c036 0000 0000 0000 @........6......
|
||||||
|
00000030: 0000 0000 4000 3800 0d00 4000 1f00 1e00 ....@.8...@.....
|
||||||
|
```
|
||||||
|
|
||||||
|
В начале видно последовательность `ELF` -- формат исполняемых файлов в
|
||||||
|
Unix[1].
|
||||||
|
|
||||||
|
Возникает вопрос: **есть какой-то паттерн для различных типов файлов,
|
||||||
|
который можно увидеть, не считая специальных симвовол в *заголовке*?**
|
||||||
|
|
||||||
|
Можно усложнить вопрос: можно ли по какому-то обобщению (*сигнатуре*)
|
||||||
|
файла предсказать его тип? Попробуем это выяснить.
|
||||||
|
|
||||||
|
Для этого нужно решить следующие задачи:
|
||||||
|
|
||||||
|
1. Написать модуль (**на Си**), который по имени файла просчитывает
|
||||||
|
сигнатуру и возвращает её;
|
||||||
|
2. Посмотреть, как выглядят эти сигнатуры;
|
||||||
|
3. Попробовать обучить простую нейросеть.
|
||||||
|
|
||||||
|
## Как считать сигнатуру файла
|
||||||
|
|
||||||
|
Возьмем нулевую матрицу `M` размера 256х256, так как один байт это
|
||||||
|
число от 0 до 255. Считаем файл в память в виде последовательности
|
||||||
|
байтов. Теперь будем двигаться по последовательности с окном
|
||||||
|
размера 2. В этом окне первый элемент будет отвечать за номер строки,
|
||||||
|
а второй за номер столбца. И каждый раз с окном `(x, y)` будем
|
||||||
|
увеличивать элемент матрицы `M[x][y]` на единицу.
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
## Причины использования Си
|
||||||
|
|
||||||
|
Если **кратко**: python очень медленный. Например, средний `wav`-файл
|
||||||
|
занимает около 10 мегабайт. Это порядка десяти миллионов байт, по
|
||||||
|
которым нужно пробежать и заполнить матрицу. А для обучения нейросети,
|
||||||
|
таких файлов должно быть много.
|
||||||
|
|
||||||
|
**Отдельный интерес**, также, представляет возможность написать модуль
|
||||||
|
для python на C, который умеет взаимодействовать с API библиотеки
|
||||||
|
NumPy.
|
||||||
|
|
||||||
|
## Чтение файлов в память
|
||||||
|
|
||||||
|
Для чтения файла в память, был написан модуль на Си, доступный
|
||||||
|
репозитории[2]. Здесь кратко опишу, как он работает.
|
||||||
|
|
||||||
|
В нем реализована функция `signature_from_filepath_by2`, которая
|
||||||
|
получает на вход два параметра: имя файла и уровень `verbose`. `by_2`
|
||||||
|
в названии обусловлено тем, что работа не с матрицами, а `n`-мерными
|
||||||
|
тензорами улучшает качество предсказания.
|
||||||
|
|
||||||
|
Функция `read_file` считывает файл в структуру `raw_data`, которая
|
||||||
|
представляет собой просто последовательность байтов и размер этой
|
||||||
|
последовательности. После этого функция `build_matrix` считывает по
|
||||||
|
этой струтуре сигнатуру и записывает в `matrix`.
|
||||||
|
|
||||||
|
Далее создается объект `PyObject *result`, представляющий собой
|
||||||
|
указатель на массив `NumPy` типа `uint32`. На его основе создается
|
||||||
|
динамический массив `result_data`.
|
||||||
|
|
||||||
|
Так как `matrix` лежит в памяти последовательно (ввиду того, что
|
||||||
|
она аллоцирована на стеке), то её можно просто скопировать в
|
||||||
|
`result_data`. После всего этого возвращается указатель `*result`.
|
||||||
|
|
||||||
|
Помимо этого в коде много второстепенных действий, которые требует API
|
||||||
|
Python для работы. Эти подробности я опустил, их можно увидеть в коде,
|
||||||
|
все достаточно предсказуемо.
|
||||||
|
|
||||||
|
## Пайплайн обучения нейросети
|
||||||
|
|
||||||
|
**Нюанс обучения нейросети**: так как получившиеся матрицы вышли очень
|
||||||
|
неравномерными, дополнительно они были размыты [*методом
|
||||||
|
Гаусса*](https://ru.wikipedia.org/wiki/%D0%A0%D0%B0%D0%B7%D0%BC%D1%8B%D1%82%D0%B8%D0%B5_%D0%BF%D0%BE_%D0%93%D0%B0%D1%83%D1%81%D1%81%D1%83).
|
||||||
|
|
||||||
|
Для обучения нейросети необходимо создать матрицу меток. Так как
|
||||||
|
предполагается, что нейросеть будет предсказывать различные типы
|
||||||
|
файлов, то матрица меток будет иметь размер `M*NxM`, где:
|
||||||
|
|
||||||
|
- `M` -- количество типов файлов
|
||||||
|
- `N` -- количество файлов в одном типе (берется минимальное из всех,
|
||||||
|
чтобы обучение было равномерным)
|
||||||
|
|
||||||
|
Для разбиения на тренировочную и обучающию выборки отлично подходит
|
||||||
|
функция `train_test_split` из модуля `sklearn.model_selection`.
|
||||||
|
|
||||||
|
Сам перцептрон будет иметь следующую архитектуру:
|
||||||
|
|
||||||
|
1. На входном слое будет 65536 нейронов (`256х256`). Функцией активации
|
||||||
|
будет `ReLu`-функция.
|
||||||
|
2. Скрытый слой будет иметь 512 нейронов и `sigmoid`-функцию активации.
|
||||||
|
3. На выходе будет столько нейронов, сколько типов файлов нужно будет
|
||||||
|
предсказать.
|
||||||
|
|
||||||
|
Для для задания `loss`-функции и оптимизатора:
|
||||||
|
|
||||||
|
```python
|
||||||
|
loss_fn = nn.CrossEntropyLoss()
|
||||||
|
optimizer = t.optim.SGD(model.parameters(), lr=1e-3)
|
||||||
|
```
|
||||||
|
|
||||||
|
Цикл обучения в данном случае состоял из 250 эпох.
|
||||||
|
|
||||||
|
Пайплайн обучения можно будет найти в репозитории
|
||||||
|
[проекта](https://github.com/rustbas/filetype-prediction), вместе с
|
||||||
|
инструкцией по воспроизведению результатов (кроме того факта, что
|
||||||
|
файлы различных типов нужно будет скачать самому).
|
||||||
|
|
||||||
|
## Результаты и картинки
|
||||||
|
|
||||||
|
Усреденные сигнатуры различных типов файлов можно увидеть ниже.
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
Также, показатели обучения:
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
## Выводы
|
||||||
|
|
||||||
|
По итогу, можно сказать, что в некоторых случаях, *сигнатура* файла
|
||||||
|
является неплохим предиктором его типа.
|
||||||
|
|
||||||
|
Гипотетически, это можно использовать для следующих идей:
|
||||||
|
|
||||||
|
1. Восстановление частично поврежденных файлов, так как можно попытаться
|
||||||
|
угадать его структуру и восстановить её.
|
||||||
|
2. Определение исполняемых файлов при анализе вредоносного ПО.
|
||||||
|
3. Обнаружение скрытых данных (когда сигнатура файла и его тип не
|
||||||
|
соответствуют друг другу).
|
||||||
|
|
||||||
|
## Источники
|
||||||
|
|
||||||
|
1. [Википедия про ELF-формат](https://ru.wikipedia.org/wiki/Executable_and_Linkable_Format);
|
||||||
|
2. [Репозиторий проекта](https://github.com/rustbas/filetype-prediction);
|
||||||
|
3. [Основание идеи заметки](https://youtu.be/AUWxl0WdiNI?si=mklboGVUC-mZ-d1M);
|
||||||
|
1. [Пояснение про сигнатуру](https://youtu.be/4bM3Gut1hIk?si=zSGWLHKTKW7bStPb);
|
||||||
|
4. [Модули для Python](https://youtu.be/45TOazYbedI?si=jykTbnbjcyzTsN0r).
|
||||||
34
mkdocs.yml
34
mkdocs.yml
@@ -3,23 +3,45 @@ site_url: https://rustbas.github.io/blog
|
|||||||
repo_url: https://github.com/rustbas/blog
|
repo_url: https://github.com/rustbas/blog
|
||||||
edit_uri: edit/main/docs/
|
edit_uri: edit/main/docs/
|
||||||
theme:
|
theme:
|
||||||
name: terminal
|
name: material
|
||||||
palette: dark
|
palette:
|
||||||
|
- scheme: default
|
||||||
|
toggle:
|
||||||
|
icon: material/toggle-switch
|
||||||
|
name: Switch to dark mode
|
||||||
|
primary: green
|
||||||
|
|
||||||
|
- scheme: slate
|
||||||
|
toggle:
|
||||||
|
icon: material/toggle-switch-off-outline
|
||||||
|
name: Switch to light mode
|
||||||
|
primary: teal
|
||||||
|
|
||||||
features:
|
features:
|
||||||
- revision.date
|
- navigation.instant # TODO: check troubles with TeX loading
|
||||||
- revision.history
|
- navigation.instant.progress
|
||||||
- navigation.side.hide
|
- header.autohide
|
||||||
|
icon:
|
||||||
|
repo: fontawesome/brands/git
|
||||||
|
font:
|
||||||
|
# text: Roboto
|
||||||
|
code: JetBrains Mono
|
||||||
|
|
||||||
|
# - revision.date
|
||||||
|
# - revision.history
|
||||||
|
# - navigation.side.hide
|
||||||
nav:
|
nav:
|
||||||
# - "Обо мне": 'index.md'
|
# - "Обо мне": 'index.md'
|
||||||
- "Математика": 'maths/index.md'
|
- "Математика": 'maths/index.md'
|
||||||
- "Linux": 'linux/index.md'
|
- "Linux": 'linux/index.md'
|
||||||
|
- "Общее": 'common/index.md'
|
||||||
|
|
||||||
plugins:
|
plugins:
|
||||||
- search:
|
- search:
|
||||||
lang: ["ru", "en"]
|
lang: ["ru", "en"]
|
||||||
indexing: 'full'
|
indexing: 'full'
|
||||||
- git-revision-date
|
- git-revision-date
|
||||||
|
|
||||||
markdown_extensions:
|
markdown_extensions:
|
||||||
- pymdownx.arithmatex:
|
- pymdownx.arithmatex:
|
||||||
generic: true
|
generic: true
|
||||||
|
|||||||
Reference in New Issue
Block a user